Cartographie et Localisation par vision monoculaire

Présentation au sujet: "Cartographie et Localisation par vision monoculaire"— Transcription de la présentation:

1 Cartographie et Localisation par vision monoculaire
Séminaire LAAS 29 juin 2006 Joan Solà et Thomas Lemaire LAAS-CNRS Toulouse, France

2 Cartographie et Localisation par vision monoculaire
Fondements du SLAM par vision. Joan Solà Méthodes retardées. Expériences. Thomas Lemaire Méthodes immédiats et ses extensions. Perception en vision. Joan Solà Cartographie plus complexe. Cameras panoramiques. Thomas Lemaire

3 SLAM: de l’anglais, Simultaneous Localization And Mapping
Exploration: Cartographie et Localisation
Perception Déplacement Perception Mise en correspondance Correction Prédiction Mesure Correction Estimation et Filtrage
SLAM

4 SLAM: de l’anglais, Simultaneous Localization And Mapping

5 SLAM: de l’anglais, Simultaneous Localization And Mapping
2 5 157 1 1 2 3 4 R 5 4 3

6 Vision Monoculaire vs. Stereo
Fragilité mécanique : problèmes de calibrage Robustesse et compacité Observabilité 3D à partir du mouvement Observabilité 3D immédiate (à distance limitée)

7 Le problème du monoculaire: Initialisation des Amers
L’approche naïve ? tactuel ? tprecedent tactuel Te

8 Le problème: Initialisation des Amers
Considération des incertitudes ? Le point 3D est dedans Te tactuel tprecedent tactuel

9 L'idée CLÉE ? prenons la voie facile
INITIALISATION retardée ? <Davison 03> ... [Lemaire 05] prenons la voie facile Le dernier membre est facilement incorporé L’approximation initiale est facile Initialisation immédiate La sélection des membres est facile et sûre [Kwok 04] [Solà 05]

10 Définition du Rayon Géométrique
Remplir l’espace entre rmin et rmax Avec le nombre minimal de termes Tout en respectant les contraintes de linéarisation Définir une série géométrique de Gaussiennes 4 r4 3 r3  = i / ri  = ri / ri-1 [ rmin rmax ] xR : position de la camera

11 Les bénéfices du Rayon Géométrique
Facteur de forme, base géométrique et limites de distance Le nombre de termes est logarithmique en rmax / rmin : On obtient des nombres très petits : Les membres étant Gaussiens, ils sont facilement manipulables avec FKE.   [rmin , rmax] Ng = f( log(rmax / rmin) 1 Scénario rmin rmax Ratio Ng Intérieur 0.5 5 10 3 Extérieur 1 100 Longue portée 1000 7 2

12 Comment ça marche La première observation détermine le Rayon Conique

13 Comment ça marche J’approche le Rayon Conique avec le Rayon Géométrique Je peux initialiser les membres maintenant : J’obtiens une méthode immédiate.

14 Comment ça marche Je me déplace et réalise une deuxième observation
Je peux distinguer les membres dans l’image

15 Comment ça marche Je calcule vraisemblances et actualise crédibilités
C’est comme modifier la forme du rayon

16 Comment ça marche J'élimine les membres invraisemblables
C’est une opération triviale et conservatrice

17 Comment ça marche Avec des méthodes immédiates je peux corriger la carte SLAM

18 Comment ça marche Je continue...

19 Comment ça marche 3 Et un jour il ne restera qu’un seul membre.
Ce membre est déjà Gaussien! Si je l’initialise maintenant j’ai une méthode retardée

20 Méthodes retardées et immédiates
Plus simples à implémenter. L’information issue des observations partielles n’est pas utilisée immédiatement. retardées Plus de difficultés mathématiques et algorithmiques. Les observations des amers contribuent au SLAM dès le début. immédiates

21 Observabilité: Trajectoires non contraintes
min

22 Trajectoires fortement contraintes : Méthodes retardées et immédiates
min

23 Thomas

24 Méthodes retardées et immédiates
Champ de vue Champ de vue immédiates retardées retardées immédiates immédiates retardées retardées immédiates immédiates

25 Troisième partie Aspects mathématiques et algorithmiques pour l’initialisation immédiate Perception pour le SLAM par vision Extensions des méthodes: Objets mobiles dans la scène Auto-calibrage pour la Stéréo

26 L'algorithme du Partage Fédératif de l’Information (PFI)
Initialiser les membres comme des amers différents dans la même carte SLAM Lors des observations postérieures : Actualiser les crédibilités et éliminer les mauvais membres Effectuer une correction fédérée Quand il ne reste qu’un membre: Rien à faire immédiate

27 L'algorithme PFI immédiate ? La Correction : un moment délicat
Une observation / multiples hypothèses Si je corrige plusieurs fois : inconsistance Si je corrige sur la mauvaise hypothèse : divergence immédiate ?

28 L'algorithme PFI immédiate
La Correction Fédérée : Partager l’Information Observation y avec bruit de covariance R : information R-1 N hypothèses à corriger Observation {y, R} correction sur membre 1 correction sur membre 2 correction sur membre N … {y, R1 } {y, R2 } {y, RN } … immédiate Partage de l’Information: Privilège des vraisemblances: Coefficient Fédératif i :

29 Perception : recherche active
Observation initiale d’un amer Sur un point d'intérêt, point de Harris Enregistrer une imagette comme descripteur, 15x15 pixels Observations ultérieures Projeter tous les amers de la carte sur l’image avec ses ellipses d’incertitude En sélectionner ceux avec ellipses de majeure surface Ajuster la taille et rotation de l’imagette selon les informations de profondeur et orientation de l’amer contenues dans la carte Réaliser une recherche dans l’ellipse par maximum de corrélation Récupérer le pixel gagnant comme mesure de l’amer

30 L'algorithme PFI

31 Extensions Détection et suivi d’objets mobiles
Besoin d’observabilité totale : revenir sur la stéréo Auto-calibrage d’un banc stéréo

32 Thomas