Cartographie et Localisation par vision monoculaire Séminaire LAAS 29 juin 2006 Joan Solà et Thomas Lemaire LAAS-CNRS Toulouse, France

Cartographie et Localisation par vision monoculaire Fondements du SLAM par vision. Joan Solà Méthodes retardées. Expériences. Thomas Lemaire Méthodes immédiats et ses extensions. Perception en vision. Joan Solà Cartographie plus complexe. Cameras panoramiques. Thomas Lemaire

SLAM: de l’anglais, Simultaneous Localization And Mapping Exploration: Cartographie et Localisation
Perception Déplacement Perception Mise en correspondance Correction Prédiction Mesure Correction Estimation et Filtrage
SLAM

SLAM: de l’anglais, Simultaneous Localization And Mapping

SLAM: de l’anglais, Simultaneous Localization And Mapping 2 5 157 1 1 2 3 4 R 5 4 3

Vision Monoculaire vs. Stereo Fragilité mécanique : problèmes de calibrage Robustesse et compacité Observabilité 3D à partir du mouvement Observabilité 3D immédiate (à distance limitée)

Le problème du monoculaire: Initialisation des Amers L’approche naïve ? tactuel ? tprecedent tactuel Te

Le problème: Initialisation des Amers Considération des incertitudes ? Le point 3D est dedans Te tactuel tprecedent tactuel

L'idée CLÉE ? prenons la voie facile INITIALISATION retardée ? <Davison 03> ... [Lemaire 05] prenons la voie facile Le dernier membre est facilement incorporé L’approximation initiale est facile Initialisation immédiate La sélection des membres est facile et sûre [Kwok 04] [Solà 05]

Définition du Rayon Géométrique Remplir l’espace entre rmin et rmax Avec le nombre minimal de termes Tout en respectant les contraintes de linéarisation Définir une série géométrique de Gaussiennes 4 r4 3 r3  = i / ri  = ri / ri-1 [ rmin rmax ] xR : position de la camera

Les bénéfices du Rayon Géométrique Facteur de forme, base géométrique et limites de distance Le nombre de termes est logarithmique en rmax / rmin : On obtient des nombres très petits : Les membres étant Gaussiens, ils sont facilement manipulables avec FKE.   [rmin , rmax] Ng = f( log(rmax / rmin) 1 Scénario rmin rmax Ratio Ng Intérieur 0.5 5 10 3 Extérieur 1 100 Longue portée 1000 7 2

Comment ça marche La première observation détermine le Rayon Conique

Comment ça marche J’approche le Rayon Conique avec le Rayon Géométrique Je peux initialiser les membres maintenant : J’obtiens une méthode immédiate.

Comment ça marche Je me déplace et réalise une deuxième observation Je peux distinguer les membres dans l’image

Comment ça marche Je calcule vraisemblances et actualise crédibilités C’est comme modifier la forme du rayon

Comment ça marche J'élimine les membres invraisemblables C’est une opération triviale et conservatrice

Comment ça marche Avec des méthodes immédiates je peux corriger la carte SLAM

Comment ça marche Je continue...

Comment ça marche 3 Et un jour il ne restera qu’un seul membre. Ce membre est déjà Gaussien! Si je l’initialise maintenant j’ai une méthode retardée

Méthodes retardées et immédiates Plus simples à implémenter. L’information issue des observations partielles n’est pas utilisée immédiatement. retardées Plus de difficultés mathématiques et algorithmiques. Les observations des amers contribuent au SLAM dès le début. immédiates

Observabilité: Trajectoires non contraintes min

Trajectoires fortement contraintes : Méthodes retardées et immédiates min

Thomas

Méthodes retardées et immédiates Champ de vue Champ de vue immédiates retardées retardées immédiates immédiates retardées retardées immédiates immédiates

Troisième partie Aspects mathématiques et algorithmiques pour l’initialisation immédiate Perception pour le SLAM par vision Extensions des méthodes: Objets mobiles dans la scène Auto-calibrage pour la Stéréo

L'algorithme du Partage Fédératif de l’Information (PFI) Initialiser les membres comme des amers différents dans la même carte SLAM Lors des observations postérieures : Actualiser les crédibilités et éliminer les mauvais membres Effectuer une correction fédérée Quand il ne reste qu’un membre: Rien à faire immédiate

L'algorithme PFI immédiate ? La Correction : un moment délicat Une observation / multiples hypothèses Si je corrige plusieurs fois : inconsistance Si je corrige sur la mauvaise hypothèse : divergence immédiate ?

L'algorithme PFI immédiate La Correction Fédérée : Partager l’Information Observation y avec bruit de covariance R : information R-1 N hypothèses à corriger Observation {y, R} correction sur membre 1 correction sur membre 2 correction sur membre N … {y, R1 } {y, R2 } {y, RN } … immédiate Partage de l’Information: Privilège des vraisemblances: Coefficient Fédératif i :

Perception : recherche active Observation initiale d’un amer Sur un point d'intérêt, point de Harris Enregistrer une imagette comme descripteur, 15x15 pixels Observations ultérieures Projeter tous les amers de la carte sur l’image avec ses ellipses d’incertitude En sélectionner ceux avec ellipses de majeure surface Ajuster la taille et rotation de l’imagette selon les informations de profondeur et orientation de l’amer contenues dans la carte Réaliser une recherche dans l’ellipse par maximum de corrélation Récupérer le pixel gagnant comme mesure de l’amer

L'algorithme PFI

Extensions Détection et suivi d’objets mobiles Besoin d’observabilité totale : revenir sur la stéréo Auto-calibrage d’un banc stéréo

Thomas