Reconstruction 3D par mono vision avec des trajectoires fortement contraintes Joan Solà LAAS-CNRS Toulouse, France Revue du projet PICAS$O 3 novembre 2005

On parle de… 1.Observabilité du 3D en vision 2.SLAM par mesures angulaires ( ou SLAM par mono vision ) 3.Initialisation des Amers 4.Performances: FDPs Gaussiennes 5.Trajectoires fortement contraintes Utilisation du SLAM-FKE

Contenu »Observabilité en vision: pourquoi je ne fais pas la stéréo? »Un peu de SLAM à observabilité totale »Le Problème de linitialisation des amers dans le SLAM par mono vision »Le Rayon Géométrique: une représentation efficace de la FDP de la position de lamer »Méthodes retardées et non retardées »Solution Temps Réel: L'initialisation par Partage Fédératif de lInformation (PFI)

Observabilité stéréo : angle qui ferme la région Objet proche

Observabilité stéréo Augmenter la base stéréoscopique Objet lointain

Observabilité stéréo Augmenter la base stéréoscopique Objet lointain

Observabilité stéréo Augmenter la précision du banc stéréo Objet lointain

Observabilité stéréo Augmenter la précision du banc stéréo Objet lointain

Observabilité stéréo Augmenter la base et la précision Objet lointain

Observabilité stéréo Augmenter la base et la précision Problème mécanique: 1.Augmenter la base fait diminuer la précision du banc. 2.Une base longue rend impossible un calibrage a vie. 3.Un auto calibrage en ligne serait nécessaire. Ce nest pas facile. Objet encore plus loin

Observabilité stéréo n min min n : angle entre mesures : angle qui ferme la région : précision du système capteur

Observabilité stéréo min Base courte Base longue avec auto calibrage Base longue pré calibrée

Et plus loin? Base longue pré calibrée Modélisation 3D par vision stéréo Modélisation 3D par vision mono en mouvement SLAM par mesures angulaires SFM Structure From Motion

SLAM: de langlais, Simultaneous Localization And Mapping R 5

Le problème du cas angulaire: Initialisation des Amers Lapproche naïve ? TeTe t actuel t precedent t actuel ?

Le problème: Initialisation des Amers Considération des incertitudes t actuel t precedent t actuel TeTe Le point 3D est dedans ?

Le problème: Initialisation des Amers Les cas Content et Pas Content Content Peu Content Pas Content

L'idée CLÉ ? ? Lapproximation initiale est facile La sélection des membres est facile et sûre Le dernier membre est facilement incorporé Initialisation immédiate INITIALISATION retardée

Définition du Rayon Géométrique Définir une série géométrique de Gaussiennes x R : position de la camera 4 r4r4 3 r3r3 = i / r i = r i / r i-1 [ r min r max ] Remplir lespace entre r min i r max 1.Avec le nombre minimal de termes 2.Tout en respectant les contraintes de linéarisation

Facteur de forme, base géométrique et limites de distance Le nombre de termes est logarithmique en r max / r min : On obtient des nombres très petits : Les membres étant Gaussiens, ils sont facilement manipulables avec FKE. Les bénéfices du Rayon Géométrique Scénario r min r max Ratio NgNg Intérieur Extérieur Longue portée [r min, r max ] N g = f ( log( r max / r min ) 1 2

Comment ça marche La première observation détermine le Rayon Conique

Japproche le Rayon Conique avec le Rayon Géométrique Je peux initialiser les membres maintenant : Jobtiens une méthode immédiate. Comment ça marche

Je me déplace et réalise une deuxième observation Je peux distinguer les membres dans limage Comment ça marche

Je calcule vraisemblances et actualise crédibilités Cest comme modifier la forme du rayon Comment ça marche

J'élimine les membres invraisemblables Cest une opération triviale et sure Comment ça marche

Avec des méthodes immédiates je peux corriger la carte SLAM Comment ça marche

Je continue... Comment ça marche

Et un jour il ne restera quun seul membre. Ce membre est déjà Gaussien! Si je linitialise maintenant jai une méthode retardée Comment ça marche 3

min Trajectoires non contraintes

Content Peu Content Pas content retardées immédiates min Trajectoires fortement contraintes : Méthodes retardées et immédiates

retardées immédiates retardées immédiates retardées immédiates retardées immédiates Méthodes retardées et immédiates immédiates Champ de vue

Méthodes retardées et immédiates Un algorithme naïve Un algorithme consistent Lalgorithme dActualisation en Bloc retardées immédiates Lalgorithme multicarte Lalgorithme du Partage Fédératif de lInformation

Lalgorithme multicarte 1.Initialiser tous les membres comme amers en cartes séparées 2.Lors des observations postérieures: Actualiser les crédibilités des cartes et néliminer les mauvaises Réaliser des corrections sur les cartes comme dans SLAM-FKE 3.Quand il ne reste quune carte: Rien à faire méthode hors ligne immédiate

L'algorithme du Partage Fédératif de lInformation (PFI) 1.Initialiser les membres comme des amers différents dans la même carte 2.Lors des observations postérieures : Actualiser les crédibilités et éliminer les mauvais membres Effectuer une correction douce fédérée 3.Quand il ne reste quun membre: Rien à faire immédiate

L'algorithme PFI La Correction Douce Fédérée: Partager lInformation Observation { y, R } correction FKE avec membre 1 correction FKE avec membre 2 correction FKE avec membre N immédiate { y, R 1 } { y, R 2 } { y, R N } … … Partage de lInformation: Coefficient Fédératif i : Privilège des vraisemblances:

L'algorithme PFI et le Cas Pas Content immédiate

L'algorithme PFI et le Cas Pas Content Vue latéraleVue de oiseau immédiate

Linclusion de nouvelles bornes 1.Diviser limage en sous images. 2.Choisir celles ou cest intéressant dy inclure une nouvelle borne. 3.Y faire une recherche de points de Harris.

Les mesures des bornes Pixel trouvé: MESURE Maximum de corrélation Région de recherche Carte: bornes 3D Signature de la borne Projection sur limage Stratégie de recherche: 1.Globale à double espace 2.Locale à simple espace 3.Résultat sous pixellique

Le suivi des bornes

Conclusions 1.La reconstruction 3D dans des situations à très faible observabilité est rendu possible. 2.Le mouvement précis de la camera dans la scène est acquis simultanément. 3.On est en disposition dy intégrer des objets mobiles. 4.Pour cela, des hypothèses sur la vitesse de chaque point seront dabord lancées et postérieurement validées (ou non) et raffinées par les observations.

Merci!Merci!