Reconstruction 3D par mono vision avec des trajectoires fortement contraintes Joan Solà LAAS-CNRS Toulouse, France Revue du projet PICAS$O 3 novembre 2005.

Présentation au sujet: "Reconstruction 3D par mono vision avec des trajectoires fortement contraintes Joan Solà LAAS-CNRS Toulouse, France Revue du projet PICAS$O 3 novembre 2005."— Transcription de la présentation:

1 Reconstruction 3D par mono vision avec des trajectoires fortement contraintes Joan Solà LAAS-CNRS Toulouse, France Revue du projet PICAS$O 3 novembre 2005

2 On parle de… 1.Observabilité du 3D en vision 2.SLAM par mesures angulaires ( ou SLAM par mono vision ) 3.Initialisation des Amers 4.Performances: FDPs Gaussiennes 5.Trajectoires fortement contraintes Utilisation du SLAM-FKE

3 Contenu »Observabilité en vision: pourquoi je ne fais pas la stéréo? »Un peu de SLAM à observabilité totale »Le Problème de linitialisation des amers dans le SLAM par mono vision »Le Rayon Géométrique: une représentation efficace de la FDP de la position de lamer »Méthodes retardées et non retardées »Solution Temps Réel: L'initialisation par Partage Fédératif de lInformation (PFI)

4 Observabilité stéréo : angle qui ferme la région Objet proche

5 Observabilité stéréo Augmenter la base stéréoscopique Objet lointain

6 Observabilité stéréo Augmenter la base stéréoscopique Objet lointain

7 Observabilité stéréo Augmenter la précision du banc stéréo Objet lointain

8 Observabilité stéréo Augmenter la précision du banc stéréo Objet lointain

9 Observabilité stéréo Augmenter la base et la précision Objet lointain

10 Observabilité stéréo Augmenter la base et la précision Problème mécanique: 1.Augmenter la base fait diminuer la précision du banc. 2.Une base longue rend impossible un calibrage a vie. 3.Un auto calibrage en ligne serait nécessaire. Ce nest pas facile. Objet encore plus loin

11 Observabilité stéréo n min min n : angle entre mesures : angle qui ferme la région : précision du système capteur

12 Observabilité stéréo min 0 10 20 30 40 50 60 70 Base courte Base longue avec auto calibrage Base longue pré calibrée

13 Et plus loin? 0 10 20 30 40 50 60 70 Base longue pré calibrée Modélisation 3D par vision stéréo Modélisation 3D par vision mono en mouvement SLAM par mesures angulaires SFM Structure From Motion

14 SLAM: de langlais, Simultaneous Localization And Mapping 1 2 3 4 5 1 2 3 4 R 5

15 Le problème du cas angulaire: Initialisation des Amers Lapproche naïve ? TeTe t actuel t precedent t actuel ?

16 Le problème: Initialisation des Amers Considération des incertitudes t actuel t precedent t actuel TeTe Le point 3D est dedans ?

17 Le problème: Initialisation des Amers Les cas Content et Pas Content Content Peu Content Pas Content

18 L'idée CLÉ ? ? Lapproximation initiale est facile La sélection des membres est facile et sûre Le dernier membre est facilement incorporé Initialisation immédiate INITIALISATION retardée

19 Définition du Rayon Géométrique Définir une série géométrique de Gaussiennes x R : position de la camera 4 r4r4 3 r3r3 = i / r i = r i / r i-1 [ r min r max ] Remplir lespace entre r min i r max 1.Avec le nombre minimal de termes 2.Tout en respectant les contraintes de linéarisation

20 Facteur de forme, base géométrique et limites de distance Le nombre de termes est logarithmique en r max / r min : On obtient des nombres très petits : Les membres étant Gaussiens, ils sont facilement manipulables avec FKE. Les bénéfices du Rayon Géométrique Scénario r min r max Ratio NgNg Intérieur0.5510 3 Extérieur1100 5 Longue portée11000 7 [r min, r max ] N g = f ( log( r max / r min ) 1 2

21 Comment ça marche La première observation détermine le Rayon Conique

22 Japproche le Rayon Conique avec le Rayon Géométrique Je peux initialiser les membres maintenant : Jobtiens une méthode immédiate. Comment ça marche

23 Je me déplace et réalise une deuxième observation Je peux distinguer les membres dans limage Comment ça marche

24 Je calcule vraisemblances et actualise crédibilités Cest comme modifier la forme du rayon Comment ça marche

25 J'élimine les membres invraisemblables Cest une opération triviale et sure Comment ça marche

26 Avec des méthodes immédiates je peux corriger la carte SLAM Comment ça marche

27 Je continue... Comment ça marche

28 Et un jour il ne restera quun seul membre. Ce membre est déjà Gaussien! Si je linitialise maintenant jai une méthode retardée Comment ça marche 3

29 min Trajectoires non contraintes

30 Content Peu Content Pas content retardées immédiates min Trajectoires fortement contraintes : Méthodes retardées et immédiates

31 retardées immédiates retardées immédiates retardées immédiates retardées immédiates Méthodes retardées et immédiates immédiates Champ de vue

32 Méthodes retardées et immédiates Un algorithme naïve Un algorithme consistent Lalgorithme dActualisation en Bloc retardées immédiates Lalgorithme multicarte Lalgorithme du Partage Fédératif de lInformation

33 Lalgorithme multicarte 1.Initialiser tous les membres comme amers en cartes séparées 2.Lors des observations postérieures: Actualiser les crédibilités des cartes et néliminer les mauvaises Réaliser des corrections sur les cartes comme dans SLAM-FKE 3.Quand il ne reste quune carte: Rien à faire méthode hors ligne immédiate

34 L'algorithme du Partage Fédératif de lInformation (PFI) 1.Initialiser les membres comme des amers différents dans la même carte 2.Lors des observations postérieures : Actualiser les crédibilités et éliminer les mauvais membres Effectuer une correction douce fédérée 3.Quand il ne reste quun membre: Rien à faire immédiate

35 L'algorithme PFI La Correction Douce Fédérée: Partager lInformation Observation { y, R } correction FKE avec membre 1 correction FKE avec membre 2 correction FKE avec membre N immédiate { y, R 1 } { y, R 2 } { y, R N } … … Partage de lInformation: Coefficient Fédératif i : Privilège des vraisemblances:

36 L'algorithme PFI et le Cas Pas Content immédiate

37 L'algorithme PFI et le Cas Pas Content Vue latéraleVue de oiseau immédiate

38 Linclusion de nouvelles bornes 1.Diviser limage en sous images. 2.Choisir celles ou cest intéressant dy inclure une nouvelle borne. 3.Y faire une recherche de points de Harris.

39 Les mesures des bornes Pixel trouvé: MESURE Maximum de corrélation Région de recherche Carte: bornes 3D Signature de la borne Projection sur limage Stratégie de recherche: 1.Globale à double espace 2.Locale à simple espace 3.Résultat sous pixellique

40 Le suivi des bornes

41 Conclusions 1.La reconstruction 3D dans des situations à très faible observabilité est rendu possible. 2.Le mouvement précis de la camera dans la scène est acquis simultanément. 3.On est en disposition dy intégrer des objets mobiles. 4.Pour cela, des hypothèses sur la vitesse de chaque point seront dabord lancées et postérieurement validées (ou non) et raffinées par les observations.

42 Merci!Merci!