Joan Solà - LAAS-CNRS Localisation visuelle pour la robotique mobile terrestre

2 Présentation navigation visuelle Configurations monoculaire, stéréo, multi-caméra. Méthodes d’optimisation ou de filtrage. Odométrie visuelle : à un seul pas du SLAM. SLAM monoculaire par EKF Estimabilité 3D. Initialisation immédiate : observation de l’infini, trajectoires frontales. Paramétrage en “inverse de la distance”. Recherche active des motifs visuels Optimisation des ressources de calcul. Multi-caméra, multi-véhicule Aspects de coopération et de bénéfice mutuel. Cartographie de segments Cartes plus représentatives. Discussion : SLAM ou Localisation? Le L et le M du SLAM.

3 Le capteur extéroceptif : principes. Courte portée (stéréo et capteurs R&B) + mesures complètes : + information métrique + déplacements locaux précis - portée limitée : - effet brouillard - dérives angulaires - fermetures de boucle difficiles Longue portée (vision mono) + portée infinie + dérives angulaires minimisées + fermeture de boucle plus facile - mesures partielles - pas d’information métrique vision : besoin d’une approche unifiée !

4 EKF “Structure From Motion” Incrémentelle SLAM monoculaire Un panorama de la navigation visuelle SLAM multi-caméra (stéréo) Odométrie visuelle - extensions au SLAM une caméra plusieurs caméras filtres et Gaussienes optimisation non-linéaire pas de facteur d'échelle l'échelle dérive! facteur d'échelle

5 Odométrie versus SLAM Odométrie –Croissance monotonique de l’incertitude en position. –Normalement résolue par méthodes d’optimisation. SLAM visuel –Effet de mémoire de la cartographie. –Fermetures de boucle : décroissance de l’incertitude.

6 Odométrie visuelle de haute précision Tous les cadresCadres clésLiens dans fenêtre Chaîne soupleChaîne rigideStructure solide F = 3 cadres clés

7 Odométrie visuelle de haute précision

8

I. SLAM monoculaire à initialisation immédiate

10 SLAM monoculaire: plan 1. Le problème : initialisation des amers 2. Méthodes retardées et immédiates 3. Initialisation immédiate : Principes méthodologiques généraux Initialisation par inverse de la distance 4. Traitement d’image : recherche active

11 SLAM à mesures complètes Tous les DDL sont mesurés: observation inversible.

12 SLAM à mesures angulaires 1 2 Un DDL n’est pas mesuré: Incertitude de profondeur infinie. ?

13 Une caméra ne mesure pas des distances ? maintenant avantmaintenant ? prédictio n SLAM monoculaire: Initialisation

14 SLAM monoculaire: Initialisation ? maintenant avantmaintenant Le point 3D est dedans! prédiction mouvement Prendre en compte les incertitudes

15 Content Pas très content Pas content Les cas content et pas content SLAM monoculaire: Initialisation

16 The 4-sigma criterion: 4-sigma bounds parallel: –97%, 3-sigma bound is closed –74%, 2-sigma bound is small 3D observability from two views  min

17 SLAM monoculaire : Initialisation 5m 50m infini Méthode PF Davison 03 GSF - FIS Solà 05 Inv. Depth Eade 06 / Montiel 06 Initialisation retardéeimmédiate Parallaxe petit ✘✔✔ Portée infinie ✘✘✔ Initialisation Portée ← retardée immédiate →

18  min Estimabilité 3D par double point de vue  min

19 retardée immédiate  min Historique de points de vue: initialisations retardée et immédiate 19

20 Initialisations retardée et immédiate Définitions –Initialisation retardée Celle qui attends la triangulation pour déterminer le 3D de l’amer. –Initialisation immédiate Celle qui est faite à la première observation, donc de forme partielle.

21 Retardée Immédiate Retardée Immédiate Espace utile en initialisations retardée et immédiate immédiate ( Amers partiellement initialisés ) Champ visuel 21  min retardéeimmédiate

22 Initialisation immédiate : principes méthodologiques A = (A 1... A n ) t. q. h(C, A) quasi linéaire A = g(C, w, s) ← w = h(C, A) C ~ N (Ĉ, P CC ) w ~ N (y, R) s ~ N (ŝ, S) Â = g(Ĉ, y, ŝ) P AA = G C P CC G C ’ + G w R G w ’ + G s S G s ’ P XA = P XC G C 1. Idéer une parametrisation dont les fonctions d’observation soient raisonnablement linéaires dans tout le rang d’incertitude des dimensions non mesurables - difficile! 2. Inverser la fonction d’observation avec les dimensions non observables comme paramètres 3. Associer aux dimensions observées des covariances connues Une partie viens de la carte SLAM Une partie viens du capteur extéroceptif 4. Définir une Gaussiene pour les paramètres non mesurées 5. Par la fonction inverse, obtenir l’expression de l’amer 6. Obtenir covariances et cross-variances par moyen des Jacobiennes 7. Augmenter la carte SLAM Â P AA P XA XP Position caméra Mesure partielle Partie non mesurée

23 Initialisation immédiate en inverse de la distance C o = (x o, y o, z o ) Y X Z ψ θ ρ = 1/d ρ d d min ρ 0 P = C o + m(θ, ψ) / ρ ∈ R A = (x o, y o, z o, θ, ψ, ρ) ∈ R 6 d min P C t = (x t, y t, z t ) v ∼ R’(ρ∙(C o - C t )+m(θ,ψ)) v m 3

24 Détection et appariement actifs Opération rapide et robuste: –Détection (en région ciblée) –Appariement (recherche active) Prédire zone recherche Sélectionner amers + informatifs Prédire apparence –Rotation (2D) –Échelle (2D) –Trf. affine (2D) –Homographie (3D) Rechercher par corrélation 24

25 Initialisation immédiate 25 SLAM monoculaire: trajectoire frontale.

26 1.L’initialisation immédiate est clé en SLAM monoculaire. 2.Le paramétrage en inverse de la distance permet de travailler à parallaxe nulle - amers frontaux ou à l’infini. 3.La recherche active permet une opération temps réel robuste en exploitant toute l’information disponible. SLAM monoculaire : conclusions

II. SLAM multi-caméra

28 SLAM multi-caméra: plan 1. Estimabilité par triangulation La stéréo et son effet brouillard Prise en compte de la totalité de l’espace 2. Mise en place du SLAM multi-caméra 3. Exemples d’application Stéréo auto-calibrée Détection et suivi d’objets mobiles Coopération multi-véhicule - la navigation en convoi.

29 Estimabilité stéréo mobile : espace utile à la localisation Amers initialisés partiellement Amers 3D du stéréo Amers 3D estimés par le mouvement Effet brouillard

30  min Base stéréo courte Base stéréo très longue, auto-calibrée Base stéréo longue, calibrage standard 30 Estimabilité 3D stéréo : l’effet brouillard

31 Deux fois mono: FUSION DE DONNÉES Base stéréo longue 3D de la stéréo 3D du mouvement SLAM monoculaire immédiat SFM “Structure From Motion” 31 ¿ Et les objets lointains ?

“Inverse depth” en stéréo: IEEE TRO, [Paz 08, Solà 08] SLAM multi-caméra

33 SLAM multi-caméra Mise en place EKF bas coût: –Rajouter des caméras en opération monoculaire caméra 1 caméra 2 amers

34 SLAM stéréo auto-calibrée

35 SLAM avec détection et suivi d’objets

36 Moving Objects Detection Observed landmark Missed landmark Intentional DM Event-driven DM Object-growing DM Landmarks DM Object

37 Moving Objects Tracking robot landmark 1 landmark 2 mobile

38 Navigation en convoi basée SLAM

III. Initialisation immédiate de segments

40 SLAM monoculaire avec segments Deux DDL ne sont pas mesurés: Incertitude de profondeur infinie Incertitude d’orientation de 0 à 2π

41 SLAM monoculaire avec segments Utilisation des coordonnées de Plücker –Transformation de repère linéaire –Projection perspective linéaire –Comportement en inverse de la distance L = ( n : v ) l = K L L = H L’

42 SLAM monoculaire avec segments

43 Le SLAM monoculaire est mûr pour exploiter des observations à portée infinie La fusion de capteurs basée EKF rends le SLAM à plusieurs caméras facile Plusieurs exemples ont été présentés Les caméras sont essentiellement des capteurs angulaires à portée infinie La portée infinie permet une référence angulaire stable SLAM Visuel: Conclusions Les mêmes principes ont été appliqués au SLAM monoculaire avec segments à initialisation immédiate

44 M Le L et le M du SLAM L m L m M ☞ Un ensemble d’amers m épars et très réduit suffit à la localisation L ☞ Une carte dense M est nécessaire à la planification ☞ Il n’est pas efficace de faire tourner tout M dans le SLAM

Merci !