La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 « Navigation dun véhicule intelligent à laide dun capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre 2001.

Présentations similaires


Présentation au sujet: "1 « Navigation dun véhicule intelligent à laide dun capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre 2001."— Transcription de la présentation:

1 1 « Navigation dun véhicule intelligent à laide dun capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre 2001 Travaux dirigés par : El Mustapha Mouaddib, Professeur à lUniversité de Picardie Jules Verne (France) Joaquim Salvi, Maître de Conférences à lUniversité de Girona (España)

2 2 0. sommaire …………………………… 1. introduction générale 2. la vision en lumière structurée 3. segmentation et décodage 4. reconstruction tri-dimensionnelle 5. fonctions visuelles pour la navigation 6. conclusions et perspectives

3 3 1. introduction générale Problématique Comment tirer parti de la vision en lumière structurée pour la perception dun robot mobile ? Quels sont les avantages et les inconvénients que lon peut tirer dun tel capteur pour la navigation dun robot ? Points étudiés Décodage du motif structurant. Segmentation des images codées. Autocalibration du capteur de vision. Méthode de détection dobstacles et de construction dune carte de lespace libre. Méthode destimation du déplacement du robot par mise en correspondance des plans qui composent la scène.

4 4 2. la vision en lumière structurée …………………………… 2.1 définition 2.2 classification et codage 2.3 applications

5 5 2.1 définition Une lumière structurée est une source lumineuse modulée dans l'espace, le temps, l'intensité et/ou la couleur. La vision en lumière structurée consiste à projeter une telle source lumineuse sur l'environnement, lui-même observé par une ou plusieurs caméras CCD ; il s'agit en fait de remplacer, dans un système stéréoscopique classique, une caméra par un projecteur de lumière.

6 6 2.1 définition Point de surbrillance : Pas de problème de mise en correspondance. Balayage suivant les deux axes. Plan de lumière : Correspondance entre points de la ligne projetée ? Balayage suivant un axe. Multi-plans : Correspondance entre les plans ? Pas de balayage. Motif structurant : Problème de mise en correspondance. Pas de balayage.

7 7 2.2 classification et codage classification La dépendance temporelle (statique ou dynamique) La nature de la lumière émise (binaire, niveaux de gris ou couleurs) La dépendance aux discontinuités (périodique ou absolu) 3 critères liés à… classification proposée par Batlle, Mouaddib et Salvi.

8 8 2.2 classification et codage exemples de codage Posdamer et Altschuler Statique Binaire Absolu

9 9 2.2 classification et codage exemples de codage Le Moigne et Waxman Dynamique Binaire Absolu

10 classification et codage exemples de codage Carrihill et Hummel Statique Niveaux de gris Absolu

11 classification et codage exemples de codage Vuylsteke et Oosterlinck Dynamique Binaire Absolu

12 classification et codage exemples de codage Boyer et Kak Dynamique Couleurs Périodique

13 classification et codage exemples de codage Tajima et Iwakawa Statique Couleurs Absolu

14 classification et codage exemples de codage Griffin, Narasimhan et Yee Dynamique Couleurs Absolu

15 classification et codage notre choix PLAN IMAGE PLAN PROJECTEUR

16 applications métrologie Laser Caméra linéaire Plaque métallique Garcia, Garcia, Obeso et Fernandez Projecteur Verre dépoli Caméra Profil analysé Mouaddib, Brassart et Fofi Profilométrie pour des plaques métalliques. Une caméra linéaire observe un point de surbrillance projeté sur la surface de la plaque métallique. Profilométrie pour des plaques de verre. Le verre est illuminé par un motif binaire, la déformation du motif se projette sur du verre dépoli observé par la caméra.

17 applications anthropométrie Plan de base Plan de référence Plan image Diapositive Sotoca, Buendia, Iñesta Mesure des déformations pathologiques du dos. Une grille codée est projetée sur le dos des patients. La calibration consiste à projeter cette grille sur un plan de référence et sur un plan de base. Par des calculs, basés sur la similarité des triangles, une image de profondeur est obtenue à partir des données de l image.

18 applications robotique Robotique sous-marine. Le capteur est enfermé dans un caisson en plexiglass. La ligne de vue est diffractée deux fois. La ligne de base nest plus constante. Robotique extra-terrestre : Pathfinder. Deux lasers sont diffractés en quinze faisceaux coplanaires et observés par les caméras. caméra laser Matthies, Balch, Wilcox caméra miroir rayon laser Plexiglass Air Eau ligne de base ligne de base effective Chantier, Clark et Umasuthan

19 19 3. segmentation et décodage …………………………… 3.1 éléments de colorimétrie 3.2 segmentation de limage 3.3 décodage du motif 3.4 résultats expérimentaux

20 éléments de colorimétrie La colorimétrie, ou métrique des couleurs, est la science qui permet de chiffrer et mesurer les couleurs. Trois paramètres définissent la couleur : La teinte Le degré de pureté (saturation) Le facteur de clarté (luminance) quest-ce que la couleur ? Le principe de la trivariance visuelle pose que le mélange de trois radiations indépendantes permet de reproduire toutes les impressions colorées. Les couleurs de base sont appelés couleurs primaires ; celles qui, mélangées aux primaires, donnent du blanc, couleurs secondaires.

21 éléments de colorimétrie espace de couleurs Un espace des couleurs est une représentation géométrique des couleurs dans un espace généralement tri-dimensionnel. Un espace à chromaticité constante est un espace au sein duquel les distances représentent approximativement les différences de couleur perçues par loeil Loi de Weber-Fechner

22 segmentation de limage Image en Lumière Structurée Couleurs RGB Image en Lumière Structurée Couleurs Lab Image de Luminance (L) Image de Chromaticité (a, b) Traitements Bas-Niveau Décodage du Patron de Lumière Image Segmentée et Décodée Points d'Intersection Segments Horizontaux et Verticaux schéma général 1. Traitements bas-niveau 2. Points dintersection 3. Décodage

23 segmentation de limage traitements bas-niveau originaleégalisation binarisation squelettisationHough

24 segmentation de limage points dintersection Calcul de lintersection entre horizontales et verticales Si t=0 : droites parallèles Sinon, le point dintersection est x/t, y/t.

25 décodage du motif conversion RVB - Lab RVB XYZ Lab

26 décodage du motif mesures dans ab 1… Les classes sont bien discriminées. 2… Elles sont éloignées des mesures théoriques. 3… Elles semblent se rapprocher du point dachromatisme. 4… Le positionnement relatif des six classes est respecté. Utiliser un algorithme de coalescence pour partitionner les mesures en six classes. Utiliser le positionnement relatif des classes pour initialiser lalgorithme.

27 décodage du motif algorithme de coalescence 1… Choisir n centres de classe (n = 6) 2... Créer une nouvelle partition en affectant chaque vecteur au centre de la classe qui est la plus proche (au sens de lécart chromatique : ) 3… Calculer les centres de gravité des classes ainsi obtenues. 4… Répéter les étapes 2 et 3 jusqu'à stabilisation.

28 28 1… Calculer le centre de gravité de tous les points mesurés dans lespace ab. 2… Extraire le point dont la composante b est la plus élevée (supposé jaune). 3… Calculer lécart chromatique d entre ces deux points. 4… Initialiser le centre de la classe i : 3.3 décodage du motif initialisation de lalgorithme

29 résultats expérimentaux segmentation

30 résultats expérimentaux segmentation

31 résultats expérimentaux segmentation

32 résultats expérimentaux analyse quantitative

33 résultats expérimentaux décodage

34 34 4. reconstruction tri-dimensionnelle …………………………… 4.1 modélisation et calibration 4.2 propriétés du capteur 4.3 auto-calibration du capteur 4.4 résultats expérimentaux

35 modélisation et calibration Axe optique Repère du monde Repère de la caméra Repère rétinien Repère image x x y y z z (u 0, v 0 ) Calibrer, cest estimer la matrice de passage dun point 3D exprimé dans le repère du monde à son image exprimée en pixels dans le repère image. principe

36 modélisation et calibration caméra YwYw XwXw ZwZw OwOw Un mouvement rigide Une projection 3-D / 2-D Un changement de coordonnées

37 modélisation et calibration projecteur Un projecteur de lumière peut être vu comme une caméra opérant à lenvers, en inversant le sens de la ligne de vue. Géométriquement, il ny a aucune différence entre une caméra et un projecteur. Lun et lautre peuvent donc être modélisés de la même manière. Pour calibrer le projecteur, une solution consiste à relever les coordonnées des traces lumineuses projetées à la surface dune mire de calibration.

38 propriétés du capteur test de colinéarité spatiale S R Q P Les birapports du motif et de limage sont égaux si les 4 points sont colinéaires.

39 propriétés du capteur test de coplanarité p o'p' q'r' s' o qr s {o;p,q,r,s}={o';p',q',r'} Les birapports du motif et de limage sont égaux si les 5 points sont coplanaires.

40 propriétés du capteur stabilité du birapport Erreur sur les birapports - bruit de 0 à 0.5d (d est la distance entre 2 points successifs) Nota : pour comparer les birapports, une distance projective est nécessaire. Méthode des birapports aléatoires [ K. Aström, L. Morin, "Random cross-ratios", Research Report n°rt 88 imag-14, LIFIA, 1992].

41 propriétés du capteur validité du modèle affine m n m' n' Valide si 0 projection affine

42 autocalibration du capteur autocalibration : état de lart Les équations de Kruppa [Faugeras, Maybank, Luong, Hartley] Stratification des géométries : - paramètres intrinsèques constants [Hartley, Heyden, Aström] - contraintes Euclidiennes [Boufama, Mohr, Veillon]

43 autocalibration du capteur autocalibration : état de lart + = MOUVEMENT DU PROJECTEUR MOUVEMENT DES POINTS 3D LE MOTIF GLISSE SUR LES OBJETS RECONSTRUCTION A PARTIR DUNE VUE ET DUNE PROJECTION CAMERA + PROJECTEUR CAPTEUR HETEROGENE LES PARAMETRES INTRINSEQUES NE PEUVENT ETRE CONSTANTS Reconstruction projective + contraintes Euclidiennes

44 autocalibration du capteur reconstruction projective n images composées de m points... m ij : point image P j : matrice de projection M j : point objet (U ij, V ij ) : coord. pixels

45 45 Une solution unique ne peut pas être calculée puisque... W matrice 4x4 inversible : une colinéation de lespace 3-D 4x4 - 1 (échelle) = 15 degrés de libertés, donc... 5 points objets sont choisis comme base projective. On leur affecte les coordonnées de la base canonique. RECONSTRUCTION PROJECTIVE (distances, angles et parallelisme ne sont pas conservés) 4.3 autocalibration du capteur reconstruction projective

46 autocalibration du capteur contraintes euclidiennes Les transformations Euclidiennes forment un sous-groupe des transformations projectives : Il existe une colinéation W qui redresse la reconstruction projective en reconstruction Euclidienne TRADUIRE DES CONNAISSANCES EUCLIDIENNES SUR LES POINTS 3-D EN CONTRAINTES SUR LES ELEMENTS DE W. Apparier 5 points « projectifs » avec leur correspondant « Euclidiens » ? OUI, MAIS... Les coordonnées Euclidiennes des points sont rarement disponibles… … sils le sont : les points dintersection du motif doivent se projeter précisément sur les points connus.

47 autocalibration du capteur contraintes du parallélogramme CARRE PROJETE SUR UNE SURFACE PLANE IMAGE OBTENUE A B C D On prend lhypothèse que le capteur a un comportement affine.

48 autocalibration du capteur contraintes dalignement Motif Plan vert. Plan horiz. Points appartenant à des plans verticaux ou horizontaux. Distance arbitraire entre 2 plans de même orientation. Un point dintersection choisi comme origine.

49 autocalibration du capteur contraintes dorthogonalité Si la condition n est pas vérifiée… Contrainte dorthogonalité réduite : A'B' ·A'C' = (x A' - x B' )(x A' - x C' )+ (y A' - y B' )(y A' - y C' )+ (z A' - z B' )(z A' -z C' ) = 0 (x A' - x B' )(x A' - x C' )+ (y A' - y B' )(y A' - y C' ) = 0 Traces lumineuses Plans de lumière Lignes projetées Surfaces planes A C B A' B' C'

50 autocalibration du capteur exemple Une contrainte dalignement : x A' = x B' (relation entre 2 points Euclidiens inconnus) On a : [x A' ; y A' ; z A' ; t A' ] T = W· [x A ; y A ; z A ; t A ] T [x B' ; y B' ; z B' ; t B' ] T = W· [x B ; y B ; z B ; t B ] T Alors : W 1i ·x A = W 1i ·x B (relation entre 2 points projectifs connus) Le système déquations est résolu par Levenberg- Marquardt. 15 contraintes indépendantes sont nécessaires (W est définie à un facteur déchelle près)

51 résultats expérimentaux test de colinéarité Birapport théorique (motif) = Birapport mesuré (image) = Erreur projective = Décision = les points sont colinéaires Birapport théorique (motif) = Birapport mesuré (image) = Erreur projective = Décision = les points ne sont pas colinéaires

52 résultats expérimentaux test de coplanarité Birapport théorique (motif) = 2 Birapport mesuré (image) = 1.96 Erreur projective = Décision = les points sont coplanaires Birapport théorique (motif) = 2 Birapport mesuré (image) = Erreur projective = Décision = les points ne sont pas coplanaires

53 résultats expérimentaux simulations retro-projection des points 3D points sur les plans images (cercles : points synthétiques, croix : retro-projections)

54 résultats expérimentaux scènes réelles

55 55 5. fonctions visuelles pour la navigation …………………………… 5.1 détection dobstacles 5.2 détection du mouvement 5.3 estimation du mouvement 5.4 résultats expérimentaux

56 détection dobstacles Quasi-verticale dans l'image Obstacle principe Le système de vision est placé de manière à ce quune verticale du motif projetée sur une paroi verticale donne une verticale dans limage. Alors… la détection dune quasi-verticale dans limage équivaut à la détection dun obstacle dans la scène.

57 détection dobstacles carte de lespace libre 1… On attribue à chaque élément vertical du motif une étiquette E i [1 ; 29]. 2… On projette les points reconstruits sur le plan du sol sous la contrainte : 3… Pour un ensemble de points ayant la même étiquette, on ne garde que celui dont la distance au robot est la plus courte :

58 détection dobstacles résultats

59 détection dobstacles résultats

60 détection du mouvement mouvement apparent En vision en lumière structurée, on appellera mouvement apparent le déplacement d'un même élément de motif (généralement, les éléments de motif considérés sont les points d'intersection) d'une image sur l'autre après un déplacement du capteur.

61 61 mouvements singuliers Projecteur Caméra Projecteur Caméra mouvement perpendiculaire à la normale dun plan mouvement de rotation autour de laxe de révolution LE MOUVEMENT APPARENT EST NUL 5.2 détection du mouvement

62 62 effet de bord Translation du projecteur 5.2 détection du mouvement Le motif est projeté sur une surface. Le mouvement du capteur fait quun élément de motif passe brusquement dune surface à une autre.

63 estimation du mouvement objectif (R, t) O' c OcOc Estimer le déplacement du capteur dans un environnement statique. Repérer les mouvements aberrants pour détecter la présence dobstacles mobiles.

64 estimation du mouvement déplacement des plans Perte des points 3D, donc… les plans sont utilisés comme primitives. On a : En combinant :

65 65 équations des plans 5.3 estimation du mouvement Avec 3 points : Avec n points : La plus petite valeur propre associée à la matrice semi-définie positive :

66 66 mise en correspondance 5.3 estimation du mouvement 1… Ecart angulaire : 2… Si : (Ne dépend que des paramètres de rotation) (Dépend des paramètres de rotation et de translation)

67 67 extraction des paramètres 5.3 estimation du mouvement Représentation RPY (Roll, Pitch, Yaw)

68 résultats expérimentaux description H Un cube de 100mm darête, dont le déplacement est donné par la matrice H… Cest à partir des 6 plans du cube quon réalisera la mise en correspondance et lestimation du déplacement.

69 résultats expérimentaux simulations : MeC = 0.05 Paramètres fixés : Résultats (50 mesures pour chaque niveau de bruit, pour les 6 plans du cube) : bruit = ±4 mm

70 résultats expérimentaux simulations : déplacement bruit = 1mm Translation de 100mm suivant z : Rotation de /4 autour de z :

71 71 6. conclusions et perspectives Mise en correspondance fiable et rapide. Traitements simplifiés par rapport à la vision classique. Les outils fondamentaux utiles à la navigation (autocalibration, obstacles, mouvement) sont applicables à la vision en lumière structurée. La projection dun motif structurant permet un bon compromis entre les méthodes robotiques basées sur les lumières structurées mono- dimensionnelles et la stéréovision. Dépendance vis-à-vis de la luminosité ambiante. Surfaces de couleurs peu saturées privilégiées. Amélioration des algorithmes proposés...


Télécharger ppt "1 « Navigation dun véhicule intelligent à laide dun capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre 2001."

Présentations similaires


Annonces Google