La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

« Navigation d’un véhicule intelligent à l’aide d’un capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre.

Présentations similaires


Présentation au sujet: "« Navigation d’un véhicule intelligent à l’aide d’un capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre."— Transcription de la présentation:

1 « Navigation d’un véhicule intelligent à l’aide d’un capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre 2001 Travaux dirigés par : El Mustapha Mouaddib, Professeur à l’Université de Picardie Jules Verne (France) Joaquim Salvi, Maître de Conférences à l’Université de Girona (España)

2 0. sommaire …………………………… 1. introduction générale
2. la vision en lumière structurée 3. segmentation et décodage 4. reconstruction tri-dimensionnelle 5. fonctions visuelles pour la navigation 6. conclusions et perspectives

3 1. introduction générale
Problématique Comment tirer parti de la vision en lumière structurée pour la perception d’un robot mobile ? Quels sont les avantages et les inconvénients que l’on peut tirer d’un tel capteur pour la navigation d’un robot ? Points étudiés Décodage du motif structurant. Segmentation des images codées. Autocalibration du capteur de vision. Méthode de détection d’obstacles et de construction d’une carte de l’espace libre. Méthode d’estimation du déplacement du robot par mise en correspondance des plans qui composent la scène.

4 2. la vision en lumière structurée
…………………………… 2.1 définition 2.2 classification et codage 2.3 applications

5 2.1 définition Une lumière structurée est une source lumineuse modulée dans l'espace, le temps, l'intensité et/ou la couleur. La vision en lumière structurée consiste à projeter une telle source lumineuse sur l'environnement, lui-même observé par une ou plusieurs caméras CCD ; il s'agit en fait de remplacer, dans un système stéréoscopique classique, une caméra par un projecteur de lumière.

6 2.1 définition Point de surbrillance :
Pas de problème de mise en correspondance. Balayage suivant les deux axes. Plan de lumière : Correspondance entre points de la ligne projetée ? Balayage suivant un axe. Motif structurant : Problème de mise en correspondance. Pas de balayage. Multi-plans : Correspondance entre les plans ? Pas de balayage.

7 2.2 classification et codage
3 critères liés à… La dépendance temporelle (statique ou dynamique) La nature de la lumière émise (binaire, niveaux de gris ou couleurs) La dépendance aux discontinuités (périodique ou absolu) classification proposée par Batlle, Mouaddib et Salvi.

8 2.2 classification et codage
exemples de codage Posdamer et Altschuler Statique Binaire Absolu

9 2.2 classification et codage
exemples de codage Le Moigne et Waxman Dynamique Binaire Absolu

10 2.2 classification et codage
exemples de codage Carrihill et Hummel Statique Niveaux de gris Absolu

11 2.2 classification et codage
exemples de codage Vuylsteke et Oosterlinck Dynamique Binaire Absolu

12 2.2 classification et codage
exemples de codage Boyer et Kak Dynamique Couleurs Périodique

13 2.2 classification et codage
exemples de codage Tajima et Iwakawa Statique Couleurs Absolu

14 2.2 classification et codage
exemples de codage Griffin, Narasimhan et Yee Dynamique Couleurs Absolu

15 2.2 classification et codage
notre choix PLAN IMAGE PLAN PROJECTEUR

16 2.3 applications métrologie
Laser Caméra linéaire Plaque métallique Garcia, Garcia, Obeso et Fernandez Profilométrie pour des plaques métalliques. Une caméra linéaire observe un point de surbrillance projeté sur la surface de la plaque métallique. Projecteur Verre dépoli Caméra Profil analysé Mouaddib, Brassart et Fofi Profilométrie pour des plaques de verre. Le verre est illuminé par un motif binaire, la déformation du motif se projette sur du verre dépoli observé par la caméra.

17 2.3 applications anthropométrie
Plan de base Plan de référence Plan image Diapositive Sotoca, Buendia, Iñesta Mesure des déformations pathologiques du dos. Une grille codée est projetée sur le dos des patients. La calibration consiste à projeter cette grille sur un plan de référence et sur un plan de base. Par des calculs, basés sur la similarité des triangles, une image de profondeur est obtenue à partir des données de l ’image.

18 2.3 applications robotique
caméra miroir rayon laser Plexiglass Air Eau ligne de base ligne de base effective Chantier, Clark et Umasuthan Robotique sous-marine. Le capteur est enfermé dans un caisson en plexiglass. La ligne de vue est diffractée deux fois. La ligne de base n’est plus constante. caméra laser Matthies, Balch, Wilcox Robotique extra-terrestre : Pathfinder. Deux lasers sont diffractés en quinze faisceaux coplanaires et observés par les caméras.

19 3. segmentation et décodage
…………………………… 3.1 éléments de colorimétrie 3.2 segmentation de l’image 3.3 décodage du motif 3.4 résultats expérimentaux

20 3.1 éléments de colorimétrie
qu’est-ce que la couleur ? La colorimétrie, ou métrique des couleurs, est la science qui permet de chiffrer et mesurer les couleurs. Trois paramètres définissent la couleur : La teinte Le degré de pureté (saturation) Le facteur de clarté (luminance) Le principe de la trivariance visuelle pose que le mélange de trois radiations indépendantes permet de reproduire toutes les impressions colorées. Les couleurs de base sont appelés couleurs primaires ; celles qui, mélangées aux primaires, donnent du blanc, couleurs secondaires.

21 3.1 éléments de colorimétrie
espace de couleurs Un espace des couleurs est une représentation géométrique des couleurs dans un espace généralement tri-dimensionnel. Un espace à chromaticité constante est un espace au sein duquel les distances représentent approximativement les différences de couleur perçues par l’oeil Loi de Weber-Fechner

22 3.2 segmentation de l’image
Image en Lumière Structurée Couleurs RGB Couleurs Lab Image de Luminance (L) Image de Chromaticité (a, b) Traitements Bas-Niveau Décodage du Patron de Lumière Image Segmentée et Décodée Points d'Intersection Segments Horizontaux et Verticaux schéma général 1. Traitements bas-niveau 2. Points d’intersection 3. Décodage

23 3.2 segmentation de l’image
traitements bas-niveau originale égalisation squelettisation Hough binarisation

24 3.2 segmentation de l’image
points d’intersection Calcul de l’intersection entre horizontales et verticales Si t=0 : droites parallèles Sinon, le point d’intersection est x/t, y/t.

25 3.3 décodage du motif conversion RVB - Lab RVB XYZ Lab

26 3.3 décodage du motif mesures dans ab 1… Les classes sont bien discriminées. 2… Elles sont éloignées des mesures théoriques. 3… Elles semblent se rapprocher du point d’achromatisme. 4… Le positionnement relatif des six classes est respecté. Utiliser un algorithme de coalescence pour partitionner les mesures en six classes. Utiliser le positionnement relatif des classes pour initialiser l’algorithme.

27 3.3 décodage du motif 1… Choisir n centres de classe (n = 6)
algorithme de coalescence 1… Choisir n centres de classe (n = 6) 2... Créer une nouvelle partition en affectant chaque vecteur au centre de la classe qui est la plus proche (au sens de l’écart chromatique : ) 3… Calculer les centres de gravité des classes ainsi obtenues. 4… Répéter les étapes 2 et 3 jusqu'à stabilisation.

28 3.3 décodage du motif initialisation de l’algorithme 1… Calculer le centre de gravité de tous les points mesurés dans l’espace ab. 2… Extraire le point dont la composante b est la plus élevée (supposé jaune). 3… Calculer l’écart chromatique d entre ces deux points. 4… Initialiser le centre de la classe i :

29 3.4 résultats expérimentaux
segmentation

30 3.4 résultats expérimentaux
segmentation

31 3.4 résultats expérimentaux
segmentation

32 3.4 résultats expérimentaux
analyse quantitative

33 3.4 résultats expérimentaux
décodage

34 4. reconstruction tri-dimensionnelle
…………………………… 4.1 modélisation et calibration 4.2 propriétés du capteur 4.3 auto-calibration du capteur 4.4 résultats expérimentaux

35 4.1 modélisation et calibration
principe Axe optique Repère du monde Repère de la caméra Repère rétinien Repère image x y z (u0, v0) Calibrer, c’est estimer la matrice de passage d’un point 3D exprimé dans le repère du monde à son image exprimée en pixels dans le repère image.

36 4.1 modélisation et calibration
caméra Un mouvement rigide Yw Xw Zw Ow Une projection 3-D / 2-D Un changement de coordonnées

37 4.1 modélisation et calibration
projecteur Un projecteur de lumière peut être vu comme une caméra opérant à l’envers, en inversant le sens de la ligne de vue. Géométriquement, il n’y a aucune différence entre une caméra et un projecteur. L’un et l’autre peuvent donc être modélisés de la même manière. Pour calibrer le projecteur, une solution consiste à relever les coordonnées des traces lumineuses projetées à la surface d’une mire de calibration.

38 4.2 propriétés du capteur S R Q P
 test de colinéarité spatiale S R Q P Les birapports du motif et de l’image sont égaux si les 4 points sont colinéaires.

39 {o;p,q,r,s}={o';p',q',r'} 4.2 propriétés du capteur p o' p' q' r' s' o
test de coplanarité p o' p' q' r' s' o q r s {o;p,q,r,s}={o';p',q',r'} Les birapports du motif et de l’image sont égaux si les 5 points sont coplanaires.

40 4.2 propriétés du capteur stabilité du birapport Erreur sur les birapports - bruit de 0 à 0.5d (d est la distance entre 2 points successifs) Nota : pour comparer les birapports, une distance projective est nécessaire. Méthode des birapports aléatoires [K. Aström, L. Morin, "Random cross-ratios", Research Report n°rt 88 imag-14, LIFIA, 1992].

41 4.2 propriétés du capteur Valide si 0 validité du modèle affine n m
projection affine Valide si 0

42 4.3 autocalibration du capteur
autocalibration : état de l’art Les équations de Kruppa [Faugeras, Maybank, Luong, Hartley] Stratification des géométries : - paramètres intrinsèques constants [Hartley, Heyden, Aström] - contraintes Euclidiennes [Boufama, Mohr, Veillon]

43 + = 4.3 autocalibration du capteur
autocalibration : état de l’art + = MOUVEMENT DU PROJECTEUR MOUVEMENT DES POINTS 3D LE MOTIF GLISSE SUR LES OBJETS RECONSTRUCTION A PARTIR D’UNE VUE ET D’UNE PROJECTION CAMERA + PROJECTEUR CAPTEUR HETEROGENE LES PARAMETRES INTRINSEQUES NE PEUVENT ETRE CONSTANTS Reconstruction projective + contraintes Euclidiennes

44 n images composées de m points...
4.3 autocalibration du capteur reconstruction projective n images composées de m points... mij : point image Pj : matrice de projection Mj : point objet (Uij, Vij) : coord. pixels

45 RECONSTRUCTION PROJECTIVE
4.3 autocalibration du capteur reconstruction projective Une solution unique ne peut pas être calculée puisque... W matrice 4x4 inversible : une colinéation de l’espace 3-D 4x4 - 1 (échelle) = 15 degrés de libertés, donc... 5 points objets sont choisis comme base projective. On leur affecte les coordonnées de la base canonique. RECONSTRUCTION PROJECTIVE (distances, angles et parallelisme ne sont pas conservés)

46 Les coordonnées Euclidiennes des points sont rarement disponibles…
4.3 autocalibration du capteur contraintes euclidiennes Les transformations Euclidiennes forment un sous-groupe des transformations projectives : Il existe une colinéation W qui redresse la reconstruction projective en reconstruction Euclidienne TRADUIRE DES CONNAISSANCES EUCLIDIENNES SUR LES POINTS 3-D EN CONTRAINTES SUR LES ELEMENTS DE W. Apparier 5 points « projectifs  » avec leur correspondant « Euclidiens » ? OUI, MAIS ... Les coordonnées Euclidiennes des points sont rarement disponibles… … s’ils le sont : les points d’intersection du motif doivent se projeter précisément sur les points connus.

47 4.3 autocalibration du capteur
contraintes du parallélogramme On prend l’hypothèse que le capteur a un comportement affine. CARRE PROJETE SUR UNE SURFACE PLANE IMAGE OBTENUE

48 4.3 autocalibration du capteur
contraintes d’alignement Motif Plan vert. Plan horiz. Distance arbitraire entre 2 plans de même orientation. Points appartenant à des plans verticaux ou horizontaux. Un point d’intersection choisi comme origine.

49 (xA' - xB')(xA' - xC')+ (yA' - yB')(yA' - yC') = 0
4.3 autocalibration du capteur contraintes d’orthogonalité Traces lumineuses Plans de lumière Lignes projetées Surfaces planes A C B A' B' C' A'B' ·A'C' = (xA' - xB')(xA' - xC')+ (yA' - yB')(yA' - yC')+ (zA' - zB')(zA' -zC') = 0 Si la condition n ’est pas vérifiée… Contrainte d’orthogonalité réduite : (xA' - xB')(xA' - xC')+ (yA' - yB')(yA' - yC') = 0

50 Le système d’équations est résolu par Levenberg-Marquardt.
4.3 autocalibration du capteur exemple Une contrainte d’alignement : xA' = xB' (relation entre 2 points Euclidiens inconnus) On a : [xA' ; yA' ; zA' ; tA']T = W· [xA ; yA ; zA ; tA]T [xB' ; yB' ; zB' ; tB']T = W· [xB ; yB ; zB ; tB]T Alors : W1i·xA = W1i·xB (relation entre 2 points projectifs connus) Le système d’équations est résolu par Levenberg-Marquardt. 15 contraintes indépendantes sont nécessaires (W est définie à un facteur d’échelle près)

51 4.4 résultats expérimentaux
test de colinéarité Birapport théorique (motif) = Birapport mesuré (image) = Erreur projective =6.910-4 Décision = les points sont colinéaires Birapport théorique (motif) = Birapport mesuré (image) = Erreur projective =6.210-3 Décision = les points ne sont pas colinéaires

52 4.4 résultats expérimentaux
test de coplanarité Birapport théorique (motif) = 2 Birapport mesuré (image) = 1.96 Erreur projective =2.210-3 Décision = les points sont coplanaires Birapport théorique (motif) = 2 Birapport mesuré (image) = 2.186 Erreur projective =5.910-3 Décision = les points ne sont pas coplanaires

53 4.4 résultats expérimentaux
simulations retro-projection des points 3D points sur les plans images (cercles : points synthétiques, croix : retro-projections)

54 4.4 résultats expérimentaux
scènes réelles -180 -160 -140 -120 -100 -80 -60 -40 -20 x y

55 5. fonctions visuelles pour la navigation
…………………………… 5.1 détection d’obstacles 5.2 détection du mouvement 5.3 estimation du mouvement 5.4 résultats expérimentaux

56 5.1 détection d’obstacles
principe Quasi-verticale dans l'image Obstacle Le système de vision est placé de manière à ce qu’une verticale du motif projetée sur une paroi verticale donne une verticale dans l’image. Alors… la détection d’une quasi-verticale dans l’image équivaut à la détection d’un obstacle dans la scène.

57 5.1 détection d’obstacles
carte de l’espace libre 1… On attribue à chaque élément vertical du motif une étiquette Ei  [1 ; 29]. 2… On projette les points reconstruits sur le plan du sol sous la contrainte : 3… Pour un ensemble de points ayant la même étiquette, on ne garde que celui dont la distance au robot est la plus courte :

58 5.1 détection d’obstacles
résultats

59 5.1 détection d’obstacles
résultats

60 5.2 détection du mouvement
mouvement apparent En vision en lumière structurée, on appellera mouvement apparent le déplacement d'un même élément de motif (généralement, les éléments de motif considérés sont les points d'intersection) d'une image sur l'autre après un déplacement du capteur.

61 LE MOUVEMENT APPARENT EST NUL
5.2 détection du mouvement mouvements singuliers Projecteur Caméra mouvement perpendiculaire à la normale d’un plan mouvement de rotation autour de l’axe de révolution LE MOUVEMENT APPARENT EST NUL

62 5.2 détection du mouvement
effet de bord Translation du projecteur Le motif est projeté sur une surface. Le mouvement du capteur fait qu’un élément de motif passe brusquement d’une surface à une autre.

63 5.3 estimation du mouvement
objectif (R, t) O'c Oc Estimer le déplacement du capteur dans un environnement statique. Repérer les mouvements aberrants pour détecter la présence d’obstacles mobiles.

64 5.3 estimation du mouvement
déplacement des plans Perte des points 3D, donc… les plans sont utilisés comme primitives. On a : En combinant :

65 5.3 estimation du mouvement
équations des plans Avec 3 points : Avec n points : La plus petite valeur propre associée à la matrice semi-définie positive :

66 5.3 estimation du mouvement
mise en correspondance 1… Ecart angulaire : (Ne dépend que des paramètres de rotation) 2… Si : (Dépend des paramètres de rotation et de translation)

67 5.3 estimation du mouvement
extraction des paramètres Représentation RPY (Roll, Pitch, Yaw)

68 H 5.3 résultats expérimentaux
description Un cube de 100mm d’arête, dont le déplacement est donné par la matrice H… C’est à partir des 6 plans du cube qu’on réalisera la mise en correspondance et l’estimation du déplacement. H

69 5.3 résultats expérimentaux
simulations : MeC Paramètres fixés : Résultats (50 mesures pour chaque niveau de bruit, pour les 6 plans du cube) :  = 0.05 bruit = ±4 mm

70 5.3 résultats expérimentaux
simulations : déplacement bruit = 1mm Translation de 100mm suivant z : Rotation de /4 autour de z :

71 6. conclusions et perspectives
Mise en correspondance fiable et rapide. Traitements simplifiés par rapport à la vision classique. Les outils fondamentaux utiles à la navigation (autocalibration, obstacles, mouvement) sont applicables à la vision en lumière structurée. La projection d’un motif structurant permet un bon compromis entre les méthodes robotiques basées sur les lumières structurées mono-dimensionnelles et la stéréovision. Dépendance vis-à-vis de la luminosité ambiante. Surfaces de couleurs peu saturées privilégiées. Amélioration des algorithmes proposés...


Télécharger ppt "« Navigation d’un véhicule intelligent à l’aide d’un capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre."

Présentations similaires


Annonces Google