SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003

Perception 3D de l’environnement d’une caméra Projection 2D/3D suite … Vision stéréo Orientation à partir de l’image d’une ellipse

Projection 2D/3D suite …. Points 3D (mm) Paramètres Pixel 2D Image Paramètres intrinsèques de la caméra Paramètres extrinsèques

Projection 2D/3D suite …. L’étalonnage consiste donc à trouver la matrice M

Projection 2D/3D suite …. Équations d’étalonnage

Projection 2D/3D suite …. 2D 3D

Projection 2D/3D suite …. (patron de calibration) Positionnement du patron de calibration qui peut être un damier placé dans le plan du monde X,Y, 0

Projection 2D/3D suite …. (patron de calibration)

Projection 2D/3D suite …. u, v coordonnées image

Projection 2D/3D suite …. Équations de deux plans Plan 1: a1 x + b1 y + c1 z + d1 Plan 2: a2 x + b2 y + c2 z + d2

Projection 2D/3D suite …. Intersections: Plans u et v donne une droite Plans u, v et z=0 donne un point

Projection 2D/3D suite ….

Projection 2D/3D suite …. Équation donnant l’intersection des plans u, v et z=0

Projection 2D/3D Pour un point u,v donné dans une image, vous trouvez sa position 3D sur le plancher Xw, Yw, Zw (mm)

Projection 2D/3D P2 r P1 P3 3

Projection 2D/3D (centre de la sphère)

Projection 2D/3D Comment trouver la position 3D des pixels de la pupilles ? Le point P1 est déterminé par l’équation (voir l’équation donnant Pw) donnant la coordonnée de la projection du point p1 dans l’image Calculer le vecteur V reliant les points P1 et P2 Calculer l’intersection entre la droite passant par P1 et P2 et la sphère de rayon r centrée à la position P3

V = (Vx, Vy, Vz) = (b1c2-c1b2, c1a2-a1c2, a1b2-b1a2) Projection 2D/3D Comment trouver la position 3D des pixels de la pupilles ? Calculer le vecteur V reliant les points P1 et P2 V = (Vx, Vy, Vz) = (b1c2-c1b2, c1a2-a1c2, a1b2-b1a2)

Projection 2D/3D Comment trouver la position 3D des pixels de la pupilles ? Calculer l’intersection entre la droite passant par P1 et P2 et la sphère de rayon r centrée à la position P3 Équation de la droite

Projection 2D/3D Comment trouver la position 3D des pixels de la pupilles ? Calculer l’intersection entre la droite passant par P1 et P2 et la sphère de rayon r centrée à la position P3 Équation de la sphère centrée à P3

Projection 2D/3D Comment trouver la position 3D des pixels de la pupilles ? Calculer l’intersection entre la droite passant par P1 et P2 et la sphère de rayon r centrée à la position P3 Équation de l’intersection correspond à la valeur de u qui est la solution de:

Projection 2D/3D Comment trouver la position 3D des pixels de la pupilles ? Calculer l’intersection entre la droite passant par P1 et P2 et la sphère de rayon r centrée à la position P3 Équation de l’intersection correspond à la valeur de u qui est la solution … Si b2-4ac = 0 1intersection (tangente) u = -b/2a Si b2-4ac > 0 2 intersections (sol’n => z >0)

Projection 2D/3D Comment trouver la normale (orientation) de la pupilles ? Calculer le plan approximant les points 3D de la pupille Normale

Vision stéréo La profondeur d’un objet peut être déduite à l’aide de sa projection dans deux images Les paramètres des caméras requis pour déduire la profondeur d’un objet sont: La distance latérale (T) entre les deux caméras (base line) La distance focale (f) des caméras Le centre de chaque image (cl et cr)

Vision stéréo P point dont on veut trouver la position 3D pl et pr projection de P dans les image gauche et droite cl et cr centre des images gauche et droite T la largeur entre les deux caméras Z la profondeur du point P

Vision stéréo Profondeur du point P Disparité latérale

Vision stéréo Comment trouver la correspondance en les projections pl et pr Image L Image R

Vision stéréo Une approche possible pour la mise en correspondance des projection pl et pr est la corrélation Approche SSD: Sum of Square Difference La disparité de pl est le vecteur: qui maximise c(d) sur la région R(pl)

Orientation à partir de l’image d’une ellipse La projection d’un cercle est une ellipse L’image d’une ellipse forme un cône avec comme extrémité le centre de projection Nous pouvons trouver l’orientation du plan contenant le cercle (base du cône) en effectuant des rotations de la caméra tel que l’intersection du cône avec le plan image devienne un cercle

Orientation à partir de l’image d’une ellipse

Orientation à partir de l’image d’une ellipse Comment calculer ces rotations et ainsi déduire l’orientation du cercle Déterminer l’équation du cône à partir de l’équation de l’ellipse projetée dans le plan image Équation de l’ellipse Équation du cône

Orientation à partir de l’image d’une ellipse Comment calculer ces rotations et ainsi déduire l’orientation du cercle Une première rotation consiste à passer du système de coordonnées OXYZ au système de coordonnées OX’Y’Z’ Consiste à diagonaliser la matrice C Si 1, 2, 3 (1< 2,<3 ) sont les valeurs propres de C avec e1, e2, e3 les vecteurs propres

Orientation à partir de l’image d’une ellipse Comment calculer ces rotations et ainsi déduire l’orientation du cercle Une seconde rotation consiste à imposer l’égalité des coefficients a et b de l’équation du cône résultant en une rotation autour de l’axe Y’ de l’angle:

Orientation à partir de l’image d’une ellipse Comment calculer ces rotations et ainsi déduire l’orientation du cercle La rotation globale est donc R = R1 R2 La normale du plan  contenant le cercle (orientation du cercle)

Orientation à partir de l’image d’une ellipse Comment calculer ces rotations et ainsi déduire l’orientation du cercle (algorithme) Calculer les valeurs propres 1, 2, 3 (1< 2,<3 ) de C et les vecteurs propres e1, e2, e3 Calculer les deux valeurs de Calculer la matrice de rotation R Calculer la normale du plan contenant le cercle (orientation du cercle)

Résumé Perception 3D de l’environnement d’une caméra Projection 2D/3D Vision stéréo Orientation à partir de l’image d’une ellipse