SUJETS SPÉCIAUX EN INFORMATIQUE II PIF-6004

Estimation de la profondeur Vision Stéréoscopique (3D) Cas 1: axes optiques des 2 caméras parallèles Cas 2: axes optiques des 2 caméras non parallèles Cas 3: reconstruction à un facteur d’échelle unitaire

Estimation de la profondeur Vision Stéréoscopique (3D)(Cas 1: Géométrie 3D) En plus du mouvement, la profondeur des objets est une information très importante dans le processus de perception d’un agent intelligent

Estimation de la profondeur Vision Stéréoscopique (3D)(Cas 1) La profondeur d’un objet peut être déduite à l’aide de sa projection dans deux images Les paramètres des caméras requis pour déduire la profondeur d’un objet sont: La distance latérale (T) entre les deux caméras (base line) La distance focale (f) des caméras Le centre de chaque image (cl et cr)

Estimation de la profondeur (Cas 1) P: point dont on veut trouver la position 3D pl et pr: projection de P dans les images gauche et droite cl et cr: centre des images gauche et droite f: la distance focale T: la largeur entre les deux caméras Z: la profondeur du point P

Estimation de la profondeur (Cas 1) À partir des relations en géométrie Euclidienne des triangles semblables nous pouvons déduire: Profondeur du point P Disparité latérale

Estimation de la profondeur (Cas 1) Pour pouvoir calculer la disparité (d) il faut d’abord trouver la correspondance en les projections pl et pr Image L Image R

Estimation de la profondeur (Cas 1) Une approche possible pour la mise en correspondance des projections pl et pr est la corrélation Approche SSD: Sum of Square Difference La disparité de pl est le vecteur: qui maximise c(d) sur la région R(pl) dans l’image r

Estimation de la profondeur (Cas 1) Algorithme de mise en correspondance basée sur la corrélation (cross-correlation/normalized cross-correlation)

Estimation de la profondeur (Cas 1) Algorithme de mise en correspondance basée sur la corrélation (cross-correlation/normalized cross-correlation) La corrélation normalisée est moins sensible aux changements d’illumination de la scène

Estimation de la profondeur (Cas 2) Géométrie 3D

Estimation de la profondeur (Cas 2) La triangulation permet de déduire la profondeur d’un point dans l’espace 3D. La position 3D d’un point peut être déduite en trouvant l’intersection des 2 droites qui relient le centre optique de chaque caméra avec la projection 2D (dans l’image) de ce point 3D dans chaque image

Estimation de la profondeur (Cas 2) La triangulation permet de déduire la profondeur d’un point dans l’espace 3D. Suppositions utiles: Les matrices extrinsèque et intrinsèque des caméras (paramètres des caméras) sont connues Calcule de la position 3D d’un point 3D à partir de ces projections dans les images gauche et droite pl et pr

Estimation de la profondeur (Cas 2) La triangulation permet de déduire la profondeur d’un point dans l’espace 3D. La solution correspond: Au point 3D P est l’intersection des 2 rayons (droites) traversant Ol et pl ainsi que Or et pr

Estimation de la profondeur (Cas 3) Reconstruction 3D à un facteur d’échelle unitaire Seule la matrice intrinsèque des caméras sont connues L’échelle de la scène 3D ne peut être connu exactement puisque le baseline T n’est pas connu (sachant que Z = fT/d) La reconstruction est seulement unique à un facteur d’échelle inconnu Ce facteur d’échelle pourrait être déterminé si la distance entre 2 points de la scène 3D est connue

Estimation de la profondeur (Cas 3) Reconstruction 3D à un facteur d’échelle unitaire

Estimation de la profondeur (Cas 3) Reconstruction 3D à un facteur d’échelle unitaire Estimation de la matrice E: Algorithme 8-point algorithm et approche de résolution SVD. La solution est unique à un facteur d’échelle inconnu

Estimation de la profondeur (Cas 3) Reconstruction 3D à un facteur d’échelle unitaire Déduire T de la matrice E

Estimation de la profondeur (Cas 3) Reconstruction 3D à un facteur d’échelle unitaire Déduire R de la matrice E (termes rotationnels) Sachant que: Sachant que E est déduite par une approche SVD U et V étant des matrices de 3X3 et  une matrice diagonale aussi de 3X3 Avec une matrice W avec Le terme rotationnel R peut être déduit:

Estimation de la profondeur (Cas 3) Reconstruction 3D à un facteur d’échelle unitaire Reconstruction 3D Sachant que: et