La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

La vision stéréo Sonka et al: sections 11.4.1, 11.4.4, 11.5.5, 11.5.6, 11.6.1 Suppl: 11.4 au complet vision numérique, dernière révision nov. 2008– P.

Présentations similaires


Présentation au sujet: "La vision stéréo Sonka et al: sections 11.4.1, 11.4.4, 11.5.5, 11.5.6, 11.6.1 Suppl: 11.4 au complet vision numérique, dernière révision nov. 2008– P."— Transcription de la présentation:

1 La vision stéréo Sonka et al: sections , , , , Suppl: 11.4 au complet vision numérique, dernière révision nov. 2008– P. Hébert

2 Modèle de base: la paire stéréo alignée Définitions: Point de fixation: intersection des axes optiques cas particulier: point de fixation à l'infini z x xgxg xdxd F F zpzp la disparité (parallaxe) est au dénominateur (en fait, elle croît en s'éloignant du point de fixation donc en allant vers les caméras)

3 Le défi: la correspondance Deux écoles :. stéréo passive. utilisation déclairage structuré Quel point correspond avec quel point ?

4 Charles Wheatstone, 1838

5 Correspondance et reconstruction 3D P Q Q' P' IgIg IdId pgpg qgqg pdpd qdqd *tirée de Forsyth En fait n*m points possible

6 La perception (Julesz 60-70) *tirée de Nalwa Les stéréogrammes (correspondance malgré l'absence de corrélation locale dans chacune des images prises séparément)

7 Défi correspondance: la difficulté est que les deux caméras ne couvrent pas exactement les mêmes parties de la scène; il y a donc en général des régions de l'image qui ne doivent pas être appariées.

8 La correspondance n'est pas toujours biunivoque zones d'ombre arête géométrique arête de texture fausse arête géométrique ces arêtes ne sont pas toutes stables selon le point de vue! *il peut y avoir un problème près des arêtes

9 La correspondance hypothèses: les points de la scène sont visibles (en général) des deux points de vue les points correspondants sont similaires dans les images (valide surtout si les points sont beaucoup plus loin que la base de triangulation – surfaces lambertiennes) approches: corrélation de voisinage (permet un ensemble dense de correspondances) correspondance de caractéristiques (ensemble éparse de correspondances). exemple: des points dintérêt

10 Approche basée sur la corrélation il faut des régions texturées et des points de vue assez semblables* fonctionnement on sélectionne une fenêtre définissant un voisinage dans l'image gauche on cherche la fenêtre de voisinage correspondante le long de la droite épipolaire dans l'image de droite (si on suppose le volume d'observation fini, la disparité est limitée; on peut donc fixer un intervalle de recherche le long de la droite épipolaire en supposant une disparité initialement à 0) *Remarque: on suppose que tous les pixels de la fenêtre ont la même disparité

11 Fonctions de corrélation La corrélation normalisée (insensible à une transformation ax+b). La somme est calculée dans un voisinage. On peut obtenir un niveau sous-pixel par interpolation des valeurs de corrélation.

12 Illustration Voisinage u

13 Complément: amélioration Après la première passe, on estime la géométrie de la surface et on déforme les fenêtres de corrélation en conséquence, par un warping! (Forsyth, fig , Faugeras et al., Lucas et Kanade 1981, Szeliski 2004)

14 Exploitation de contraintes unicité: un point de l'image gauche ne peut correspondre qu'à un seul point de l'image droite cohérence: corrélation maximum G D i.e. le point gauche doit être le correspondant optimal de son correspondant à droite Ordre continuité de la disparité * La section du livre présente une section intéressante sur les contraintes.

15 Méthodes de mise en correspondance méthode hiérarchique multirésolution (disponible dans openCV) programmation dynamique appariement de deux séquences (le long des épipolaires) basé sur la contrainte dordre Pour plus de performance, on applique dabord la recherche à basse résolution puis on se sert de la solution comme point de départ pour le niveau suivant.

16 Autre approche Exploiter la capacité de calcul des cartes graphiques Hypothèses sur le volume Recherche de la photoconsistence (photohull)

17 Correspondance de caractéristiques Il sagit dune correspondance qui nest pas dense Droites et points d'arêtes (perpendiculaires aux droites épipolaires) utile dans des environnements structurés comme l'intérieur de bâtiments Points dintérêt ** Centre de cercles (idée des capteurs laser à triangulation) ** Voir le document sur les SIFT dans les références

18 La reconstruction 3D une paire stéréo alignée et la rectification la reconstruction pour le cas général 1. cas calibré (seul cas présenté ici) 2. seuls les paramètres intrinsèques sont connus (reconstruction 3D à un facteur d'échelle près) 3. cas non calibré (reconstruction à une projection près)

19 La rectification idée: appliquer une transformation aux deux images pour que les droites épipolaires soient parallèles et alignées (on se retrouve donc dans le cas le plus simple) intérêt: la recherche du point correspondant sur les droites épipolaires est grandement simplifiée Comment rectifier?: on peut procéder en supposant connus 1- les paramètres intrinsèques et extrinsèques ou 2- non. Nous nous limiterons au premier cas.

20 La rectification *tirées de Trucco

21 La rectification on tournera les plans images autour des centres de projection Supposons l'origine des images au point principal et la longueur F (on l'obtient en développant le produit vectoriel)

22 La rectification … Chaque pixel de la caméra gauche devient: Même principe pour les pixels de la caméra droite avec où R est la matrice de rotation associée à l'orientation de la caméra droite par rapport à la caméra gauche En pratique comme on obtient des valeurs fractionnaires pour les positions de pixel, on part plutôt de l'image cible et on applique la transformation inverse pour obtenir le pixel de l'image originale à recopier. On applique alors l'interpolation bilinéaire sur l'image originale. Cest une homographie!

23 La reconstruction: cas général calibré En pratique, à cause de l'erreur, les projecteurs ne se croisent pas. (C'est la méthode du point milieu.)

24 Reconstruction: cas calibré il y a différentes façons: ex: le point milieu (Hartley, dans son article Triangulation, critique cette méthode. Il minimise plutôt la distance entre la projection du point 3D dans les images et les droites épipolaires) les projecteurs le segment qui lie les deux projecteurs doit être perpendiculaire à ceux-ci. Il reste à calculer le point milieu.

25 Liste des méthodes méthode du point milieu approche algébrique on écrit le système linéaire (équations de 4 plans + 3 inc.) on cherche le point 3D qui minimise la distance aux 4 plans minimisation de lerreur de reprojection (bundle adjustment) on cherche le point 3D tel que sa projection dans chacune des images est près des points image observés rectifier la paire et appliquer le calcul avec la disparité

26 Remarques En pratique, on calibre la paire stéréo au moyen d'une cible. On obtient la transformation entre la cible et chacune des caméras. Il faut alors composer ces transformations pour obtenir la transformation entre chacune des caméras. (schéma au tableau) Une approche plus stable consiste à imposer une contrainte de rigidité entre les deux caméras.

27 Fin du bloc de base Un sujet de recherche très actif au cours des dernières années: la stéréoscopie multivue Site de référence: vision.middlebury.edu/stereo


Télécharger ppt "La vision stéréo Sonka et al: sections 11.4.1, 11.4.4, 11.5.5, 11.5.6, 11.6.1 Suppl: 11.4 au complet vision numérique, dernière révision nov. 2008– P."

Présentations similaires


Annonces Google