Reconstruction de volume 3D DOMPIERRE, Simon F. FORTIN, Jean-François sous la supervision de Pierre-Marc Jodoin

Plan Mise en contexte Résumé de l’état de l’art Approche utilisée Résultats obtenus et critique de ceux-ci (avec vidéos) Conclusion et perspectives

Mise en contexte Problématique: Comment pouvons nous reconstruire en 3D un objet que nous avons photographié?

Mise en contexte Stéréovision Tente de simuler le système de vision humain. Étapes: Calibrer les caméras. Rectification des images Géométrie épipolaire. Caméras parallèles. Calculer la disparité. Calculer la profondeur.

Mise en contexte Élimination de la géométrie épipolaire. Lorsqu’on connaît les paramètres intrinsèques et extrinsèques d’une caméra il est possible de relier tout point 3D à sa projection sur le plan image. On trouve une carte de profondeur au lieu d’une carte de disparité. La stéréovision avec géométrie épipolaire reconstruit la façade d’un objet ou d’une scène à l’aide de l’information de disparité. Comment pouvons nous reconstruire un objet en 3D (au lieu d’une façade)?Avec plus que deux caméras.

Mise en contexte Avec deux caméras, on obtient une carte de profondeur de l’objet. En utilisant encore plus de caméras, on cherche à reconstruire encore plus l’objet. L’idée est d’éventuellement être capable de reconstruire plus qu’une carte de profondeur, mais un objet complet.

Résumé de l’état de l’art Méthode des silhouettes (Shape from silhouettes) Construction à partir de la segmentation objet-fond.

Résumé de l’état de l’art Méthode « Voxel Coloring » Utilisation de la photo-consistance. Recherche plus structuré dans l’espace pour pouvoir gérer les occlusions. Limitations sur les positions des caméras.

Résumé de l’état de l’art Méthode « Space Carving » Généralisation de la méthode « voxel coloring ». Contraintes plus souples sur les positions des caméras. Parcours le volume différemment.

Approche utilisée Reconstruction à partir de scène synthétiques. Pourquoi? Éviter les erreurs de calibration. Limiter les erreurs possibles. Contrôler les variables. Accélérer les prises de photos. Permet de se concentrer sur les algorithmes eux-mêmes.

Approche utilisée Nous voulions une applications où nous pouvions contrôler les causes d’erreurs possibles. Textures. Modèles d’illumination. Paramètres de scènes. Bruit dans les images.

Résultats obtenus et critiques de ceux-ci

Vidéos Méthode des silhouettes et « Voxel Coloring » 16 photos prises du haut Une silhouette d’un bol plein. Le bol est creusé du haut vers le bas avec le voxel coloring Critère de la photo-consistance d’une valeur de 40 Voxels d’une taille de 0.025 unités par côté Configuration de caméra restreinte

Vidéos Algorithme du « Space Carving » 37 photos prises Initialisé à l’aide de la méthode des silhouettes Critère de la photo-consistance d’une valeur de 50 Volume initial de 79 voxels en largeur, 64 en hauteur et 64 en profondeur Voxels d’une taille de 0.025 unités par côté

Conclusion et perspectives Peut exiger de nombreuses photos Les résultats dépendent beaucoup des textures de l’objet à reconstruire Sensible au problème du « photo hull » Sensible aux seuils Fonctionne quand même assez bien malgré tout. Améliorations possibles: Critère de photo-consistance prenant compte d’autres critères. Photo-consistance prenant en compte d’autres types de luminosités plus complexes que Lambertien (diffus). Optimisations possibles: Utilisation d’une meilleure structure pour les voxels (octree). Parallélisation lors de la reconstruction.

Bibliographie Reconstruction de volume 3D Méthode des silhouettes Peter Eisert, Reconstruction of Volumetric 3D Models, in 3D Videocommunication, pp. 133-150, Schreer, Kauff, Sikora (editors), Wiley, 2005. Méthode des silhouettes D. Snow, P. Viola, R. Zabih Exact Voxel Occupancy with Graph Cuts IEEE CVPR, 2000 « Voxel Coloring » et « Space Carving » S.Seitz, C.Dyer, Photorealistic Scene Reconstruction by Voxel Coloring, 1997 K.Kutulakos, S.Seitz A Theory of Shape by Space Carving, 2000 Koen Erik Adriaan van de Sande, A Practical Setup for Voxel Coloring using off-the-shelf Components, 2004