i MAGIS est un projet commun CNRS - INPG - INRIA - UJF iMAGIS-GRAVIR / IMAG Optimisation à base de flot de graphe pour l'acquisition d'informations 3D à partir de séquences d'images Sylvain Paris et François Sillion

iMAGIS-GRAVIR / IMAG Cadre de travail Séquence d’images fixes

iMAGIS-GRAVIR / IMAG Schéma général Images Information 3D Choix (optimisation) Calcul Traitement

iMAGIS-GRAVIR / IMAG Plan • Algorithme d'acquisition 3D • Travaux antérieurs • Flot de graphe : introduction • Optimisation dans le plan 2D • Cas 3D • Acquisition 3D : résultats • Conclusion

iMAGIS-GRAVIR / IMAG Algorithme de reconstruction Séquence d'images fixes dans le temps + Discrétisation de l'espace 3D Fonction de cohérence Ce point 3D appartient-il à la surface d'un objet ?

iMAGIS-GRAVIR / IMAG Algorithme de reconstruction (2) Optimisation Fonction de cohérence Surface Post-traitements

iMAGIS-GRAVIR / IMAG Quoi optimiser ? La fonction de cohérence  coût  OUI  NON  NON forte cohérence faible coût faible cohérence fort coût

iMAGIS-GRAVIR / IMAG Quoi optimiser ? (2) A priori : les objets sont lisses. La cohérence ne suffit pas. Terme de régularité  pénaliser les discontinuités.  OUI  NON  NON

iMAGIS-GRAVIR / IMAG Formulation : une énergie coûtpénalité Surface  fonction f énergie = coût (cohérence) + pénalité (régularité)  x et  y pour contrôler la pénalité.

iMAGIS-GRAVIR / IMAG Choix de la pénalité Pénalité : faible le long des discontinuités de couleur xxxx yyyy

iMAGIS-GRAVIR / IMAG Plan • Algorithme d'acquisition 3D Travaux antérieurs • Travaux antérieurs • Flot de graphe : introduction • Optimisation dans le plan 2D • Cas 3D • Acquisition 3D : résultats • Conclusion

iMAGIS-GRAVIR / IMAG Travaux antérieurs Aucune optimisation Aucune optimisation [Kutulakos et Seitz 99, Slabaugh et al. 00] • précision en fonction du nombre de points de vue et de leurs positions [Scharstein et Szeliski] Optimisation ligne par ligne Optimisation ligne par ligne [Ohta et Kanade 85, Okutomi et Kanade 93,...]  nécessite peu de points de vue  cohérence entre lignes  pas de relief

iMAGIS-GRAVIR / IMAG Travaux antérieurs Optimisation globale sur la surface  type "descente de gradient"  type "descente de gradient" [Faugeras et Keriven 98]  difficile à mettre en œuvre (minima locaux)  type "flot de graphe"  type "flot de graphe" [Roy et Cox 98] • contrainte de continuité quelconque mais solution approchée • contrainte de continuité quelconque mais solution approchée [Veksler 99, Kolmogorov et Zabih 01 et 02] • contrainte de continuité convexe et solution exacte • contrainte de continuité convexe et solution exacte [Ishikawa 00]  Formulation discrète : dépend de la résolution  Mal adapté au problème multi-caméras

iMAGIS-GRAVIR / IMAG Plan •Algorithme d'acquisition 3D • Travaux antérieurs • Flot de graphe : introduction • Optimisation dans le plan 2D • Cas 3D • Acquisition 3D : résultats • Conclusion

iMAGIS-GRAVIR / IMAG Flot de graphe Un problème d'écoulement d'eau source débit infini puits débit fini puits débit fini Réseau de tuyaux Réseau de tuyaux [Ford et Fulkerson 62]Goulot d'étranglement ? Ensemble de tuyaux • sépare la source du puits • restreint le flot à travers le réseau

iMAGIS-GRAVIR / IMAG Flot de graphe (2) Donner un sens aux coupures Source Puits  Réseau de tuyaux : graphe  Tuyaux (capacité, flot) : arcs valués  Jonctions entre tuyaux : nœuds  Ensemble séparant source/puits : coupure  Goulot d'étranglement : coupure minimale Algorithme connu et en temps polynomial [Ford et Fulkerson 62, Cherkassky et Goldberg 97,...]

iMAGIS-GRAVIR / IMAG Plan • Travaux antérieurs • Algorithme d'acquisition 3D • Flot de graphe : introduction • Optimisation dans le plan 2D • Cas 3D • Acquisition 3D : résultats • Conclusion

iMAGIS-GRAVIR / IMAG Plan 2D : formulation Discrétisation coûtpénalité Géométrie

iMAGIS-GRAVIR / IMAG Pénalité (régularité)  arcs horizontaux Coût  arcs verticaux Plan 2D : résolution Surface  coupure Énergie de la surface = Capacité de la coupure Énergie de la surface = Capacité de la coupure

iMAGIS-GRAVIR / IMAG Plan 2D : ambiguïté Coût et pénalité uniformes :  pas de différence entre un pallier et une pente progressive Effet classique des "marches d'escalier" Différenciation grâce à :

iMAGIS-GRAVIR / IMAG Plan • Travaux antérieurs • Algorithme d'acquisition 3D • Flot de graphe : introduction • Optimisation dans le plan 2D • Cas 3D • Acquisition 3D : résultats • Conclusion

iMAGIS-GRAVIR / IMAG Cas 3D Simple mais ambiguë Sans ambiguïté Grille 3D à la place de la grille 2D.

iMAGIS-GRAVIR / IMAG Cas 3D • Ne se résout pas par des méthodes type "exploration récursive des fonctions". • Complexité en O(n 2,5 ) [n : nombre d'arcs et de nœuds] • Optimisation globale de la surface.

iMAGIS-GRAVIR / IMAG Extensions • dimensions supérieures • approximation en temps linéaire • fonctions périodiques • autres mesures

iMAGIS-GRAVIR / IMAG Plan • Algorithme d'acquisition 3D • Travaux antérieurs • Flot de graphe : introduction • Optimisation dans le plan 2D • Cas 3D • Acquisition 3D : résultats • Conclusion

iMAGIS-GRAVIR / IMAG Résultats 40 images 692 x 591

iMAGIS-GRAVIR / IMAG Résultats 11 images 640 x 480

iMAGIS-GRAVIR / IMAG Résultats (2)  30 minutes à 2 heures de calcul (MIPS R MHz)  300 Mo à 700 Mo de mémoire  Mais : plusieurs dizaines à plusieurs centaines de millions d'arcs  Cas réels

iMAGIS-GRAVIR / IMAG Plan • Algorithme d'acquisition 3D • Travaux antérieurs • Flot de graphe : introduction • Optimisation dans le plan 2D • Cas 3D • Acquisition 3D : résultats • Conclusion

iMAGIS-GRAVIR / IMAG Conclusion • Formulation continue et géométrique du problème. • Mise en évidence d'ambiguïtés et solution pour les résoudre. • Application à la reconstruction 3D  précision. Travaux futurs • Encore plus précis. • Exploration en détail des extensions.

iMAGIS-GRAVIR / IMAG Merci......questions ?