Auto-Calibrage à partir de Deux Vues et de la Projection d’un Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr Le2i UMR CNRS 5158 Université de Bourgogne 12, rue de la Fonderie 71200 Le Creusot (France) http://www.le2i.com

Contexte Etude et conception d’un capteur de vision en lumière structurée imperceptible. Utilisation du capteur dans le cadre d’une stratégie de vision active. 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Objectif Auto-calibrage du capteur et reconstruction 3D dans un espace métrique. Plaquage des textures sur les surfaces reconstruites en une seule prise de vue. Etude des séquences « imperceptibles », segmentation et fusion des images.

Lumière structurée imperceptible 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Lumière structurée imperceptible

Principe Un motif lumineux et son complémentaire sont projetés à haute fréquence sur la scène et observés par deux caméras : la première synchronisée sur la projection du premier motif, la seconde observant la scène en continue avec un long temps d’intégration. 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Scène Caméra 1 : synchronisée à la projection du premier motif Caméra 2 : Long temps d’intégration

Si la fréquence de projection dépasse la Fréquence Critique de Fusion (FCF ≈ 75 Hz), le motif et son complémentaire sont visuellement intégrés dans le temps. Le résultat pour l’œil (et pour la seconde caméra en ajustant son temps d’intégration) est une illumination homogène. 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion + = Motif Motif résultant Motif complémentaire

Avantages Contraintes Signal non-invasif : le motif est invisible à l’œil. Le capteur fournit les informations de couleur et de texture, contrairement aux capteurs de vision en lumière structurée classique. Calcul du flot optique possible (caméra 2) dans le cas d’un capteur en mouvement (impossible dans le cas classique : perte des points 3D). 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Contraintes Capteur hétérogène : 2 caméras et 1 projecteur, aux paramètres intrinsèques généralement différents. Limité à 3 vues (1 projection + 2 images). Un déplacement du projecteur équivaut à une perte des points 3D. Mise en correspondance entre l’image 2 et le motif ?

Un exemple de capteur trinoculaire CAMERA 1 CAMERA 2 VIDEO-PROJECTEUR 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Méthode 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Le tenseur trifocal 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Le tenseur trifocal

Définition Cube matriciel 3x3x3 Décrit la géométrie épipolaire pour trois vues comme la matrice fondamentale le fait pour deux vues. Calcul (18 ddl et 27 éléments) Contraintes épipolaires : relations de tri-linéarité 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Tri-linéarités 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Méthodes d’estimation Méthode simple: solution directe linéaire Méthode itérative Méthode minimale : 6 points 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Calcul pratique Hors-ligne Un motif est projeté continûment Les deux caméras perçoivent le motif : la mise en correspondance est cette fois possible entre le motif et l’image 2 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Auto-calibrage 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Auto-calibrage

Modèle caméra/projecteur Paramètres extrinsèques Axe optique Repère du monde Repère de la caméra Repère rétinien Repère image x y z (u0, v0) 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Paramètres intrinsèques

Principe de l’auto-calibrage Rappel : du tenseur on extrait les matrices projectives 2 méthodes : itérative et intuitive 3 étapes (stratification) 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion 15 ddl Géométrie projective 12 ddl Plan à l’infini parallèlisme Géométrie affine Géométrie métrique 7 ddl conic absolu angles, rel.dist.

Mise en équation 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Où K est la matrice de calibration (paramètres intrinsèques) et vT est le plan de l’infini. COMMENT ESTIMER K et vT ????

Conique et quadrique absolues  est une conique imaginaire dans le plan , de formule ou Son image est reliée à la matrice des paramètres intrinsèques K, puisque  est invariante aux mouvements rigides (rotation + translation) : elle ne dépend donc que de K ! 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Le dual de la conique absolue Le dual de la quadrique absolue * de  code la conique absolue  et le plan  1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Mise en équation 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Contraintes sur  m 2m m-1 Zero skew quadratique Principal point 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion hypothèse contrainte type #constraints Zero skew quadratique m Principal point linéaire 2m Zero skew (& p.p.) ratio fixe m-1 ratio connu Distance focale

Résultats expérimentaux Données de synthèse non bruitées, puis bruitées : - Validité du tenseur - Erreurs dans les espaces projectif & métrique Travaux en cours : - Robustesse des algorithmes - Expérimentations sur données réelles 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Résultats obtenus à partir de données simulées non-bruitées. Tenseur trifocal Matrice fondamentale Tenseur trifocal 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Résultats obtenus à partir de données simulées non-bruitées.

Tenseur trifocal 1. Introduction 2. Lumière Structurée Imperceptible 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Reconstruction projective 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Reconstruction projective 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Distance focale 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

Reconstruction métrique Objet original 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Objet reconstruit

Reconstruction métrique Objet original 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Objet reconstruit

Reconstruction métrique bruitée 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Même scène que précédemment : quand le bruit devient trop grand, l’algorithme de reconstruction dégénère.

Conclusion Méthode d’auto-calibrage à partir de trois vues hétérogènes validée. Robustesse pour la retro-projection Ajout de contraintes dans les algorithmes  1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Rendre les méthodes de résolution plus robustes à chaque étape Expérimentations avec le capteur réel Segmentation des images Plaquage des textures sur les surfaces reconstruites 

Merci de votre attention Des questions ?