Thierry Molinier > David Fofi >

Présentation au sujet: "Thierry Molinier > David Fofi >"— Transcription de la présentation:

1 Auto-Calibrage à partir de Deux Vues et de la Projection d’un Motif Lumineux
Thierry Molinier > David Fofi > Le2i UMR CNRS 5158 Université de Bourgogne 12, rue de la Fonderie Le Creusot (France)

2 Contexte Etude et conception d’un capteur de vision en lumière structurée imperceptible. Utilisation du capteur dans le cadre d’une stratégie de vision active. 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Objectif Auto-calibrage du capteur et reconstruction 3D dans un espace métrique. Plaquage des textures sur les surfaces reconstruites en une seule prise de vue. Etude des séquences « imperceptibles », segmentation et fusion des images.

3 Lumière structurée imperceptible
1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Lumière structurée imperceptible

4 Principe Un motif lumineux et son complémentaire sont projetés à haute fréquence sur la scène et observés par deux caméras : la première synchronisée sur la projection du premier motif, la seconde observant la scène en continue avec un long temps d’intégration. 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Scène Caméra 1 : synchronisée à la projection du premier motif Caméra 2 : Long temps d’intégration

5 Si la fréquence de projection dépasse la Fréquence Critique de Fusion (FCF ≈ 75 Hz), le motif et son complémentaire sont visuellement intégrés dans le temps. Le résultat pour l’œil (et pour la seconde caméra en ajustant son temps d’intégration) est une illumination homogène. 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion + = Motif Motif résultant Motif complémentaire

6 Avantages Contraintes
Signal non-invasif : le motif est invisible à l’œil. Le capteur fournit les informations de couleur et de texture, contrairement aux capteurs de vision en lumière structurée classique. Calcul du flot optique possible (caméra 2) dans le cas d’un capteur en mouvement (impossible dans le cas classique : perte des points 3D). 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Contraintes Capteur hétérogène : 2 caméras et 1 projecteur, aux paramètres intrinsèques généralement différents. Limité à 3 vues (1 projection + 2 images). Un déplacement du projecteur équivaut à une perte des points 3D. Mise en correspondance entre l’image 2 et le motif ?

7 Un exemple de capteur trinoculaire
CAMERA 1 CAMERA 2 VIDEO-PROJECTEUR 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

8 Méthode 1. Introduction 2. Lumière Structurée Imperceptible
3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

9 Le tenseur trifocal 1. Introduction
2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Le tenseur trifocal

10 Définition Cube matriciel 3x3x3
Décrit la géométrie épipolaire pour trois vues comme la matrice fondamentale le fait pour deux vues. Calcul (18 ddl et 27 éléments) Contraintes épipolaires : relations de tri-linéarité 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

11 Tri-linéarités 1. Introduction 2. Lumière Structurée Imperceptible
3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

12 Méthodes d’estimation
Méthode simple: solution directe linéaire Méthode itérative Méthode minimale : 6 points 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

13 Calcul pratique Hors-ligne Un motif est projeté continûment
Les deux caméras perçoivent le motif : la mise en correspondance est cette fois possible entre le motif et l’image 2 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

14 Auto-calibrage 1. Introduction 2. Lumière Structurée Imperceptible
3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Auto-calibrage

15 Modèle caméra/projecteur
Paramètres extrinsèques Axe optique Repère du monde Repère de la caméra Repère rétinien Repère image x y z (u0, v0) 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Paramètres intrinsèques

16 Principe de l’auto-calibrage
Rappel : du tenseur on extrait les matrices projectives 2 méthodes : itérative et intuitive 3 étapes (stratification) 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion 15 ddl Géométrie projective 12 ddl Plan à l’infini parallèlisme Géométrie affine Géométrie métrique 7 ddl conic absolu angles, rel.dist.

17 Mise en équation 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Où K est la matrice de calibration (paramètres intrinsèques) et vT est le plan de l’infini. COMMENT ESTIMER K et vT ????

18 Conique et quadrique absolues
 est une conique imaginaire dans le plan , de formule ou Son image est reliée à la matrice des paramètres intrinsèques K, puisque  est invariante aux mouvements rigides (rotation + translation) : elle ne dépend donc que de K ! 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

19 Le dual de la conique absolue
Le dual de la quadrique absolue * de  code la conique absolue  et le plan  1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

20 Mise en équation 1. Introduction 2. Lumière Structurée Imperceptible
3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

21 Contraintes sur  m 2m m-1 Zero skew quadratique Principal point
1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion hypothèse contrainte type #constraints Zero skew quadratique m Principal point linéaire 2m Zero skew (& p.p.) ratio fixe m-1 ratio connu Distance focale

22 Résultats expérimentaux
Données de synthèse non bruitées, puis bruitées : - Validité du tenseur - Erreurs dans les espaces projectif & métrique Travaux en cours : - Robustesse des algorithmes - Expérimentations sur données réelles 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

23 Résultats obtenus à partir de données simulées non-bruitées.
Tenseur trifocal Matrice fondamentale Tenseur trifocal 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Résultats obtenus à partir de données simulées non-bruitées.

24 Tenseur trifocal 1. Introduction 2. Lumière Structurée Imperceptible
4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

25 Reconstruction projective
1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

26 Reconstruction projective
1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

27 Distance focale 1. Introduction 2. Lumière Structurée Imperceptible
3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

28 Reconstruction métrique
Objet original 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Objet reconstruit

29 Reconstruction métrique
Objet original 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Objet reconstruit

30 Reconstruction métrique bruitée
1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Même scène que précédemment : quand le bruit devient trop grand, l’algorithme de reconstruction dégénère.

31 Conclusion Méthode d’auto-calibrage à partir de trois vues hétérogènes validée. Robustesse pour la retro-projection Ajout de contraintes dans les algorithmes  1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Rendre les méthodes de résolution plus robustes à chaque étape Expérimentations avec le capteur réel Segmentation des images Plaquage des textures sur les surfaces reconstruites 

32 Merci de votre attention
Des questions ?