La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > David Fofi >

Présentations similaires


Présentation au sujet: "1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > David Fofi >"— Transcription de la présentation:

1 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > David Fofi > Le2i UMR CNRS 5158 Université de Bourgogne 12, rue de la Fonderie Le Creusot (France)

2 2 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Contexte Etude et conception dun capteur de vision en lumière structurée imperceptible. Utilisation du capteur dans le cadre dune stratégie de vision active. Objectif Auto-calibrage du capteur et reconstruction 3D dans un espace métrique. Plaquage des textures sur les surfaces reconstruites en une seule prise de vue. Etude des séquences « imperceptibles », segmentation et fusion des images.

3 3 Lumière structurée imperceptible 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

4 4 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Scène Caméra 1 : synchronisée à la projection du premier motif Caméra 2 : Long temps dintégration Principe Un motif lumineux et son complémentaire sont projetés à haute fréquence sur la scène et observés par deux caméras : la première synchronisée sur la projection du premier motif, la seconde observant la scène en continue avec un long temps dintégration.

5 5 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion + = Motif Motif résultant Motif complé mentaire Si la fréquence de projection dépasse la Fréquence Critique de Fusion (FCF 75 Hz ), le motif et son complémentaire sont visuellement intégrés dans le temps. Le résultat pour lœil (et pour la seconde caméra en ajustant son temps dintégration) est une illumination homogène.

6 6 Avantages Signal non-invasif : le motif est invisible à lœil. Le capteur fournit les informations de couleur et de texture, contrairement aux capteurs de vision en lumière structurée classique. Calcul du flot optique possible (caméra 2) dans le cas dun capteur en mouvement (impossible dans le cas classique : perte des points 3D). Contraintes Capteur hétérogène : 2 caméras et 1 projecteur, aux paramètres intrinsèques généralement différents. Limité à 3 vues (1 projection + 2 images). Un déplacement du projecteur équivaut à une perte des points 3D. Mise en correspondance entre limage 2 et le motif ? 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

7 7 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion CAMERA 1 CAMERA 2 VIDEO-PROJECTEUR Un exemple de capteur trinoculaire

8 8 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Méthode

9 9 Le tenseur trifocal 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

10 10 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Cube matriciel 3x3x3 Décrit la géométrie épipolaire pour trois vues comme la matrice fondamentale le fait pour deux vues. Calcul (18 ddl et 27 éléments) Contraintes épipolaires : relations de tri-linéarité Définition

11 11 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Tri-linéarités

12 12 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Méthodes destimation Méthode simple: solution directe linéaire Méthode itérative Méthode minimale : 6 points

13 13 Hors-ligne Un motif est projeté continûment Les deux caméras perçoivent le motif : la mise en correspondance est cette fois possible entre le motif et limage 2 Calcul pratique 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

14 14 Auto-calibrage 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

15 15 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Axe optique Repère du monde Repère de la caméra Repère rétinien Repère image x x y y z z (u 0, v 0 ) Modèle caméra/projecteur Paramètres extrinsèques Paramètres intrinsèques

16 16 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion 15 ddl Géométrie projective 12 ddl Plan à linfini parallèlisme Géométrie affine Géométrie métrique 7 ddl conic absolu angles, rel.dist. Principe de lauto-calibrage Rappel : du tenseur on extrait les matrices projectives 2 méthodes : itérative et intuitive 3 étapes (stratification)

17 17 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Où K est la matrice de calibration (paramètres intrinsèques) et v T est le plan de linfini. COMMENT ESTIMER K et v T ???? Mise en équation

18 18 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Conique et quadrique absolues est une conique imaginaire dans le plan, de formule ou Son image est reliée à la matrice des paramètres intrinsèques K, puisque est invariante aux mouvements rigides (rotation + translation) : elle ne dépend donc que de K !

19 19 Le dual de la quadrique absolue* de code la conique absolue et le plan 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Le dual de la conique absolue

20 20 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Mise en équation

21 21 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Contraintes sur Zero skewquadratique m Principal pointlinéaire 2m2m Zero skew (& p.p.)linéaire m ratio fixequadratique m-1 ratio connulinéaire m Distance focalelinéaire m hypothèsecontraintetype #constraints

22 22 Résultats expérimentaux Données de synthèse non bruitées, puis bruitées : - Validité du tenseur - Erreurs dans les espaces projectif & métrique Travaux en cours : - Robustesse des algorithmes - Expérimentations sur données réelles 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

23 23 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Matrice fondamentale Tenseur trifocal Résultats obtenus à partir de données simulées non- bruitées.

24 24 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Tenseur trifocal

25 25 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Reconstruction projective

26 26 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Reconstruction projective

27 27 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Distance focale

28 28 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Reconstruction métrique Objet originalObjet reconstruit

29 29 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Objet reconstruit Reconstruction métrique Objet original

30 30 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Même scène que précédemment : quand le bruit devient trop grand, lalgorithme de reconstruction dégénère. Reconstruction métrique bruitée

31 31 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Méthode dauto-calibrage à partir de trois vues hétérogènes validée. Robustesse pour la retro-projection Ajout de contraintes dans les algorithmes Rendre les méthodes de résolution plus robustes à chaque étape Expérimentations avec le capteur réel Segmentation des images Plaquage des textures sur les surfaces reconstruites Conclusion

32 32


Télécharger ppt "1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > David Fofi >"

Présentations similaires


Annonces Google