DIAS / ENSG 1 Production de nuages de points 3D par corrélation dense d’images.

Présentation au sujet: "DIAS / ENSG 1 Production de nuages de points 3D par corrélation dense d’images."— Transcription de la présentation:

1 DIAS / ENSG 1 Production de nuages de points 3D par corrélation dense d’images

2 DIAS / ENSG 2 Corrélation dense But : produire des nuages de points 3D à partir de prises de vues stéréoscopiques numériques, très redondantes Principe : Tout automatique ! A partir de points de liaison, auto-étalonnage de la caméra et mise en place des images Corrélation dense (au moins pixellaire) Fusion des différents points de vue Résultats : Cartes de profondeur Nuages de points 3D 2

3 DIAS / ENSG 3 Plan du cours Rappel du principe de la photogrammétrie Le détecteur SIFT Les 3 étapes de la photogrammétrie automatique La prise de vues sur le terrain Les logiciels de corrélation dense « gratuits » Comparaison Lasergrammétrie / Photogrammétrie Traitement des nuages de points

4 DIAS / ENSG 4 Principe de la photogrammétrie 1. modélisation des images Rayon perspectif Fond de chambre Objectif M m

5 DIAS / ENSG 5 Principe de la photogrammétrie m1m3 image n°1 image n°3 S 1, R 1 S 3,R 3 image n°2 m2 S 2,R 2 M une fois la mise en place faite, les points image appariés donnent des points 3D par intersection des rayons perspectifs. 2. Utilisation des images

6 DIAS / ENSG 6 Corrélation dense Comment est-ce possible aujourd’hui ? Bonne qualité des images, même issues de caméras grand public Ordinateurs puissants, et possibilité de partager les calculs Convergence des savoirs faire entre le monde de la photogrammétrie classique et celui de la vision par ordinateur Émergence d’outils comme le détecteur SIFT permettant d’automatiser les mesures

7 DIAS / ENSG 7 Plan du cours Rappel du principe de la photogrammétrie Le détecteur SIFT Les 3 étapes de la photogrammétrie automatique La prise de vues sur le terrain Les logiciels de corrélation dense « gratuits » Comparaison Lasergrammétrie / Photogrammétrie Traitement des nuages de points

8 DIAS / ENSG 8 Peu sensible : - aux variations d'échelle, - aux rotations, - au bruit, Mais sensible aux changements de points de vue, aux transformations affines, et au diachronisme  Méthode d'extraction de « points d'intérêt » et de mise en correspondance de ces points entre 2 images Méthode proposée en 1999, puis 2004 par D. G. Lowe (Université de Colombie Britannique)‏ http://www.cs.ubc.ca/~lowe/keypoints/ [ Lowe 2004] David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2 (2004), pp. 91-110. Un outil commun à tous les packs de corrélation dense : le détecteur SIFT “Scale Invariant Feature Transform”

9 DIAS / ENSG 9 Résultat Exemple : sculpture en bronze d’un lion de profil marchant vers la droite 1 er siècle avant JC, conservée au musée national de Sana’a (Yemen) 9

10 DIAS / ENSG 10 Plan du cours Rappel du principe de la photogrammétrie Le détecteur SIFT Les 3 étapes de la photogrammétrie automatique La prise de vues sur le terrain Les logiciels de corrélation dense « gratuits » Comparaison Lasergrammétrie / Photogrammétrie Traitement des nuages de points

11 DIAS / ENSG 11 Les 3 étapes de la production de nuages de points 3D par photogrammétrie 1.Etalonnage de la caméra a)SYNONYMES : Calibration, Estimation des paramètres intrinsèques de la caméra, … 2.Estimation des poses b)SYNONYMES : Mise en place des images, Aérotriangulation, Phototriangulation, Orientation externe, Calage des images, … 3.Mise en correspondance c)SYNONYMES : Appariement, Corrélation, Production des cartes de profondeur, des nuages de points 3D

12 DIAS / ENSG 12 1) Etalonnage d’une caméra Détermination de la géométrie interne de la caméra : –Position de F dans le système image Position du PPA Distance principale (= distance focale lorsque la mise au point est à l’infini) –Modélisation de la distorsion Par exemple : position du PPS + coefficients du polynôme de distorsion Indispensable pour une utilisation photogrammétrique d’un appareil photo A refaire à chaque nouveau jeu de paramètres (focale + mise au point) Extrait cours ing1 ENSG Laure Chandelier Etalonnage Estimation de poses Mise en correspondance

13 DIAS / ENSG 13 Distorsion géométrique Point principal de symétrie : centre de la distorsion (intersection de l’axe optique avec le plan du cliché) Point principal d’autocollimation : projection orthogonale du point nodal arrière sur le fond de chambre Plan du cliché Δ, axe optique PPS PPA FS Point Principal d’Autocollimation Point Principal de Symétrie p Extrait cours ing1 ENSG Laure Chandelier Etalonnage Estimation de poses Mise en correspondance

14 DIAS / ENSG 14 Distorsion géométrique Effet de la distorsion sur l’image : –Caméras argentiques utilisées en photogrammétrie : de quelques μm (chambre métrique) à 250 μm –Caméra numérique Grand public : jusqu’à 100 pixels Photogrammétrique : jusqu’à 30 pixels « en barillet » → grand angle « en coussinet » → téléobjectif Extrait cours ing1 ENSG Laure Chandelier Etalonnage Estimation de poses Mise en correspondance

15 DIAS / ENSG 15 1) Etalonnage d’une caméra On considère au départ une caméra par défaut –Points principaux au centre du fond de chambre –Focale constructeur (cf. données Exif) –Pas de distorsion Prise de vues Mise en place des images, incluant la détermination des caractéristiques de la caméra Etalonnage Estimation de poses Mise en correspondance

16 DIAS / ENSG 16 1) Etalonnage d’une caméra Avec un polygone d’étalonnage Polygone d’étalonnage de l’IGN Extrait cours ing1 ENSG Laure Chandelier Etalonnage Estimation de poses Mise en correspondance

17 DIAS / ENSG 17 1) Etalonnage d’une caméra Avec une mire d’étalonnage : Mire Photomodeler Extrait cours ing1 ENSG Laure Chandelier Etalonnage Estimation de poses Mise en correspondance

18 DIAS / ENSG 18 1) Etalonnage d’une caméra Par « Auto-étalonnage » –Prise de vues redondantes d’un site texturé, avec du relief Etalonnage Estimation de poses Mise en correspondance

19 DIAS / ENSG 19 1) Etalonnage d’une caméra Résultat : 2184.718 1466.355 2998.4783 2183.5049 1470.2366 -1.41693475927868322e-08 1.03838109728166354e-15 -1.44693894798600486e-23 0 4368 2912 Plan du cliché Δ, axe optique PPS PPA FS Point Principal d’Autocollimation Point Principal de Symétrie p x,y PPAx,y PPSp Description de la distorsion radiale Taille du capteur en pixels Etalonnage Estimation de poses Mise en correspondance

20 DIAS / ENSG 20 2) Estimation des poses Extraction automatique de points de liaison (détecteur SIFT par exemple) Détermination des poses (Position et Orientation des caméras) par résolution d’un système d’équations m=f (M) les « M » sont tous les détails choisis sur l’objet par le détecteur SIFT les « m » sont les mesures des pts M sur les images où ils sont visibles les « f » sont les formules d’image Eventuellement basculement sur des points d’appui, ou sur un plan Etalonnage Estimation de poses Mise en correspondance

21 DIAS / ENSG 21 2) Estimation des poses Une fois les poses déterminées, les points image appariés donnent des points 3D par intersection des rayons perspectifs m1m3 image n°1 image n°3 S1S3 image n°2 m2 S2 M

22 DIAS / ENSG 22 2) Estimation des poses Etalonnage Estimation de poses Mise en correspondance Visualisation des points SIFT (dans l’espace objet) et des caméras

23 DIAS / ENSG 23 2) Estimation des poses Etalonnage Estimation de poses Mise en correspondance Visualisation des points SIFT (dans l’espace objet) et des caméras

24 DIAS / ENSG 24 3) Mise en correspondance Micmac utilise une méthode de mise en correspondance qui : 1.associe les points qui se ressemblent, 2.donne une surface vraisemblable, 3.est acceptable en temps de calcul. Extrait Cours PPMD ENSG M. Pierrot-Deseilligny  Critère de ressemblance (approche multi image pour augmenter La fiabilité des points trouvés)  Modélisation énergétique pour l’a-priori  Approche multi-échelle Etalonnage Estimation de poses Mise en correspondance

25 DIAS / ENSG 25 3) Mise en correspondance Critère de ressemblance – On utilise le coefficient de corrélation entre vignettes image gauche image droite Vignette du point à apparier Zone de recherche 84 85 93 95 96 79 6983 65 70 75 59 6373 56 6785 79 84 86 87 89 74 68 70 La vignette « homologue » est celle qui donne le meilleur coefficient de corrélation avec celle de référence (valeur proche de 1) Selon le contexte, la taille de la vignette doit varier Etalonnage Estimation de poses Mise en correspondance

26 DIAS / ENSG 26 3) Mise en correspondance Approche multi-échelle : on commence par extraire un modèle 3D sur des images sous-échantillonnées. Le modèle est affiné par itérations par des calculs sur des images de mieux en mieux résolue Etalonnage Estimation de poses Mise en correspondance

27 DIAS / ENSG 27 3) Mise en correspondance Modélisation énergétique –Permet de maximiser la ressemblance entre image –Et de respecter les connaissance a priori sur le contexte du problème Etalonnage Estimation de poses Mise en correspondance

28 DIAS / ENSG 28 Plan du cours Rappel du principe de la photogrammétrie Le détecteur SIFT Les 3 étapes de la photogrammétrie automatique La prise de vues sur le terrain Les logiciels de corrélation dense « gratuits » Comparaison Lasergrammétrie / Photogrammétrie Traitement des nuages de points

29 DIAS / ENSG 29 Prise de vues sur le terrain Prévoir plusieurs points de vues pour éviter les parties cachées Objets 3D : –Prendre une image maîtresse par point de vues, + deux images de part et d’autre en latéral, et deux images en vertical. Cette configuration en croix permet d’éviter les ambigüités d’appariement sur les détails parallèles à la base stéréoscopique –Prendre des images entre les points de vue, pour permettre un calage global (contrainte SIFT) Objets « plans » –Acquisition par bande avec deux hauteurs si possible

30 DIAS / ENSG 30 Prise de vues sur le terrain Figure par Laure Chandelier

31 DIAS / ENSG 31 Prise de vues sur le terrain Soigner les réglages photo –Éviter l’autofocus –Eviter le stabilisateur –Préférer une grande profondeur de champ –Préférer un éclairage homogène –Prendre tout un bloc d’images avec les mêmes paramètres

32 DIAS / ENSG 32 Plan du cours Rappel du principe de la photogrammétrie Le détecteur SIFT Les 3 étapes de la photogrammétrie automatique La prise de vues sur le terrain Les logiciels de corrélation dense « gratuits » Comparaison Lasergrammétrie / Photogrammétrie Traitement des nuages de points

33 DIAS / ENSG 33 Logiciels de corrélation dense « gratuits » ARC 3D : Université de Louvain Pas de calcul en local Simple d’utilisation, mais pas de contrôle 123DCatch : Autodesk Pas de calcul en local Simple d’utilisation, mais pas de contrôle Bundler / PMVS (Patch-based Multi-view Stereo Software) université de Washington et L'École Normale Supérieure À installer / compiler en local (SIFT + bundler + PMVS) Peu de possibilités de reprise en cas de pb MICMAC IGN/MATIS (M. Pierrot-Deseilligny) À installer / compiler en local (pastis + apero + micmac) Très paramétrable (pas simple, mais il existe une interface) 33

34 DIAS / ENSG 34 Logiciels de corrélation Microsoft Photosynth Pas de calcul en local, nécessite un compte Microsoft Permet de relier entre elles toutes les images d’un bloc Le nuage de points 3D n’est composé que des points SIFT 34

35 DIAS / ENSG 35 Plan du cours Rappel du principe de la photogrammétrie Le détecteur SIFT Les 3 étapes de la photogrammétrie automatique La prise de vues sur le terrain Les logiciels de corrélation dense « gratuits » Comparaison Lasergrammétrie / Photogrammétrie Traitement des nuages de points

36 DIAS / ENSG 36 Lasergrammétrie Extrait Présentation Journées de la recherche IGN 2009 ; M. Pierrot-Deseilligny

37 DIAS / ENSG 37 Photogrammétrie. Extrait Présentation Journées de la recherche IGN 2009 ; M. Pierrot-Deseilligny

38 DIAS / ENSG 38 Lasergrammétrie / Photogrammétrie. Lasergrammétrie. Photogrammétrie. « Zéro » fautes. Présence de fautes. Presque tous les matériaux. Uniquement les matériaux texturés. Précision constante. Précision variable. Précision arbitraire, augmente avec la résolution. Diminue avec la distance à la scène. Matériel cher (~50 KE). Matériel bon marché (à partir de 1 KE). Prise de donnée lente. Prise de donnée rapide, image instantanée (véhicules, drones). Matériel lourd + alimentation électrique. Matériel léger : perche télescopique, emporté sur drones, sous-marine. Nécessite images en+, référencement. Image de qualité par construction. Répondent à des besoins complémentaires Extrait Présentation Journées de la recherche IGN 2009 ; M. Pierrot-Deseilligny

39 DIAS / ENSG 39 Plan du cours Rappel du principe de la photogrammétrie Le détecteur SIFT Les 3 étapes de la photogrammétrie automatique La prise de vues sur le terrain Les logiciels de corrélation dense « gratuits » Comparaison Lasergrammétrie / Photogrammétrie Traitement des nuages de points

40 DIAS / ENSG 40 Traitement des nuages de points 3D Traitements éventuellement nécessaires –Filtrage –Débruitage –Rééchantillonnage –Triangulation / texturation –Reconstruction (bâtiments / végétation / mobilier urbain) La triangulation de Delaunay d'un ensemble de n points est l'unique triangulation telle qu'un cercle passant par les trois points d'un triangle ne contienne aucun autre point.triangulation trianglepoint