1 Modélisation 3D de scènes urbaines à partir d’images satellitaires à très haute résolution Nesrine Chehata Directeur de thèse: Pr. Georges Stamon Université Paris 5/ SIP-CRIP5

2 Plan  Introduction  Reconstruction de primitives 3D  Optimisation globale hybride  Résultats et évaluations  Conclusion

3 Contexte  Contexte satellitaire très haute résolution  Projet en collaboration avec le CNES  Le futur satellite PLÉIADE  Applications:  Cartographie: aménagement, urbanisme, télécommunications…  Risques: hydrologiques (inondations), la géologie dynamique.  Défense: applications militaires et de sécurité  Contexte de la thèse:  Reconstruction 3D automatique des bâtiments en milieu urbain

4  Données:  Couple stéréoscopique N&B  Résolution [50 cm – 70 cm]  Faible B/H [0.1 – 0.2] Faibles distorsions entre images Parties cachées réduites  Faible précision altimétrique  Images géoréférencées Contexte satellitaire THR Simulations Pléiades 50 cm Modèle Numérique d’élévation MNE [Baillard 97]  Toute information extraite des images  Des informations externes  Réseau routier  Limites cadastrales

5 Objectifs  Reconstruction 3D automatique de bâtiments  Possibilité d’introduire des informations externes  Évaluation de la qualité de reconstruction 3D en fonction du B/H  Système automatique pour la modélisation 3D de scènes urbaines  Description dense de la scène  Système ouvert et extensible  Limitations du contexte satellitaire très haute résolution:  La résolution des images  La stéréoscopie simple: parties cachées, ombres portées,…  Faible rapport B/H

6 Reconstruction 3D: État de l’art  Approches - modèles  Grande robustesse aux détecteurs de primitives  Manque de généralité Primitives Modèles Top-Down  Approches - primitives  Très grande généralité  Peu de robustesse:  Échec si manque de primitives  Problème si sur-détection Primitives Modèles Bottom-Up Stratégie générale: Bottom-Up puis Top-Down = Hypothesize-and-verify GénéralitéRègles locales

7  Segments  Segmentations en régions Reconnaissance &détection Reconstruction 3D  Primitives 3D fiables  Segments 3D  Facettes 3D  MNE hybride raster/vecteur Optimisation globale 3D contrainte Méthodologie  Cadastre  Réseau routier 3D Données externes  Couple images  MNE Données source

8 MNE Hybride (Raster/Vecteur) MNE Hybride Raster / Vecteur Représentation 3D Information vectorielle Plusieurs niveaux de description: - Segments 3D - Facettes 3D Information raster

9 Plan  Reconstruction de primitives 3D  Segments 3D  Facettes 3D  Évaluations  Bilan  Optimisation globale hybride  Évaluation du MNE hybride  Couple images  MNE Données source  Segments  Segmentation régions Reconnaissance & détection 2D Reconstruction 3D  Primitives 3D fiables  Segments 3D  Facettes 3D  MNE hybride raster/vecteur Optimisation globale 3D contrainte  Cadastre  Réseau routier 3D Données externes Évaluation / MNE Référence

10 Reconstruction des segments 3D  Mise en correspondance de segments 2D  Contraintes classiques:  Épipolaire, altimétrique, recouvrement, photométrique  Bande de tolérance autour du MNE pour la validation Amiens 50 cm Segments 3D reconstruits Segments 3D reprojetés dans l’ image

11 Segments 3D: Simulations Évaluation de la précision de reconstruction  Influence de l’orientation du segment par rapport à la base  Influence du rapport B/H

12 Segments 3D: Bilan  Avantages Met à profit le faible B/H Bonne précision planimétrique  Inconvénients  Forte imprécision altimétrique  Influence du B/H  Influence de l’orientation du segment

13 Reconstruction des facettes 3D Image gauche Mise en correspondance des régions Couples de régions appariées Segmentations hiérarchiques Hypothèse modèle surface plane Plans 3D Délimitation de la facette par projection des contours Facettes 3D Image droite [Guigues03]

14 Segmentation hiérarchique  Pourquoi une segmentation hiérarchique ?  Description multi-échelles de l’image  Choix du niveau d’interprétation en fonction de la résolution  Possibilité d’appariements inter-niveaux  Résoudre les problèmes de sous et sur-segmentations des régions  Modèle de fusion des régions : Géo Vs Rad  On cherche à minimiser l’énergie globale pour un donné:  si élevé : on privilégie les grandes régions à formes simples  si faible : on privilégie les petites régions à radiométrie homogène

15 45 cm Exemple  La meilleure segmentation:  Coupe à différentes échelles

16 Mise en Correspondance des régions Image gaucheImage droite  Masquage du sol:  Croissance de régions à partir d’un germe dans le MNE  Focalisation grâce à des données externes (réseau routier)  Altitude Z min sur la zone  Recherche de coupes appariées dans les sous-hiérarchies: Image gaucheImage droite

17 Appariement des régions  Contraintes: épipolaire, altimétrique, similarité, recouvrement  Contribution: Propagation ascendante des contraintes  Un nœud père vérifie une propriété si tous ses fils la vérifient. Contrainte épipolaire R4R4 R3R3 R2R2 R1R1 RgRg G  Avantages de la propagation ascendante Robustesse au bruit Pas de risque de perte d’homologues au cours des fusions de régions Gain de temps Image gaucheImage droite  Contrainte épipolaire

18 Qualification des appariements  Utilisation d’un cube de corrélation dans l’espace objet [Jibrini00]  Discrétisation du volume de la scène (  X =  Y=  Z = R img )  Calcul des scores de corrélation  Qualification d’un appariement  Q (Rg,Rd) = ScoreCorrel (F (Rg,Rd) )

19 Recherche de coupes appariées  Approche Descendante  Validation pilotée par la mise en correspondance des régions:  Contrainte photométrique  Contrainte de planéité  Fusion des coupes  Hypothèses de facettes concurrentes

20 50cm B/H 0.2 Image gaucheImage droite Facettes 3D: Résultats

21 60cm B/H 0.08 Facettes 3D: Résultats

22 Facettes 3D: Évaluations 3D Nbre facettes 201 T d =75%T sd =11% Nbre facettes 118 T d =62%T sd =9,2% 50cm70cm

23 Facettes 3D: Bilan  Avantages Approche adaptée au contexte satellitaire (B/H faible) MEC Régions: Propagation ascendante des contraintes Faible taux de sur-détection  Inconvénients  Extraction non dense des facettes 3D  Délimitation des facettes non précise en 3D  Temps de calcul élevé

24 Bilan: Reconstruction des primitives 3D  Les segments 3D Bonne précision planimétrique  Faible précision altimétrique  Les facettes 3D Bonne fiabilité des facettes  Délimitation non précise  Possibilité d’hypothèses de facettes concurrentes  Problèmes des détecteurs de primitives:  Sous-détection  Sur-détection  Compromis à trouver entre exhaustivité et fiabilité de la reconstruction Modélisation globale de la surface 3D

25 Plan  Reconstruction de primitives 3D  Optimisation 3D contrainte  Principe  Modélisation des discontinuités: Segments 3D  Régularisation par surfaces planes: Facettes 3D  Résultats et évaluations  Bilan  Évaluation du MNE hybride  Couple images  MNE Données source  Segments  Segmentation régions Reconnaissance & détection Reconstruction 3D  Primitives 3D fiables  Segments 3D  Facettes 3D  MNE hybride raster/vecteur Optimisation globale 3D contrainte  Cadastre  Réseau routier 3D Données externes Évaluation / MNE Référence

26 Optimisation globale: État de l’art  Deux approches de minimisation d’énergie: disparité terme d’attache aux données terme de lissage  L’estimation de la disparité peut être formulée comme un problème de minimisation d’énergie:  Formulation par programmation dynamique [Bai97,Bel96, Geiger95, Bobick99]  Recherche du minimum sur les lignes épipolaires  Difficulté de propager l’information inter-lignes épipolaires MNE [Baillard97]  Formulation par flot maximal [RoyCox98,Ischikawa98,Veksler99]  La surface de disparité est minimisée en 2D

27 Optimisation 3D: Choix de la formulation  Formulation par flot de graphe [RoyCox98]:  Recherche de la coupe minimale dans un graphe 3D  Maillage en 6-connexité  Une coupe de capacité minimale renvoie la carte de disparité  Avantages: Renvoie une carte de disparité dense Facile à adapter à notre contexte : le cube de corrélation Les images sont traitées de manière symétrique

28 Optimisation 3D: Choix de la formulation  Inconvénients (Roy Cox):  Les discontinuités ne sont pas modélisées  Ne garantit pas la contrainte d’unicité  Les améliorations : État de l’art  La gestion explicite des occultations  Seuillage des scores de corrélation [Zitnick, Kanade 00]  La modélisation des discontinuités  Utilisation d’une énergie de lissage dépendante du gradient d’intensité dans les images [BVZ99, SSZ02]  Définition des coûts en fonction des contours images [Ishikawa, Geiger98].  Ces approches n’utilisent que des informations pixellaires

29 Formulation par flot maximal  Contribution: Utilisation d’information vectorielle pour guider l’optimisation globale  Amélioration de la formulation de [Roy Cox,98]  Les discontinuités ne sont pas modélisées Gestion explicite par les segments 3D  Contrainte d’unicité non garantie Contrainte d’unicité est garantie avec les facettes 3D  Apport de l’information vectorielle Régularisation par surfaces planes Informations sur les pentes des toits

30 Optimisation 3D globale  Introduire des informations vectorielles:  Modélisation des discontinuités: segments 3D  Régularisation de surfaces planes: facettes 3D Primitives 3D Cube de corrélation Données externes Cube hybride Optimisation globale MNE raster Carte de labels Surface 3D hybride  Produits dérivés:  MNE raster + carte de primitives retenues dans la coupe  Surface 3D hybride  Introduire le cube de corrélation:  Fournit le terme d’attache aux données  Résoud le problème de sous-détection des primitives

31 Optimisation: Construction du graphe  Optimisation à l ’intérieur du cube de corrélation  Le graphe 3D:  Nœuds: les voxels du cube  La source s est reliée au plan Z min  Le puits t est relié au plan Z max  Maillage 3D en 6 connexité  Graphe non orienté x y z t s arête d'occultation (arête horizontale) arête de disparité (arête verticale)

32 Gestion des capacités Coefficient de lissage  Le coût d’un nœud :  Capacités des arêtes  Coût d’une coupe

33 Optimisation sans primitives (K, C f )=(0, 0)  K: coefficient de lissage  Influence de C f (K, C f )=(0, 0.5) (K, C f )=(0.1, 0.5) (K, C f )=(0.5, 0.5)

34  Cube de corrélation initial Optimisation contrainte: Facettes 3D S t  Injection des facettes 3D  Interdiction de passage au dessus et en dessous des facettes  Autorisation de passage sur les contours des facettes Optimisation hybride: MNE Raster / Vecteur

35 Optimisation contrainte: Les segments 3D  Modélisation des discontinuités  à forte magnitude: les façades  à faible magnitude: les faîtes de toit  Apport des segments 3D  Bonne précision planimétrique  Création de couloirs de passage le long des segments

36 Apport des segments 3D Modélisation des discontinuités  Création de couloirs de passage  Capacités horizontales de faible coût

37 Apport des facettes 3D Régularisation de surfaces  Problèmes de discrétisation  Discrétisation de la facette

38 Optimisation contrainte: Les facettes 3D  Discrétisation des facettes  Point critique de la méthodologie  Gestion par nappes  Réduit le nombre de nœuds du graphe  Création des couloirs de passage  Création d’arêtes horizontales de faible coût  Permet le passage entre facettes concurrentes Connecté au puits Connecté à la source

39 Optimisation contrainte: Les segments 3D 50cm (K=0,2 C f =0,5) Sans primitives Les segments extraits

40 Carte des facettes retenues dans la coupe (k, Cste) =(0.5, 0.5) Optimisation contrainte: facettes 3D Sans primitives Avec facettes Sans primitives Avec facettes

41 70 cm (K=0,1 C f =1,5) Sans primitives Avec segmentsAvec facettesAvec segments

42 Optimisation globale Hybride: Bilan  Avantages: Optimisation dense : MNE hybride Raster/Vecteur Gestion explicite des discontinuités et des occultations Régularisation par surfaces planes Solution aux problèmes des détecteurs de primitives Gestion des hypothèses de facettes concurrentes Possibilité de remonter à l ’information vectorielle (représentation 3D hybride) Possibilité de généralisation: Indépendante du processus d ’extraction des primitives 3D Peut être étendue à un contexte multi-vues Possibilité d’introduire des informations externes: –Modélisation du sol ( réseau routier, limites cadastrales)  Inconvénients:  Problèmes de discrétisation des facettes  Dépendance à la fiabilité des primitives extraites

43 Plan  Reconstruction de primitives 3D  Optimisation globale hybride  Évaluation du MNE hybride  Couple images  MNE Données source  Segments  Segmentation régions Reconnaissance & détection Reconstruction 3D  Primitives 3D fiables  Segments 3D  Facettes 3D  MNE hybride raster/vecteur Optimisation globale 3D contrainte  Cadastre  Réseau routier 3D Données externes Évaluation / MNE Référence

44 Évaluations du MNE hybride  Qualité extrinsèque:  Contrôle ponctuel : Statistiques sur les différences d’altitudes  Évaluation en fonction de différentes classes: –(Bâtiment / sol / Bords de bâtiments)  Tracé de profils comparatifs sur les MNE  Qualité intrinsèque: Robustesse au paramétrage  Comparaison de MNE obtenus avec différents paramétrages SolBords de Bâtiments: BB Bâtiments

45 Optimisation globale Hybride: Évaluations ContraintesEQM en Z (cm) Sans primitives 72,77  0,05 Segments 72,64  0,82 Facettes 70,73  0,96 ContraintesEQM en Z (cm) Sans primitives 25,29  0,36 segments 25,53  0,44 Facettes 25,20  0,33 Classe « Bords de bâtiments »Classe « Sol » ContraintesEQM en Z (cm) Sans primitives 13,68  0,43 segments 15,22  0, 15 facettes 14,22  0,15 Classe « Bâtiments » L’évaluation raster met en évidence l’apport des segments La régularisation des surfaces n’est pas mise en évidence par une évaluation raster

46  Influence de la constante C f sur le temps de calcul Optimisation globale Hybride: Évaluations

47 Conclusion  Objectifs:  Modélisation 3D de surface urbaines  Système ouvert et extensible, adapté au contexte satellitaire  Contributions méthodologiques :  Mise à profit du faible rapport B/H à chaque étape  Appariement des hiérarchies: Propagation des contraintes  Processus d’optimisation global, ouvert et extensible.  Perspectives:  Utilisation d’un graphe 3D hybride où les nœuds correspondent à des primitives 3D  Recalage a posteriori des facettes 3D

48 Conclusion: Le projet Pléaides  Une chaîne de traitement pour la modélisation 3D de surfaces  Applications pour le MNE hybride:  Calcul d’orthophotos, survol virtuel de villes, texturation du paysage,…  Développement d’une plate-forme d’évaluation de MNE  3 niveaux d’évaluations:  (raster-raster) : évaluation du MNE hybride raster  (vecteur- raster): évaluation des facettes 2D (forme, contours …)  (vecteur-vecteur): comparaison de deux modèles 3D  Précision de reconstruction:  Précision de reconstruction au B/H ème de pixel  Comparaison de l’exhaustivité de la reconstruction des primitives à différentes résolutions

49 Perspectives: Le projet Pléiades  Perspectives  Modélisation du sol: introduction de données externes  Enrichir la plate-forme d’évaluation:  Recalage 2D entre les MNE  Métriques d’évaluation 2D/ 3D  Limitation de l’approche basée sur les primitives pour obtenir un modèle polyédrique en contexte satellitaire