Université Paris 5/ SIP-CRIP5 Modélisation 3D de scènes urbaines à partir d’images satellitaires à très haute résolution Nesrine Chehata Directeur de thèse: Pr. Georges Stamon Université Paris 5/ SIP-CRIP5 Présenter le directeur de thèse

Plan Introduction Reconstruction de primitives 3D Optimisation globale hybride Résultats et évaluations Conclusion

Contexte Projet en collaboration avec le CNES Contexte satellitaire très haute résolution Projet en collaboration avec le CNES Le futur satellite PLÉIADE Applications: Cartographie: aménagement, urbanisme, télécommunications… Risques: hydrologiques (inondations), la géologie dynamique. Défense: applications militaires et de sécurité Contexte de la thèse: Reconstruction 3D automatique des bâtiments en milieu urbain Préciser que très haute résolution veut dire résolution submétrique Bien se positionner par rapport au contexte général du CNES  bien le faire apparaître (Cord)

Contexte satellitaire THR Données: Couple stéréoscopique N&B Résolution [50 cm – 70 cm] Simulations Pléiades 50 cm Faible B/H [0.1 – 0.2] Faibles distorsions entre images Parties cachées réduites Faible précision altimétrique Images géoréférencées Modèle Numérique d’élévation MNE [Baillard 97] Toute information extraite des images Les images des futurs satellites pléiades n’étant pas disponibles, on utilisera des simulations plaides à partir d’images aériennes Des imulations de la physique du capteur sont réalisées, en prenant en compte la FTM, en modélisant la diffusion atmosphérique. Les images sont donc très réalistes en radiométrie. Tri-stéréo  dans le cadre de cette thèse , on exclut la multiscopie La résolution des images proposée dans le cadre de cette thèse est 5C cm-70cm. Au début de la thèse, la résolution image n’était pas encore fixée. Elle sera finalement de 70cm au Nadir. Des informations externes Réseau routier Limites cadastrales

Objectifs Reconstruction 3D automatique de bâtiments Possibilité d’introduire des informations externes Évaluation de la qualité de reconstruction 3D en fonction du B/H Limitations du contexte satellitaire très haute résolution: La résolution des images La stéréoscopie simple: parties cachées, ombres portées,… Faible rapport B/H Système automatique pour la modélisation 3D de scènes urbaines Description dense de la scène Système ouvert et extensible

Reconstruction 3D: État de l’art Approches - modèles Grande robustesse aux détecteurs de primitives Manque de généralité Primitives Modèles Top-Down Approches - primitives Très grande généralité Peu de robustesse: Échec si manque de primitives Problème si sur-détection Primitives Modèles Bottom-Up Stratégie générale: Bottom-Up puis Top-Down = Hypothesize-and-verify Généralité Règles locales

Méthodologie MNE hybride raster/vecteur Segments Segmentations en régions Reconnaissance &détection Reconstruction 3D Primitives 3D fiables  Segments 3D  Facettes 3D MNE hybride raster/vecteur Optimisation globale 3D contrainte Couple images MNE Données source Cadastre Réseau routier 3D Données externes On ne cherche pas à reconstruire des modèles polyédriques, respectant la topologie. En visée quasi verticale, les façades constituent des surfaces à forte pente qui seront très mal appariées Insister sur le fait que le MNE est utilisé dans la phase de détection des primitives 3D pour valider la reconstRuction grâce à une bande de tolérance autour du MNE

MNE Hybride (Raster/Vecteur) Représentation 3D Information raster Plusieurs niveaux de description: - Segments 3D - Facettes 3D Problématique: Limitations dues à la stéréoscopie: Les parties cachées Les ombres portées Le MNE raster . Vecteur bien insister sur le fait que le raster est dense alors que l l’info vectorielle souffre de pbs de sous-détection Information vectorielle

Plan Reconstruction de primitives 3D Optimisation globale hybride Segments 3D Facettes 3D Évaluations Bilan Optimisation globale hybride Évaluation du MNE hybride Segments Segmentation régions Reconnaissance & détection 2D Primitives 3D fiables  Segments 3D  Facettes 3D Reconstruction 3D Couple images MNE Données source MNE hybride raster/vecteur Optimisation globale 3D contrainte Cadastre Réseau routier 3D Données externes Évaluation / MNE Référence

Reconstruction des segments 3D Mise en correspondance de segments 2D Contraintes classiques: Épipolaire, altimétrique, recouvrement, photométrique Bande de tolérance autour du MNE pour la validation Segments 3D reprojetés dans l’ image Amiens 50 cm Segments 3D reconstruits

Segments 3D: Simulations Évaluation de la précision de reconstruction Influence de l’orientation du segment par rapport à la base Influence du rapport B/H Comparer la précision en Z / en xy, le rapport sigma .. Comme dans les objectifs de la thèse, on devait évaluer la précision de reconstruction en fonction du B/H. Par manque de données, des simulations ont été réalisées. On constate à ce point la difficulté de reconstruction 3D dans de telles circonstances

Segments 3D: Bilan Avantages Inconvénients Met à profit le faible B/H Bonne précision planimétrique Inconvénients Forte imprécision altimétrique Influence du B/H Influence de l’orientation du segment

Reconstruction des facettes 3D Image gauche Image droite Segmentations hiérarchiques [Guigues03] Mise en correspondance des régions Couples de régions appariées Hypothèse modèle surface plane Choix de la méthodologie: mise en correspondance des facettes qui est facilité grâce à un faible B/H. Délimitation de la facette par projection des contours Plans 3D Facettes 3D

Segmentation hiérarchique Pourquoi une segmentation hiérarchique ? Description multi-échelles de l’image Choix du niveau d’interprétation en fonction de la résolution Possibilité d’appariements inter-niveaux Résoudre les problèmes de sous et sur-segmentations des régions Modèle de fusion des régions: Géo Vs Rad On cherche à minimiser l’énergie globale pour un  donné: si  élevé : on privilégie les grandes régions à formes simples si  faible : on privilégie les petites régions à radiométrie homogène On cherche la meilleure segmentation pour un lambda donné

Exemple La meilleure segmentation: Coupe à différentes échelles 45 cm

Mise en Correspondance des régions Masquage du sol: Croissance de régions à partir d’un germe dans le MNE Focalisation grâce à des données externes (réseau routier) Altitude Zmin sur la zone Recherche de coupes appariées dans les sous-hiérarchies: Image gauche Image droite Image gauche Image droite Spécifier sous hiérarchie parce que le sol a été masqué

Appariement des régions Contraintes: épipolaire, altimétrique, similarité, recouvrement Contribution: Propagation ascendante des contraintes Un nœud père vérifie une propriété si tous ses fils la vérifient. Contrainte épipolaire Contrainte épipolaire R4 R3 R2 R1 Rg G Avantages de la propagation ascendante Robustesse au bruit Pas de risque de perte d’homologues au cours des fusions de régions Gain de temps Image gauche Image droite Relier le graphe à l’image illuster un exmple de barycentre excentré + un exp de région de bruit qui se rajoute

Qualification des appariements Utilisation d’un cube de corrélation dans l’espace objet [Jibrini00] Discrétisation du volume de la scène ( X =  Y=  Z = Rimg) Qualification d’un appariement Q (Rg,Rd) = ScoreCorrel (F(Rg,Rd)) Calcul des scores de corrélation

Recherche de coupes appariées Approche Descendante Validation pilotée par la mise en correspondance des régions: Contrainte photométrique Contrainte de planéité 0.6 0.75 0.8 Signaler l’abus de langage pour « coupe », on n’a pas une partition dense dans notre cas Deux coupes dans les deux images : deux ensembles d’appariements Fusion des coupes Hypothèses de facettes concurrentes

Facettes 3D: Résultats 50cm B/H 0.2 Image gauche Image droite

Facettes 3D: Résultats 60cm B/H 0.08

Facettes 3D: Évaluations 3D Nbre facettes 201 Td=75% Tsd=11% Nbre facettes 118 Td=62% Tsd=9,2% 50cm 70cm Comparaison des taux de détection les facettes 3D à deux résolutions différentes Relever difficulté sur les évaluations 3D: le modèle de référence: précision relative, des modèles saisis par un opérateur à partir des simulations pleiades. La aussi on releve le pb de la généralisation des bâtiments. Le taux de détection augmente d’un part à cause des hypothèses de facettes concurrentes ( on en perdait qqunes en 2D avec le Z-buffer) et à cause des parties cachées que l’on récupère.

Facettes 3D: Bilan Avantages Inconvénients Approche adaptée au contexte satellitaire (B/H faible) MEC Régions: Propagation ascendante des contraintes Faible taux de sur-détection Inconvénients Extraction non dense des facettes 3D Délimitation des facettes non précise en 3D Temps de calcul élevé Approche adaptée au contexte satellite; b/h  MED de régions Et les régions constituent des primitives plus fiable compte tenu de leur taille, que les primitives linéiques type segments 3D.

Bilan: Reconstruction des primitives 3D Les segments 3D Bonne précision planimétrique Faible précision altimétrique Les facettes 3D Bonne fiabilité des facettes Délimitation non précise Possibilité d’hypothèses de facettes concurrentes Problèmes des détecteurs de primitives: Sous-détection Sur-détection Compromis à trouver entre exhaustivité et fiabilité de la reconstruction Souligne la complémentarité des primitives: bonne localisation planimétrique des segments et meilleurs précision altimétrique pour les facettes 3D puisque les plans sont estimés de manière robuste Pour la sous detec et sur detect, les ramener ds notre contexte, importance… La sous détection manque, d ‘exhaustivité puisque le taux de détection varie entre 50 et 70% Modélisation globale de la surface 3D

Plan Reconstruction de primitives 3D Optimisation 3D contrainte Principe Modélisation des discontinuités: Segments 3D Régularisation par surfaces planes: Facettes 3D Résultats et évaluations Bilan Évaluation du MNE hybride Segments Segmentation régions Reconnaissance & détection Primitives 3D fiables  Segments 3D  Facettes 3D Reconstruction 3D Couple images MNE Données source MNE hybride raster/vecteur Optimisation globale 3D contrainte Cadastre Réseau routier 3D Données externes Évaluation / MNE Référence

Optimisation globale: État de l’art L’estimation de la disparité peut être formulée comme un problème de minimisation d’énergie: disparité terme d’attache aux données terme de lissage Deux approches de minimisation d’énergie: Formulation par programmation dynamique [Bai97,Bel96, Geiger95, Bobick99] Recherche du minimum sur les lignes épipolaires Difficulté de propager l’information inter-lignes épipolaires MNE [Baillard97] Formulation par flot maximal [RoyCox98,Ischikawa98,Veksler99] La surface de disparité est minimisée en 2D Le but est de trouver la fonction de disparité qui minimise cette énergie. La disparité correspond à une variation de position entre ceux points homologues p1 e tp2. Elle est directement liée à la profondeur par rapport au système de prise de vue, c ‘est à dire à l’altitude sur le terrain. Un terme d’attache aux données qui mesure à quel point la disparité respecte les données images initiales. Un terme de lissage qui tend à pénaliser les différence de disparité entre pixels voisins. Lambda un terme de régularisation qui donne plus ou moins de poids à l’énergie de lissage

Optimisation 3D: Choix de la formulation Formulation par flot de graphe [RoyCox98]: Recherche de la coupe minimale dans un graphe 3D Maillage en 6-connexité Une coupe de capacité minimale renvoie la carte de disparité Avantages: Renvoie une carte de disparité dense Facile à adapter à notre contexte : le cube de corrélation Les images sont traitées de manière symétrique Expliquer le cox roy: la construction du graphe les nœuds correspondent aux voxels (la position sur la lignes épipolaire, la ligne épiploire, la disparité). Les capacités des arêtes sont valuées en fonction des scores de corrélation. Ils ont démontré que’une coupe de capacité minimale sépare le graphe en deux ensembles ( Nu(T) et nu(s) ) ce qui permet d’estimer une valeur de disparité pour chaque pixel de l’image. Le maillage 6 connexité permet de relier le voisinage le long des lignes épipolaires mais également inter lignes épipolaires. On n’est pas restreint à utiliser les lignes épipolaires. On peut choisir d’empiler tout ensemble de lignes dans l’image

Optimisation 3D: Choix de la formulation Inconvénients (Roy Cox): Les discontinuités ne sont pas modélisées Ne garantit pas la contrainte d’unicité Les améliorations : État de l’art La gestion explicite des occultations Seuillage des scores de corrélation [Zitnick, Kanade 00] La modélisation des discontinuités Utilisation d’une énergie de lissage dépendante du gradient d’intensité dans les images [BVZ99, SSZ02] Définition des coûts en fonction des contours images [Ishikawa, Geiger98]. Ce qui permet de faire coincider les discontinuités avec les différences d’intensité ou de couleur. Le coût est choisi de telle manière à favoriser les discontinuités au niveau des gradients d’intensité Ces approches n’utilisent que des informations pixellaires

Formulation par flot maximal Contribution: Utilisation d’information vectorielle pour guider l’optimisation globale Amélioration de la formulation de [Roy Cox,98] Les discontinuités ne sont pas modélisées Gestion explicite par les segments 3D Contrainte d’unicité non garantie Contrainte d’unicité est garantie avec les facettes 3D Apport de l’information vectorielle Régularisation par surfaces planes Informations sur les pentes des toits Pour le pb d’unicité , insister sur le fait que le pb des surplombs est un problème classique en stéréovision quasi-verticale On ne peut pas garantir l’unicité de la solution. La disparité maximale sera retenue dans ce cas.

Optimisation 3D globale Primitives 3D Cube de corrélation Données externes Cube hybride Optimisation globale MNE raster Carte de labels Surface 3D hybride Introduire des informations vectorielles: Modélisation des discontinuités: segments 3D Régularisation de surfaces planes: facettes 3D Introduire le cube de corrélation: Fournit le terme d’attache aux données Résoud le problème de sous-détection des primitives Produits dérivés: MNE raster + carte de primitives retenues dans la coupe Surface 3D hybride

Optimisation: Construction du graphe Optimisation à l ’intérieur du cube de corrélation Le graphe 3D: Nœuds: les voxels du cube La source s est reliée au plan Zmin Le puits t est relié au plan Zmax Maillage 3D en 6 connexité Graphe non orienté x y z t s arête d'occultation (arête horizontale) arête de disparité (arête verticale)

Gestion des capacités Le coût d’un nœud : Capacités des arêtes Coefficient de lissage Coût d’une coupe Le coût d’une coupe est égal à la somme des capacités des arêtes coupées. Ne pas expliquer la cste, compliqué. Juste montrer que la capacité d’occultation permet de favoriser ou bien pénaliser les discontinuités.

Optimisation sans primitives Influence de Cf (K, Cf )=(0, 0) (K, Cf )=(0, 0.5) K: coefficient de lissage Pour les résultats du roy et cox, il faut supprimer la cste. Montrer que pour (0 0)  WTA ( winner takes all) le maximum de corrélation est retenu pour chaque (x,y) (K, Cf )=(0.1, 0.5) (K, Cf )=(0.5, 0.5)

Optimisation contrainte: Facettes 3D Cube de corrélation initial Injection des facettes 3D Interdiction de passage au dessus et en dessous des facettes Autorisation de passage sur les contours des facettes Optimisation hybride: MNE Raster / Vecteur -Le cube de corrélation initial fournit le terme d’attache au données dans l’énergie globale, les capacités sont valuées en fonction des scores de corrélation -Interdire les nœuds revient a affecter des valeurs de capacités élevées. Par création de couloirs de passages où les capacités seront de faible coût.pour favoriser le passage de la coupe par ces chemins. L’optimisation hybride renvoie une surface 3D dense, on exploite l’information vectorielle si elle existe sinon la minimisation se base sur les scores de corrélation initiaux. Le cube de corrélation permet ainsi de résoudre le problème de sous-détection des primitives. Tel est le cas sur ce toit… UN autre problème sera également résolu par l’’optimisation globale est la présence de facettes concurrentes par région planimétrique. La mailleure facette sera choise en prenant en compte le voisinage et la régularité de la surface finale. S

Optimisation contrainte: Les segments 3D Modélisation des discontinuités à forte magnitude: les façades à faible magnitude: les faîtes de toit Apport des segments 3D Bonne précision planimétrique Création de couloirs de passage le long des segments Faible coût mais non nul pour prendre en compte la magnitude des discontinuités.

Apport des segments 3D Création de couloirs de passage Capacités horizontales de faible coût Création d’arêtes horizontales de capacité faible. Rappeler que l ‘on est dans le cube de corrélation et que l’espace est discrétisé Création de couloirs de passage Modélisation des discontinuités

Apport des facettes 3D Régularisation de surfaces Discrétisation de la facette Régularisation de surfaces Problèmes de discrétisation

Optimisation contrainte: Les facettes 3D Discrétisation des facettes Point critique de la méthodologie Gestion par nappes Réduit le nombre de nœuds du graphe Création des couloirs de passage Création d’arêtes horizontales de faible coût Permet le passage entre facettes concurrentes Connecté au puits Connecté à la source Bien insister sur le fait de passer aux facettes concurrentes, permet de choisir la meilleur facette. Les capacités sont également choisies de manière à éviter les passages intempestifs entre facettes.

Optimisation contrainte: Les segments 3D Sans primitives Les segments extraits 50cm (K=0,2 Cf=0,5) Rajouter échelle pour montrer diff sol/ toit

Optimisation contrainte: facettes 3D Sans primitives Avec facettes Sans primitives Avec facettes (k, Cste) =(0.5, 0.5) Bien spécifier les trois profils Carte des facettes retenues dans la coupe

70 cm (K=0,1 Cf=1,5) Avec segments Avec facettes Avec segments Sans primitives Rajouter des profils pour montrer l’apport des facettes 3D

Optimisation globale Hybride: Bilan Avantages: Optimisation dense : MNE hybride Raster/Vecteur Gestion explicite des discontinuités et des occultations Régularisation par surfaces planes Solution aux problèmes des détecteurs de primitives Gestion des hypothèses de facettes concurrentes Possibilité de remonter à l ’information vectorielle (représentation 3D hybride) Possibilité de généralisation: Indépendante du processus d ’extraction des primitives 3D Peut être étendue à un contexte multi-vues Possibilité d’introduire des informations externes: Modélisation du sol ( réseau routier, limites cadastrales) Inconvénients: Problèmes de discrétisation des facettes Dépendance à la fiabilité des primitives extraites Système bien contraint grâce à la complémentarité des primitives

Plan Reconstruction de primitives 3D Optimisation globale hybride Évaluation du MNE hybride Segments Segmentation régions Reconnaissance & détection Primitives 3D fiables  Segments 3D  Facettes 3D Reconstruction 3D Couple images MNE Données source MNE hybride raster/vecteur Optimisation globale 3D contrainte Cadastre Réseau routier 3D Données externes Évaluation / MNE Référence

Évaluations du MNE hybride Qualité extrinsèque: Contrôle ponctuel : Statistiques sur les différences d’altitudes Évaluation en fonction de différentes classes: (Bâtiment / sol / Bords de bâtiments) Tracé de profils comparatifs sur les MNE Qualité intrinsèque: Robustesse au paramétrage Comparaison de MNE obtenus avec différents paramétrages Sol Bords de Bâtiments: BB Bâtiments Qualité extrinsèque d’un MNE, qualité intrinsèque.

Optimisation globale Hybride: Évaluations Classe « Bords de bâtiments » Classe « Sol » Contraintes EQM en Z (cm) Sans primitives 72,77  0,05 Segments 72,64  0,82 Facettes 70,73  0,96 Contraintes EQM en Z (cm) Sans primitives 25,29  0,36 segments 25,53  0,44 Facettes 25,20  0,33 Classe « Bâtiments » L’évaluation raster met en évidence l’apport des segments La régularisation des surfaces n’est pas mise en évidence par une évaluation raster Contraintes EQM en Z (cm) Sans primitives 13,68  0,43 segments 15,22  0, 15 facettes 14,22  0,15 Les évaluations sont réalisées avec K=0,1 et Cf entre 0,5 et 3. Une forte erreur pour la classe bords de bâtiments qui était prévisible puisqu elle regroupe erreur plani et alti. L’altitude du sol reste stable puisqu il n’est pas modélisé explicitement dans ces évaluations Ne met pas en évidence l’apport des facettes à cause des problèmes de discrétisation et également par manque de précision altimétrique des facettes. Le résultats est visible de manière qualitative, par le biais de profils aux endroits où l’on dispose de facettes 3D. Et aussi à cause du décalage en xy entre le mne calculé et le MNE de référence.

Optimisation globale Hybride: Évaluations Influence de la constante Cf sur le temps de calcul

Conclusion Objectifs: Modélisation 3D de surface urbaines Système ouvert et extensible, adapté au contexte satellitaire Contributions méthodologiques : Mise à profit du faible rapport B/H à chaque étape Appariement des hiérarchies: Propagation des contraintes Processus d’optimisation global, ouvert et extensible. Perspectives: Utilisation d’un graphe 3D hybride où les nœuds correspondent à des primitives 3D Recalage a posteriori des facettes 3D Évaluation par rapport au B/H: Par manque de données, je n’ai pas pu mener cette évaluation. Les algorithmes développés se basent en général sur la mise en correspondance à partir des images. Avec un fort B/H il faudra adapter ces algorithmes en rajoutant des attribut sur la forme, en estimant l homographie entre les deux images …

Conclusion: Le projet Pléaides Une chaîne de traitement pour la modélisation 3D de surfaces Applications pour le MNE hybride: Calcul d’orthophotos, survol virtuel de villes, texturation du paysage,… Développement d’une plate-forme d’évaluation de MNE 3 niveaux d’évaluations: (raster-raster) : évaluation du MNE hybride raster (vecteur- raster): évaluation des facettes 2D (forme, contours …) (vecteur-vecteur): comparaison de deux modèles 3D Précision de reconstruction: Précision de reconstruction au B/H ème de pixel Comparaison de l’exhaustivité de la reconstruction des primitives à différentes résolutions

Perspectives: Le projet Pléiades Modélisation du sol: introduction de données externes Enrichir la plate-forme d’évaluation: Recalage 2D entre les MNE Métriques d’évaluation 2D/ 3D Limitation de l’approche basée sur les primitives pour obtenir un modèle polyédrique en contexte satellitaire