La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Modélisation 3D de scènes urbaines à partir dimages satellitaires à très haute résolution Nesrine Chehata Directeur de thèse: Pr. Georges Stamon Université

Présentations similaires


Présentation au sujet: "1 Modélisation 3D de scènes urbaines à partir dimages satellitaires à très haute résolution Nesrine Chehata Directeur de thèse: Pr. Georges Stamon Université"— Transcription de la présentation:

1 1 Modélisation 3D de scènes urbaines à partir dimages satellitaires à très haute résolution Nesrine Chehata Directeur de thèse: Pr. Georges Stamon Université Paris 5/ SIP-CRIP5

2 2 Plan Introduction Reconstruction de primitives 3D Optimisation globale hybride Résultats et évaluations Conclusion

3 3 Contexte Contexte satellitaire très haute résolution Projet en collaboration avec le CNES Le futur satellite PLÉIADE Applications: Cartographie: aménagement, urbanisme, télécommunications… Risques: hydrologiques (inondations), la géologie dynamique. Défense: applications militaires et de sécurité Contexte de la thèse: Reconstruction 3D automatique des bâtiments en milieu urbain

4 4 Données: Couple stéréoscopique N&B Résolution [50 cm – 70 cm] Faible B/H [0.1 – 0.2] Faibles distorsions entre images Parties cachées réduites Faible précision altimétrique Images géoréférencées Contexte satellitaire THR Simulations Pléiades 50 cm Modèle Numérique délévation MNE [Baillard 97] Toute information extraite des images Des informations externes Réseau routier Limites cadastrales

5 5 Objectifs Reconstruction 3D automatique de bâtiments Possibilité dintroduire des informations externes Évaluation de la qualité de reconstruction 3D en fonction du B/H Système automatique pour la modélisation 3D de scènes urbaines Description dense de la scène Système ouvert et extensible Limitations du contexte satellitaire très haute résolution: La résolution des images La stéréoscopie simple: parties cachées, ombres portées,… Faible rapport B/H

6 6 Reconstruction 3D: État de lart Approches - modèles Grande robustesse aux détecteurs de primitives Manque de généralité Primitives Modèles Top-Down Approches - primitives Très grande généralité Peu de robustesse: Échec si manque de primitives Problème si sur-détection Primitives Modèles Bottom-Up Stratégie générale: Bottom-Up puis Top-Down = Hypothesize-and-verify GénéralitéRègles locales

7 7 Segments Segmentations en régions Reconnaissance &détection Reconstruction 3D Primitives 3D fiables Segments 3D Facettes 3D MNE hybride raster/vecteur Optimisation globale 3D contrainte Méthodologie Cadastre Réseau routier 3D Données externes Couple images MNE Données source

8 8 MNE Hybride (Raster/Vecteur) MNE Hybride Raster / Vecteur Représentation 3D Information vectorielle Plusieurs niveaux de description: - Segments 3D - Facettes 3D Information raster

9 9 Plan Reconstruction de primitives 3D Segments 3D Facettes 3D Évaluations Bilan Optimisation globale hybride Évaluation du MNE hybride Couple images MNE Données source Segments Segmentation régions Reconnaissance & détection 2D Reconstruction 3D Primitives 3D fiables Segments 3D Facettes 3D MNE hybride raster/vecteur Optimisation globale 3D contrainte Cadastre Réseau routier 3D Données externes Évaluation / MNE Référence

10 10 Reconstruction des segments 3D Mise en correspondance de segments 2D Contraintes classiques: Épipolaire, altimétrique, recouvrement, photométrique Bande de tolérance autour du MNE pour la validation Amiens 50 cm Segments 3D reconstruits Segments 3D reprojetés dans l image

11 11 Segments 3D: Simulations Évaluation de la précision de reconstruction Influence de lorientation du segment par rapport à la base Influence du rapport B/H

12 12 Segments 3D: Bilan Avantages Met à profit le faible B/H Bonne précision planimétrique Inconvénients Forte imprécision altimétrique Influence du B/H Influence de lorientation du segment

13 13 Reconstruction des facettes 3D Image gauche Mise en correspondance des régions Couples de régions appariées Segmentations hiérarchiques Hypothèse modèle surface plane Plans 3D Délimitation de la facette par projection des contours Facettes 3D Image droite [Guigues03]

14 14 Segmentation hiérarchique Pourquoi une segmentation hiérarchique ? Description multi-échelles de limage Choix du niveau dinterprétation en fonction de la résolution Possibilité dappariements inter-niveaux Résoudre les problèmes de sous et sur-segmentations des régions Modèle de fusion des régions : Géo Vs Rad On cherche à minimiser lénergie globale pour un donné: si élevé : on privilégie les grandes régions à formes simples si faible : on privilégie les petites régions à radiométrie homogène

15 15 45 cm Exemple La meilleure segmentation: Coupe à différentes échelles

16 16 Mise en Correspondance des régions Image gaucheImage droite Masquage du sol: Croissance de régions à partir dun germe dans le MNE Focalisation grâce à des données externes (réseau routier) Altitude Z min sur la zone Recherche de coupes appariées dans les sous-hiérarchies: Image gaucheImage droite

17 17 Appariement des régions Contraintes: épipolaire, altimétrique, similarité, recouvrement Contribution: Propagation ascendante des contraintes Un nœud père vérifie une propriété si tous ses fils la vérifient. Contrainte épipolaire R4R4 R3R3 R2R2 R1R1 RgRg G Avantages de la propagation ascendante Robustesse au bruit Pas de risque de perte dhomologues au cours des fusions de régions Gain de temps Image gaucheImage droite Contrainte épipolaire

18 18 Qualification des appariements Utilisation dun cube de corrélation dans lespace objet [Jibrini00] Discrétisation du volume de la scène ( X = Y= Z = R img ) Calcul des scores de corrélation Qualification dun appariement Q (Rg,Rd) = ScoreCorrel (F (Rg,Rd) )

19 19 Recherche de coupes appariées Approche Descendante Validation pilotée par la mise en correspondance des régions: Contrainte photométrique Contrainte de planéité Fusion des coupes Hypothèses de facettes concurrentes

20 20 50cm B/H 0.2 Image gaucheImage droite Facettes 3D: Résultats

21 21 60cm B/H 0.08 Facettes 3D: Résultats

22 22 Facettes 3D: Évaluations 3D Nbre facettes 201 T d =75%T sd =11% Nbre facettes 118 T d =62%T sd =9,2% 50cm70cm

23 23 Facettes 3D: Bilan Avantages Approche adaptée au contexte satellitaire (B/H faible) MEC Régions: Propagation ascendante des contraintes Faible taux de sur-détection Inconvénients Extraction non dense des facettes 3D Délimitation des facettes non précise en 3D Temps de calcul élevé

24 24 Bilan: Reconstruction des primitives 3D Les segments 3D Bonne précision planimétrique Faible précision altimétrique Les facettes 3D Bonne fiabilité des facettes Délimitation non précise Possibilité dhypothèses de facettes concurrentes Problèmes des détecteurs de primitives: Sous-détection Sur-détection Compromis à trouver entre exhaustivité et fiabilité de la reconstruction Modélisation globale de la surface 3D

25 25 Plan Reconstruction de primitives 3D Optimisation 3D contrainte Principe Modélisation des discontinuités: Segments 3D Régularisation par surfaces planes: Facettes 3D Résultats et évaluations Bilan Évaluation du MNE hybride Couple images MNE Données source Segments Segmentation régions Reconnaissance & détection Reconstruction 3D Primitives 3D fiables Segments 3D Facettes 3D MNE hybride raster/vecteur Optimisation globale 3D contrainte Cadastre Réseau routier 3D Données externes Évaluation / MNE Référence

26 26 Optimisation globale: État de lart Deux approches de minimisation dénergie: disparité terme dattache aux données terme de lissage Lestimation de la disparité peut être formulée comme un problème de minimisation dénergie: Formulation par programmation dynamique [Bai97,Bel96, Geiger95, Bobick99] Recherche du minimum sur les lignes épipolaires Difficulté de propager linformation inter-lignes épipolaires MNE [Baillard97] Formulation par flot maximal [RoyCox98,Ischikawa98,Veksler99] La surface de disparité est minimisée en 2D

27 27 Optimisation 3D: Choix de la formulation Formulation par flot de graphe [RoyCox98]: Recherche de la coupe minimale dans un graphe 3D Maillage en 6-connexité Une coupe de capacité minimale renvoie la carte de disparité Avantages: Renvoie une carte de disparité dense Facile à adapter à notre contexte : le cube de corrélation Les images sont traitées de manière symétrique

28 28 Optimisation 3D: Choix de la formulation Inconvénients (Roy Cox): Les discontinuités ne sont pas modélisées Ne garantit pas la contrainte dunicité Les améliorations : État de lart La gestion explicite des occultations Seuillage des scores de corrélation [Zitnick, Kanade 00] La modélisation des discontinuités Utilisation dune énergie de lissage dépendante du gradient dintensité dans les images [BVZ99, SSZ02] Définition des coûts en fonction des contours images [Ishikawa, Geiger98]. Ces approches nutilisent que des informations pixellaires

29 29 Formulation par flot maximal Contribution: Utilisation dinformation vectorielle pour guider loptimisation globale Amélioration de la formulation de [Roy Cox,98] Les discontinuités ne sont pas modélisées Gestion explicite par les segments 3D Contrainte dunicité non garantie Contrainte dunicité est garantie avec les facettes 3D Apport de linformation vectorielle Régularisation par surfaces planes Informations sur les pentes des toits

30 30 Optimisation 3D globale Introduire des informations vectorielles: Modélisation des discontinuités: segments 3D Régularisation de surfaces planes: facettes 3D Primitives 3D Cube de corrélation Données externes Cube hybride Optimisation globale MNE raster Carte de labels Surface 3D hybride Produits dérivés: MNE raster + carte de primitives retenues dans la coupe Surface 3D hybride Introduire le cube de corrélation: Fournit le terme dattache aux données Résoud le problème de sous-détection des primitives

31 31 Optimisation: Construction du graphe Optimisation à l intérieur du cube de corrélation Le graphe 3D: Nœuds: les voxels du cube La source s est reliée au plan Z min Le puits t est relié au plan Z max Maillage 3D en 6 connexité Graphe non orienté x y z t s arête d'occultation (arête horizontale) arête de disparité (arête verticale)

32 32 Gestion des capacités Coefficient de lissage Le coût dun nœud : Capacités des arêtes Coût dune coupe

33 33 Optimisation sans primitives (K, C f )=(0, 0) K: coefficient de lissage Influence de C f (K, C f )=(0, 0.5) (K, C f )=(0.1, 0.5) (K, C f )=(0.5, 0.5)

34 34 Cube de corrélation initial Optimisation contrainte: Facettes 3D S t Injection des facettes 3D Interdiction de passage au dessus et en dessous des facettes Autorisation de passage sur les contours des facettes Optimisation hybride: MNE Raster / Vecteur

35 35 Optimisation contrainte: Les segments 3D Modélisation des discontinuités à forte magnitude: les façades à faible magnitude: les faîtes de toit Apport des segments 3D Bonne précision planimétrique Création de couloirs de passage le long des segments

36 36 Apport des segments 3D Modélisation des discontinuités Création de couloirs de passage Capacités horizontales de faible coût

37 37 Apport des facettes 3D Régularisation de surfaces Problèmes de discrétisation Discrétisation de la facette

38 38 Optimisation contrainte: Les facettes 3D Discrétisation des facettes Point critique de la méthodologie Gestion par nappes Réduit le nombre de nœuds du graphe Création des couloirs de passage Création darêtes horizontales de faible coût Permet le passage entre facettes concurrentes Connecté au puits Connecté à la source

39 39 Optimisation contrainte: Les segments 3D 50cm (K=0,2 C f =0,5) Sans primitives Les segments extraits

40 40 Carte des facettes retenues dans la coupe (k, Cste) =(0.5, 0.5) Optimisation contrainte: facettes 3D Sans primitives Avec facettes Sans primitives Avec facettes

41 41 70 cm (K=0,1 C f =1,5) Sans primitives Avec segmentsAvec facettesAvec segments

42 42 Optimisation globale Hybride: Bilan Avantages: Optimisation dense : MNE hybride Raster/Vecteur Gestion explicite des discontinuités et des occultations Régularisation par surfaces planes Solution aux problèmes des détecteurs de primitives Gestion des hypothèses de facettes concurrentes Possibilité de remonter à l information vectorielle (représentation 3D hybride) Possibilité de généralisation: Indépendante du processus d extraction des primitives 3D Peut être étendue à un contexte multi-vues Possibilité dintroduire des informations externes: –Modélisation du sol ( réseau routier, limites cadastrales) Inconvénients: Problèmes de discrétisation des facettes Dépendance à la fiabilité des primitives extraites

43 43 Plan Reconstruction de primitives 3D Optimisation globale hybride Évaluation du MNE hybride Couple images MNE Données source Segments Segmentation régions Reconnaissance & détection Reconstruction 3D Primitives 3D fiables Segments 3D Facettes 3D MNE hybride raster/vecteur Optimisation globale 3D contrainte Cadastre Réseau routier 3D Données externes Évaluation / MNE Référence

44 44 Évaluations du MNE hybride Qualité extrinsèque: Contrôle ponctuel : Statistiques sur les différences daltitudes Évaluation en fonction de différentes classes: –(Bâtiment / sol / Bords de bâtiments) Tracé de profils comparatifs sur les MNE Qualité intrinsèque: Robustesse au paramétrage Comparaison de MNE obtenus avec différents paramétrages SolBords de Bâtiments: BB Bâtiments

45 45 Optimisation globale Hybride: Évaluations ContraintesEQM en Z (cm) Sans primitives 72,77 0,05 Segments 72,64 0,82 Facettes 70,73 0,96 ContraintesEQM en Z (cm) Sans primitives 25,29 0,36 segments 25,53 0,44 Facettes 25,20 0,33 Classe « Bords de bâtiments »Classe « Sol » ContraintesEQM en Z (cm) Sans primitives 13,68 0,43 segments 15,22 0, 15 facettes 14,22 0,15 Classe « Bâtiments » Lévaluation raster met en évidence lapport des segments La régularisation des surfaces nest pas mise en évidence par une évaluation raster

46 46 Influence de la constante C f sur le temps de calcul Optimisation globale Hybride: Évaluations

47 47 Conclusion Objectifs: Modélisation 3D de surface urbaines Système ouvert et extensible, adapté au contexte satellitaire Contributions méthodologiques : Mise à profit du faible rapport B/H à chaque étape Appariement des hiérarchies: Propagation des contraintes Processus doptimisation global, ouvert et extensible. Perspectives: Utilisation dun graphe 3D hybride où les nœuds correspondent à des primitives 3D Recalage a posteriori des facettes 3D

48 48 Conclusion: Le projet Pléaides Une chaîne de traitement pour la modélisation 3D de surfaces Applications pour le MNE hybride: Calcul dorthophotos, survol virtuel de villes, texturation du paysage,… Développement dune plate-forme dévaluation de MNE 3 niveaux dévaluations: (raster-raster) : évaluation du MNE hybride raster (vecteur- raster): évaluation des facettes 2D (forme, contours …) (vecteur-vecteur): comparaison de deux modèles 3D Précision de reconstruction: Précision de reconstruction au B/H ème de pixel Comparaison de lexhaustivité de la reconstruction des primitives à différentes résolutions

49 49 Perspectives: Le projet Pléiades Perspectives Modélisation du sol: introduction de données externes Enrichir la plate-forme dévaluation: Recalage 2D entre les MNE Métriques dévaluation 2D/ 3D Limitation de lapproche basée sur les primitives pour obtenir un modèle polyédrique en contexte satellitaire


Télécharger ppt "1 Modélisation 3D de scènes urbaines à partir dimages satellitaires à très haute résolution Nesrine Chehata Directeur de thèse: Pr. Georges Stamon Université"

Présentations similaires


Annonces Google