Morphing 3D de modèles estimés

Présentation au sujet: "Morphing 3D de modèles estimés"— Transcription de la présentation:

1 Morphing 3D de modèles estimés
Stage de fin d ’études Benjamin Le Guen Encadrants: Luce Morin, Raphaèle Balter

2 Introduction Temics, Janvier 2002 : Schéma de codage/transmission/décodage de séquences vidéo réelles Représentation synthétique sous forme de modèles 3D Objectif Améliorer le rendu des séquences reconstruites et virtuelles =>Mettre au point un post-traitement

3 Plan Introduction Contexte Travail réalisé Résultats Conclusion

4 Introduction Contexte Travail réalisé Résultats Conclusion

5 La structure d ’accueil
L ’Irisa Informatique et Signaux Aléatoires Unité mixte de recherche (INRIA, CNRS, Rennes 1, INSA) 25 équipes autour de grands thèmes scientifiques Le projet Temics Analyse et modélisation de séquences vidéo, Codage conjoint source-canal, Tatouage

6 La structure d ’accueil
Environnement technique OS : UNIX, Linux Langage : C/C++ Librairie graphique : CGAL

7 Codage d ’une séquence vidéo par flux de modèles 3D
Modèles 3D obtenus à partir d ’une vidéo Stéréo-reconstruction Maillage triangulaire uniforme

8 Codage d ’une séquence vidéo par flux de modèles 3D
Modélisation dépendant du point de vue Un modèle pour images de la séquence (notion de GOP) Séquence originale Carte d ’élévations Modèle 3D

9 Décodage

10 Applications Chemin virtuel Réalité augmentée Codage 3D - 60 kbits/s
H26L kbits/S

11 Difficulté Transition entre modèles
Causes Saut géométrique (erreurs d ’estimation/zones découvertes) Saut de texture (erreurs/point de vue/illumination) Saut de connectivité (élévations sur maillage uniforme) Transition saut geom

12 Approches précédentes
Fondu dans l ’espace des textures saut de géométrie/connectivité Fondu 3D effet fantôme Morphing d ’élévations saut topologique zones à occultation non traitées

13 Introduction Contexte Travail réalisé Résultats Conclusion

14 Morphing 3D Objectif Méthode
Passer des cartes d ’élévations à de la vraie 3D Méthode Paramétrisation pour fixer les correspondances Fusion des paramétrisations pour construire la connectivité commune Interpolation des géométries pour générer les modèles intermédiaires

15 Morphing 3D Mn : modèle source Mn+1 : modèle destination
Hn : paramétrisation de Mn Hn+1 : paramétrisation de Mn+1 Hc : fusion des paramétrisations Fn : connectivité fusion + géométrie n Fn+1 : connectivité fusion + géométrie n+1

16 Morphing 3D Paramétrisation Fusion Interpolation

17 La paramétrisation Principe
correspondance bijective entre une surface 3D discrète et un maillage planaire mesure de distorsion conforme authalique choix d ’épingles résolution d ’un système linéaire Intrinsic parameterizations of surface meshes. [Alliez 02]

18 Adaptation au contexte
Bords de deux modèle successifs non superposés => paramétrisation à bords libres Exacte superposition des textures pour éviter l ’effet fantôme => nombreuses épingles Modèles bruités => caractéristiques géométriques non fiables

19 Choix du critère d ’optimisation
Paramétrisation de Floater angles inférieurs à bords épinglés

20 Implémentation Espace de paramétrisation: I5 Paramétrisation de Mn+1
Grille triangulaire uniforme Paramétrisation de Mn Paramétrisation connue sur I0 Correspondances dans I5 données par le champ de mouvement

21 Reconstruction du champ de mouvement
Implémentation Reconstruction du champ de mouvement

22 Implémentation Paramétrisation de Mn Algorithme de paramétrisation
Traitement des correspondances données par le champ de mouvement => choix des points à libérer Algorithme de paramétrisation ddl = 0; Tant que (param non valide) Choix des points à libérer(ddl); Construction du système linéaire; Résolution; Etudier la validité du résultat; ddl = ddl +1; Fin Tant que

23 Résultat de la paramétrisation

24 Morphing 3D Paramétrisation Fusion Interpolation

25 La fusion Objectif Idée construire une connectivité commune
tirer partie des paramétrisations obtenues dans un même espace 2D principe:

26 Etapes de la fusion

27 Recherche des intersections Algorithme général
[Kent 92] Initialisation d ’une liste de travail WL Tant que WL non vide Prendre 1ère arête de WL Rechercher ses intersections Compléter WL

28 Algorithme général Rechercher ses intersections?
[Kent 92] Rechercher ses intersections? Initialiser une liste d ’arêtes candidates CL Tant que CL non vide Prendre 1ère arête de CL Intersection? Succès: ajouter sommet Compléter CL

29 Algorithme général [Kent 92] Parcours de CL

30 Algorithme général [Kent 92] Fin de la recherche

31 Gestion des cas particuliers
Tenter de déjouer tous les cas particuliers Un exemple v1a est superposed ou on_edge problème intrinsèque à la manipulation des réels astuce: partager CL en deux

32 Créations des liens entre intersections
Liste des intersections retenues pour chaque arête Algorithme Pour chaque arête ea = [v1a,v2a] de Hn Si sa liste d ’intersections a plus d ’un élément Trier la liste; Pour i = 0 à taille(liste_inter) - 1 Joindre(liste_inter[i],liste_inter[i+1]); i++; Fin Pour; Fin Si;

33 Joindre()?

34 Etapes de la fusion

35 Ajout des sommets non singuliers de Mn
Problème maintenir la cohérence du polyèdre Solution proposée liens vers les premières intersections ajout face par face

36 Ajout des sommets non singuliers de Mn
2 liens ou plus : ajout direct 0 ou 1 lien : traitement a posteriori

37 Résultat de la fusion

38 Morphing 3D Paramétrisation Fusion Interpolation

39 Interpolation Construire les arguments source et destination
Les interpoler linéairement Avant tout… Triangulation de la fusion parcours des facettes de Hc, subdivision (algorithme récursif) en commençant par les angles les plus grands.

40 Résultats de la triangulation

41 Résultats de la triangulation

42 Résultats de la triangulation

43 Construction des arguments
On a: connectivité n et géométrie n, leur union représentée par Mn, connectivité n+1 et géométrie n+1, leur union représentée par Mn+1, la connectivité fusion. On voudrait, l ’union de la connectivité fusion et de la géométrie n => argument source, l ’union de la connectivité fusion et de la géométrie n+1 => argument destination.

44 Application des géométries n et n+1
Données disponibles pour un sommet v de Hc V non singulier ou on_edge de Mn V non singulier de Mn+1 index a,b,c α,β,γ Géométrie n Coord bary dans facette de Hn Coord bary dans facette de Hn+1 Géométrie n+1 V superposed V split Coord bary sur arete de Hn Géométrie n Coord bary sur arete de Hn+1 Géométrie n+1

45 Calcul des coordonnées barycentriques
Coordonnées des sommets de Mn dans Hn+1 calcul au moment de la rétro-projection, direct sur grille uniforme avec coordonnées cartésiennes (i,j). Si v est non singulier de Mn+1 parcourir chaque facette de Hn, si v est dans la facette calculer ses coordonnées barycentriques dans la facette.

46 Application d ’une texture à Fn et Fn+1
Texture de Fn : I0 sommets ne provenant pas de Mn : combinaison barycentrique des textures des sommets de Mn voisins. Texture de Fn+1 : I5

47 Calcul des modèles intermédiaires
Interpolation linéaire

48 Introduction Contexte Travail réalisé Résultats Conclusion

49 Résultats Saut géométrique/topologique
Sans post-traitement Morphing d ’élévations Morphing 3D

50 Résultats Saut géométrique/topologique

51 Résultats Reconstruction de la séquence
original fondu Morphing élévations Morphing 3D Suppression de l’effet ghost

52 Résultats Navigation virtuelle
originale sans post-traitement Morphing d ’élévations Morphing 3D

53 Résultats Défauts Flou dans certains GOP
cause:mise en correspondance inexacte lors de la paramétrisation de Mn Méthode lourde à l ’encontre du schéma de reconstruction temps réel

54 Introduction Contexte Travail réalisé Résultats Conclusion

55 Conclusion Vrai morphing tridimensionnel Mais…
suppression des sauts topologiques suppression des sauts géométriques suppression de l ’effet ghost Mais… GOP pièges à gérer perspective temps réel

56 Perspectives Poursuivre les tests sur la fusion pour gérer des cas particuliers non traités Gestion des GOP pièges tenter une paramétrisation moins contrainte Problème du temps réel calcul des arguments de l ’interpolation au codage Amélioration du rendu interpolation plus courbe

57 Questions? Remarques?