Compression et transmission adaptatives de maillages 3D Céline Roudet Le2i - Dijon Celine.Roudet@u-bourgogne.fr Porquerolles, le 27 mai 2010

Contexte Modèles géométriques 3D Maillages surfaciques Explosion de leur production / échange Grande diversité de modélisations Maillages surfaciques De plus en plus précis et détaillés Répartition irrégulière des échantillons Porquerolles, le 27/05/2010 Céline ROUDET

Contexte (2) Le projet « CoSurf » (thèse) Collaboration avec Orange Labs Rennes Favoriser l’échange de données 3D Adapter le transfert des données aux ressources Collaboration (F. Payan et M. Antonini - I3S) Optimiser la quantification de la géométrie Approche multirésolution (ondelettes) Adapter spatialement la quantification R D Porquerolles, le 27/05/2010 Céline ROUDET

Plan I – Maillages 3D progressifs II – L’analyse multirésolution de maillages IV – Méthode proposée, résultats et applications V – Conclusion et perspectives Porquerolles, le 27/05/2010 Céline ROUDET

Maillages triangulaires Géométrie V : {Vi = (xi, yi, zi) є R3 / 0 ≤ i <|V|} F : {Fi = j, k, l є Z3 / 0 ≤ i <|F|} Maillage M = (V, F) Connectivité Maillage triangulaire 36 octets / sommet 288 bits / sommet 4 octets x3 indices  Trois types de maillages : irréguliers semi-réguliers :  W V | Vi ,Vj є W : σ(Vi ) ≠ σ(Vj ) réguliers : Vi ,Vj є V : σ(Vi ) = σ(Vj ) ∩ Régularité du voisinage liée à la valence (σ) des sommets irrégulier semi-régulier régulier 4 octets x3 coordonnées Porquerolles, le 27/05/2010 Céline ROUDET

Représentations progressives Intérêt : Adaptation aux réseaux et au terminal utilisateur Efficacité en termes de rendu Plusieurs représentations possibles : Surfaces de subdivision [Doo et Sabin, 78] + ondelettes [Lounsbery, 97] ≈ 2 - 4 bits / s Raffinement progressif [Hoppe, 96], [Gandoin et Devillers, 02] ≈ 2 octets / s Porquerolles, le 27/05/2010 Céline ROUDET

Plan I – Maillages 3D progressifs II – L’analyse multirésolution de maillages IV – Méthode proposée, résultats et applications V – Conclusion et perspectives Porquerolles, le 27/05/2010 Céline ROUDET

Ondelettes géométriques [Mallat, 89] Généralisation des bancs de filtres Analyse multirésolution spatiale [Sweldens, 95] [Lounsbery, 97] S : Split P : Predict U : Update Avantages : Coûts de calcul réduits Filtres simplifiés Analyse et synthèse en temps linéaire Porquerolles, le 27/05/2010 Céline ROUDET

En pratique Update Predict pair impair Mn-1 Mn

Remaillage semi-régulier Propice à l’application d’une transformée en ondelettes Grande partie de la connectivité : implicite Réduction de l’erreur de reconstruction d’un facteur 4 Maillage irrégulier Maillage semi-régulier Mir Msr Mn original 48 485 sommets 112 642 sommets Porquerolles, le 27/05/2010 Céline ROUDET

Plan I – Maillages 3D progressifs II – L’analyse multirésolution de maillages IV – Méthode proposée, résultats et applications V – Conclusion et perspectives Porquerolles, le 27/05/2010 Céline ROUDET

Schéma de notre approche 1 Analyse globale Segmentation multirésolution Analyse locale Codage local Remaillage Classification flux binaire C A N L patchs modèle 3D irrégulier modèle 3D semi-régulier coefficients d’ondelettes clusters niveaux de résolution flux binaire Décodage local Synthèse locale Recollage grossier Visualisation Dijon, le 20/05/2009 Céline ROUDET 12

Analyse ondelettes globale 1 Remaillage Normal Amplitude Niveau n-2 x10 Angle polaire Schéma Butterfly non lifté x10 Porquerolles, le 27/05/2010 Céline ROUDET

Amplitude des ondelettes Représentation multirésolution Pondération multirésolution 112 642 sommets 28 162 sommets 7 042 sommets 1 762 sommets An-3 Mn An-2 An-1 Dn-1 Dn-2 Dn-3 Niveau n original Niveau n-1 Niveau n-2 Niveau n-3 Niveau n-1 … 1 Porquerolles, le 27/05/2010 Céline ROUDET

Classification et croissance de régions sommets, arêtes ou facettes Angle polaire Angle polaire Classification (K-means) en 2 clusters Amplitude Amplitude Amplitude sommets facettes K=2 Analyse globale Croissance de régions Niveau n original Niveau n-1 Niveau n-1 Angle polaire Porquerolles, le 27/05/2010 Céline ROUDET

Intérêt de l’analyse / codage indépendants Connectivité liste de symboles Codage arithmétique 00110101 C A N L Géométrie [Touma et Gotsman, 98] Codage arithmétique 0110 Quantification zerotree … Connectivité liste de symboles Codage arithmétique 10101101 Géométrie Codage arithmétique 1010 Quantification [Khodakovsky et al., 00] + codage des informations relatives au partitionnement : nb régions, type de cluster, filtres utilisés, … : compressé sans perte Porquerolles, le 27/05/2010 Céline ROUDET

Progressivité de la reconstruction globale 0,20 bit / sommet 0,57 bit / sommet 1,27 bit / sommet 4,92 bits / sommet Porquerolles, le 27/05/2010 Céline ROUDET

Applications de l’analyse locale globale Reconstruction adaptative Clusters e : erreur (x10-4) Transmission et reconstruction adaptative Visualisation sélective (ROI) Débruitage et tatouage adaptatifs Correction d'erreurs (transmission sur un canal bruité) Porquerolles, le 27/05/2010 Céline ROUDET

Comparaison analyse globale / locale Courbes débit / distorsion (unique schéma de prédiction utilisé) (segm. N°1) (segm. N°2) PSNR = 20.log10 BBdiag / d BBdiag = diagonale de la boîte englobante d = distance de Hausdorff Céline ROUDET

Comparaison perceptuelle Reconstruction adaptative Reconstruction globale 6565 e1 : distance de Hausdorff obtenue par Mesh [Aspert et al., 02] (x10-4) e2 : métrique asymétrique : Mesh Structural Distortion Measure [Lavoué et al., 06] distance perceptuelle entre 2 objets (0 : objets identiques) Porquerolles, le 27/05/2010 Céline ROUDET

Codage zerotree ou contextuel Optimisation de la quantification Collaboration Analyse locale Q Codage zerotree ou contextuel Codage entropique Allocation binaire flux binaire Patchs semi-réguliers Débit ou distorsion cible R D Minimiser D(R) ou R(D) Maillage semi-régulier segmenté C A N L niveaux de résolution flux binaire Synthèse locale Décodage entropique Q* …

Optimisation R/D Distorsion : EQM due à la quantification Trouver les pas de quantification et λ qui minimisent le critère de Lagrange suivant : 0 : sous-bande BF 1, 2, 3 : sous-bandes HF Distorsion Contrainte de débit N : nb. résolutions Ji : ens. des sous-bandes Wi : poids de non orthogonalité Porquerolles, le 27/05/2010 Céline ROUDET

Débit (bits / sommets irréguliers) Résultats : adaptation spatiale de l’optimisation PSNR (dB) 5 patchs 4 niveaux Débit (bits / sommets irréguliers) Porquerolles, le 27/05/2010 Céline ROUDET

Débit (bits / sommets irréguliers) Résultats : à bas débit PSNR (dB) 5 patchs 4 niveaux Débit (bits / sommets irréguliers) Porquerolles, le 27/05/2010 Céline ROUDET

Débit (bits / sommets irréguliers) Résultats : adaptation spatiale de l’optimisation PSNR (dB) 5 patchs 5 niveaux Débit (bits / sommets irréguliers) Porquerolles, le 27/05/2010 Céline ROUDET

Débit (bits / sommets irréguliers) Résultats : à bas débit PSNR (dB) 5 patchs 5 niveaux Débit (bits / sommets irréguliers) Porquerolles, le 27/05/2010 Céline ROUDET

Plan I – Maillages 3D progressifs II – L’analyse multirésolution de maillages IV – Méthode proposée, résultats et applications V – Conclusion et perspectives Porquerolles, le 27/05/2010 Céline ROUDET

Conclusion et perspectives Compression et transmission adaptatives Segmentation basée sur l’analyse multirésolution (AMR) Adapter la quantification de la géométrie de chaque région Résultats : même ordre de grandeur qu’en global Perspectives Projet Jeunes Chercheurs du GdR ISIS (2010 – 2013) Membres : F. Payan (I3S), B. Sauvage (LSIIT), S. Lanquetin (Le2i) Financé par : GdR 720 ISIS et l’association Gretsi Optimiser maintenant l’AMR dans chaque région Intérêt sur des objets moins lisses ? Considérer des métriques plus subjectives Porquerolles, le 27/05/2010 Céline ROUDET

Merci de votre attention Questions … Merci de votre attention clusters de sommets clusters de facettes projection grossière segmentation : 6 régions Porquerolles, le 27/05/2010 Céline ROUDET