Visualisation Focus+Contexte pour l’Exploration Interactive de Maillages Tétraédriques Sébastien BARBIER – Georges-Pierre BONNEAU Bonjour, Je suis Sébastien Barbier, doctorant en 2ème année au laboratoire LJK de Grenoble et je m’intéresse à la visualisation scientifique interactive d’ensembles de données. Je vais ainsi vous présenter une partie de mes travaux intitulée : Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques, réalisée avec mon directeur de thèse G-P Bonneau.

Exploration Focus+Contexte Motivations Etat de l’Art Exploration Focus+Contexte Focus : Région Locale d’Intérêt (RLI) Contexte : Maillage Grossier Construction du Maillage Unique Intégration des techniques de rendu Résultats Tout d’abord, je vais situer le problème sur lequel nous nous sommes intéressés, puis faire une brève description des précédentes techniques utilisées en visualisation scientifique. Ensuite, je détaillerais notre approche focus+contexte pour l’exploration de maillages tétraédriques reposant sur la construction d’un focus et d’un contexte unifié dans un maillage unique. Les différentes techniques de rendu sont ensuite intégrées au sein de cette approche. Nous terminerons par quelques résultats. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Exploration Focus+Contexte Motivations Etat de l’Art Exploration Focus+Contexte Focus : Région Locale d’Intérêt (RLI) Contexte : Maillage Grossier Construction du Maillage Unique Intégration des techniques de rendu Résultats Tout d’abord, essayons de définir la problématique qui nous intéresse. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Motivations Grand ensembles de données tétraèdriques issus de simulation Peu ou aucune connaissance de la localisation des zones d’intérêt Nombreuses techniques de rendu Nous nous intéressons ainsi à de grand ensembles de données tétraèdriques issus de simulations d’éléments finis qui modélisent un champ scalaire que nous souhaitons explorer afin de localiser des zones d’intérêt précises. L’utilisateur est supposé ainsi “dépouiller” ses données. Il n’a donc aucune connaissance sur les possibles zones d’intérêts ou a juste une intuition des zones qui pourraient l’être. Il essayera donc de se les localiser pour ensuite se focaliser précisement dessus. Pour permettre cette localisation, les techniques de rendu usuelles (isosurfaces, DVR) pourront être utilisées. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Solutions proposées Garantir une exploration interactive pour faciliter: La localisation La compréhension Approche Focus+Contexte Schéma bi-résolution Focus = Région Locale d’Intérêt Contexte = Représentation simplifiée Cohérence temporelle Nous proposons ainsi une solution qui semble répondre de manière naturelle à cette problématique : localiser des zones d’intérêt au sein d’un grand maillage de données. Notre solution cherche à garantir une exploration interactive au sein de ce maillage afin de faciliter la localisation mais aussi l’insertion dans la simulation globale de ces zones d’intérêt afin de faciliter la compréhension du phénomène simulé. Pour cela, nous proposons une approche focus+contexte reposant sur un schéma bi-résolution. Le focus est défini comme une région locale d’intérêt affichant les données à la meilleure précision. Tout autour de cette RLI, le contexte continuera d’être affiché via une représentation grossière issue d’un algorithme de simplification. Afin de garantir une exploration interactive essentielle pour le bon déroulement du dépouillement, la cohérence temporelle est pleinement utilisée lorsque la RLI est déplacée. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Exploration Focus+Contexte Motivations Etat de l’Art Exploration Focus+Contexte Focus : Région d’Intérêt (RLI) Contexte : Maillage Grossier Construction du Maillage Unique Intégration des techniques de rendu Résultats Les précédentes méthodes permettant l’exploration et le rendu des maillages tétraèdriques se décomposent en deux types : - les approches multi-résolution - les approches F+C Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Sondershaus & Straβer ‘05 État de l’Art Simplification et Multirésolution Sondershaus & Straβer ‘05 Les algorithmes de multi-résolution contruisent à partir de méthodes de simplification des structures hiérarchiques permettant de créer dynamiquement des niveaux de détails qui adaptent le niveau de résolution des maillages en fonction de critères définis par l’utilisateur comme le point de vue ou la distance à l’écran. Ces algorithmes ont été pensé dans le but de visualiser de manière globale les données. Cignoni et al. ‘04 Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

État de l’Art Simplification et Multirésolution [Cignoni et al. ’04], [Sondershaus & Straβer ’05, ‘06]. Approches Focus+Contexte Viola et al. ‘06 Plus récemment, des méthodes dites F+C ont été développées pour mettre en évidence des zones remarquables définies par l’utilisateur. Ces méthodes comme celle de Wan travaillent essentiellement dans l’espace image et sur des données régulières souvent segmentées ce qui imposent une connaissance préalable du maillage. Wang et al. ‘05 Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

État de l’Art Simplification et Multirésolution [Cignoni et al. ’04], [Sondershaus & Straβer ’05, ‘06]. Approches Focus+Contexte [Wang et al ’05], [Viola et al. ’06]. Techniques de Visualisation Isosurfaces Rendu Volumique Direct (DVR) Gerstner ‘01 Les techniques de visualisation “usuelles” sont pleinement integrées au sein de ces différentes approches, que ce soit l’extraction d’isosurfaces réalisés via un Marching Tetrahedra ou différentes versions de Rendu Volumique Direct : projection, ray-casting... Callahan et al. ‘05 Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Exploration Focus+Contexte Motivations Etat de l’Art Exploration Focus+Contexte Focus : Région Locale d’Intérêt (RLI) Contexte : Maillage Grossier Construction du Maillage Unique Intégration des techniques de rendu Résultats Je vous propose maintenant d’entrer plus dans les détails de notre approche Focus+Contexte permettant une exploration interactive de grands ensembles de maillages tétraèdriques. Pour cela, notre algorithme repose sur la contruction d’une structure bi-résolution découpée en 3 étapes : - la définition, la construction et la mise à jour d’une région locale d’intérêt à haute précision. La cohérence temporelle est pleinement exploitée afin d’accélerer la mise à jour de la RLI lors de l’exploration. - la génération d’un maillage grossier - puis le recollement de ces deux ensembles en un unique maillage. Pour des raisons de clarté, l’ensemble des explications seront faites sur des surfaces triangulées mais elles peuvent être généralisés à des maillages tétraèdriques. Nous intéressons donc tout d’abord à la création de la région locale d’intérêt. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Région d’Intérêt Initialisation: Localisation du centre d’intérêt. Nous débutons avec un maillage fin que l’utilisateur souhaite explorer au sein d’une zone de focus : la région locale d’intérêt. Pour cela, il définit un centre d’intérêt (ici le point bleu) ainsi qu’une distance associée (ici le cercle noir). La construction de la RLI est alors constituée de deux étapes : - la localisation du triangle le plus proche du centre d’intérêt - l’ajout des triangles contenus dans la RLI. Pour localiser le centre d’intérêt, un octree construit sur les barycentres des triangles est utilisé. En parcourant les différents niveaux de la structure, on trouve rapidement le triangle le plus proche du centre d’intérêt que nous nommerons racine (en vert) Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Relations of adjacencies Région d’Intérêt Création de la RLI Relations of adjacencies Une fois le triangle racine trouvé, nous devons construire la RLI, c’est à dire déterminer l’ensemble des triangles appartenant à la RLI. Pour cela, nous utilisons les relations d’adjacence entre les faces du maillage. Grâce à un test d’appartenance lors d’un parcours en profondeur, on ajoute l’ensemble des triangles internes (en jaune). Ce qui nous permet d’obtenir le résultat suivant. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Région d’Intérêt Exploration : Déplacement de la RLI. Notre focus est ainsi construit. Au cours d’une exploration, celle-ci doit être déplacée comme suit. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Région d’Intérêt Mise à jour du centre d’intérêt Utilisation de la cohérence temporelle Il faut donc en premier déterminer le nouveau centre d’intérêt. Pour cela la cohérence temporelle est utilisée en repartant du noeud de l’octree précédemment valide pour trouver le nouveau triangle racine. Une fois celui-ci déterminé, il faut mettre à jour la RLI. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Région d’Intérêt Mise à jour de la RLI Utilisation de la Cohérence Temporelle Border Tetrahedra Pour cela, lors de sa construction, nous avions mis à jour une liste des tétraèdres de bord (en rouge). En repartant de cette liste et en parcourant les faces voisines via les relations d’adjacences, on enlève l’ensemble des triangles n’appartenant plus à la nouvelle RLI. Une fois cette manipulation faite, nous devons encore ajouter les nouveaux tétraèdres. Pour cela, on repart de la nouvelle liste de bord et réitère notre processus. Ce qui nous permet d’obtenir la nouvelle RLI composée des triangles anciens jaune pâle et des nouveaux jaunes vifs. La mise à jour de la RLI a alors une complexité du nombre de tétraèdres enlevés puis ajoutés. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Exploration Focus+Contexte Motivations Etat de l’Art Exploration Focus+Contexte Focus : Région Locale d’Intérêt (RLI) Contexte : Maillage Grossier Construction du Maillage Unique Intégration des techniques de rendu Résultats Notre focus étant défini et pouvant être mis à jour rapidement, nous devons encore le replacer en sein d’un contexte afin de permettre la localisation et la compréhension des zones d’intêret Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Contexte Construction d’un maillage grossier Utilisation d’une clusterisation Pour construire la représentation grossière, une étape de préprocess est faite calculant une clusterisation du maillage fin. Cette clusterisation est obtenue via l’utilisation de suppression atomique. Ici, les clusters sont délimités par les traits épais. A chaque cluster est associé un sommet grossier (bleu ou rouge). Pour construire, le maillage grossier, on repère les triangles appartenant à trois clusters différents et on l’étire en projetant ses sommets fins sur les sommets grossiers correspondants en fonction de la clusterisation. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Contexte Construction d’un maillage grossier Utilisation d’une clusterisation Ensuite, les triangles grossiers possédant au moins un sommet grossier actif (en rouge) i.e. dont le cluster associé intersecte la RLI (en jaune) ne sont pas affichés. Ce qui nous donne ce résultat. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Exploration Focus+Contexte Motivations Etat de l’Art Exploration Focus+Contexte Focus : Région Locale d’Intérêt (RLI) Contexte : Maillage Grossier Construction du Maillage Unique Intégration des techniques de rendu Résultats Nous avons défini un focus et un contexte mais comme vous l’avez remarqué ils ne sont pas liés. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Maillage Unique Construction Utilisation d’une clusterisation Pour combler le “trou” entre les deux résolutions, nous n’utilisons aucune heuristique géométrique afin de garantir une rapidité de construction. Nous nous basons uniquement sur la clusterisation. Et nous appliquons les règles suivantes : - si un triangle fin appartient à un/des clusters actifs alors il est affiché, inchangé comme les triangles orange - si un triangle est à cheval sur des clusters actifs et inactifs comme les triangles orange clair alors ils subissent une transformation qui consiste à projeter les sommets fins dans les clusters inactifs sur les sommets grossiers correspondant comme nous l’avons déjà fait pour déterminer les triangles grossiers. On obtient alors les triangles bleus suivants et le maillage unique résultant Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Exploration Focus+Contexte Motivations Etat de l’Art Exploration Focus+Contexte Focus : Région Locale d’Intérêt (RLI) Contexte : Maillage Grossier Construction du Maillage Unique Intégration des techniques de rendu Résultats Afin de visualiser les simulations, nous avons intégré les techniques de rendu classiques au sein de notre approche focus+contexte Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Isosurfaces Extraction par clusters Cohérence temporelle Tout d’abord les isosurfaces. L’extraction faite via une implémentation de Marching Tetrahedra est réalisée par clusters actifs ce qui limite le nombre d’extractions tant que le cluster reste actif via l’utilisation de la cohérence temporelle. Vous pouvez voir ici un résultat visuel de l’extraction de l’isosurface sur l’ensemble de données Post. La RLI est coloré en vert alors que le contexte grossier est laissé en gris. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Rendu Volumique Direct Tri exact des primitives : SXMPVO Rendu : Projected Tetrahedra [Cook et al. ‘04] [Shirley & Tuchman ‘90] Pour le Rendu Volumique Direct, un tri exact des primitives a été choisi car il pouvait être adapté en partie en utilisant la cohérence temporelle et réalisé en partie sur CPU garantissant un minimun d’artefacts. Ce tri est SXMPVO proposé par Cook en 2004. Composé de 4 phases briévement rappelées ici, il assure un tri pour les maillages sans cycle de visibilité, non connexes, non convexes. L’étape IV est couplé avec un rendu par projection nommé PT proposé dès par ST en 1990 et qui a connu plusieurs implémentations sur GPU depuis et que nous avons encore accéléré grâce aux nouvelles cartes graphiques. Nous détaillons plus en détails l’intégration de ces techniques dans notre schéma avec les prochains transparents. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

DVR – SXMPVO (1) Tri exact des primitives : SXMPVO [Cook et al. ‘04] Direction of view Phase I : Tri partiel en fonction de la connectivité Phase II : Tri des cellules de bord Phase III : Tri dans l’espace image via un A-Buffer Phase IV : Parcours en profondeur Phase I : Tri partiel en fonction de la connectivité Phase II : Tri des cellules de bord Phase III : Tri dans l’espace image via un A-Buffer Phase IV : Parcours en profondeur Phase I : Tri partiel en fonction de la connectivité Phase II : Tri des cellules de bord Phase III : Tri dans l’espace image via un A-Buffer Phase IV : Parcours en profondeur Phase I : Tri partiel en fonction de la connectivité Phase II : Tri des cellules de bord Phase III : Tri dans l’espace image via un A-Buffer Phase IV : Parcours en profondeur Pour le Rendu Volumique Direct, un tri exact des primitives a été choisi car il pouvait être adapté en partie en utilisant la cohérence temporelle et réalisé en partie sur CPU garantissant un minimun d’artefacts. Ce tri est SXMPVO proposé par Cook en 2004. Composé de 4 phases briévement rappelées ici, il assure un tri pour les maillages sans cycle de visibilité, non connexes, non convexes. L’étape IV est couplé avec un rendu par projection nommé PT proposé dès par ST en 1990 et qui a connu plusieurs implémentations sur GPU depuis et que nous avons encore accéléré grâce aux nouvelles cartes graphiques. Nous détaillons plus en détails l’intégration de ces techniques dans notre schéma avec les prochains transparents. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

DVR – SXMPVO (2) Tri exact des primitives : SXMPVO Cohérence temporelle dans la phase I Uniquement nouveaux tétraèdres de la RLI si point de vue inchangé. Utilisation du depth-peeling en phase III Implémentation sur GPU Modification du marquage en phase IV Prise en compte des anciens tétraèdres de la RLI SXMPVO a été modifié afin : - de prendre en compte la cohérence temporelle au sein des phases I et IV - d’accélérer/supprimer les phases II et III Pour cela, en phase I seuls les nouveaux tétraèdres des zones connexes sont triés par rapport à leurs voisins en utilisant les relations d’adjacence. La mise à jour de ces relations d’occlusions entraîne un marquage différent lors du parcours en profondeur (en phase IV) afin de continuer à afficher les anciens tétraèdres (toujours dans la RLI) et gérer la détection des cycles de visibilité. De plus, la phase III qui réalise le tri dans l’espace image pour gérer les indéterminations dues à l’absence de connexité et de convexité a été implémenté sur le GPU via un algorithme de depth-peeling utilisant les dernières fonctionnalités des cartes graphiques. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

DVR - PT Rendu : Projected Tetrahedra Utilisation d’un Geo-Shader pour ne faire plus qu’une passe. Diminution : des transferts CPU → GPU des calculs et projections inutiles Pour le rendu, L’algorithme PT a lui aussi été accéléré sur GPU en utilisant les dernières fonctionnalités. Un geometry shader permet ainsi de ne projeter les tétraèdres plus qu’une fois et de minimiser à la fois les transferts entre le CPU et le GPU et les calculs au sein du vertex et du pixel shader par rapport aux versione précédentes Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Exploration Focus+Contexte Motivations Etat de l’Art Exploration Focus+Contexte Focus : Région Locale d’Intérêt (RoI) Contexte : Maillage Grossier Construction du Maillage Unique Intégration des techniques de rendu Résultats Nous vous présentons une petite vidéo de mise en situation. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Voici une vidéo qui illustre l’exploration d’un ensemble de données issus d’une simulation. L’ensemble de données est une simulation de tremblement de terre issue du EarthQuake Project. Le champ scalaire modélisé est la densité du sol. Il faut savoir que celle-ci est importante dans un tremblement de terre car elle permet de prédire s’il y aura des risques de liquéfaction et quel type de couches cela est. Ici en bleu (basses valeurs scalaires), on voit l’hydrosphère et en rouge (hautes valeurs scalaires) le manteau. Entre, nous avons la croûte. On va donc essayer de localiser les zones où la densité est élevée en surface. Pour cela, un rendu par points et une coupe permet de localiser une zone pouvant contenir des informations importantes. On déplace le focus, le long de cette tranche de coupe en s’aidant du contexte avec rendu par points. On s’aperçoit en effet qu’une zone intéressante se trouve le long de cette coupe. On grossit alors la région locale d’intérêt afin de mettre bien en évidence la zone sensible. Un extraction d’isosurface bordant les zones de l’hydrosphère permet de préciser le contexte et d’ajouter du sens à la localisation de la RLI. En la déplaçant, on remarque la continuité des zones et la maj de l’isosurface. Un zoom sur la zone permet d’avoit beaucoup plus d’informations. On notera que celui-ci ne ralentit plus le DVR contrairement à la version originale de SXMPVO. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Conclusion Approche Focus+Contexte Schéma Bi-Résolution + Clusterisation Utilisation de la coherence temporelle Intégration des techniques de rendu Exploration interactive de grands ensembles de données tétraèdriques Pour conclure, nous proposons une nouvelle méthode d’exploration des maillages tétraèdriques. Celle-ci repose sur une approche F+C utilisant un schéma bi-résolution qui permet de localiser puis d’analyser des zones d’intérêts dont l’utilisateur n’a a priori aucune connaissance préalable sur leur situation au sein du maillage. Les techniques de rendu sont pleinement intégrées afin de garantir à l’utilisation des repères spatiaux pour la recherche et un contexte utile pour la compréhension. En utilisant la cohérence temporelle et une clusterisation, l’exploration et la construction d’un maillage unique sont facilités et assure une maniabilité interactive pour de grands ensembles de données tétraèdriques. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU

Merci pour votre attention Je vous remercie pour votre attention et serais heureux de répondre à vos questions. Visualisation F+C pour l’Exploration Interactive de Maillages Tétraèdriques BARBIER-BONNEAU