1 Pré-traitement de Grosses bases de données pour la Visualisation interactive Xavier Décoret iMAGIS-GRAVIR / IMAG i MAGIS est un projet commun CNRS - INPG - INRIA - UJF

2 Plan de la présentation Problématique Calcul de visibilité –Travaux précédents –Contributions Niveaux de détails –Travaux précédents –Nuages de Billboards Conclusion

3 Plan de la présentation Problématique Calcul de visibilité –Travaux précédents –Contributions Niveaux de détails –Travaux précédents –Nuages de Billboards Conclusion

4 Problématique Environnements virtuels –Jeu, tourisme virtuel, simulateurs Lutilisateur se promène librement Lordinateur affiche ce que « voit » lutilisateur Mise à jour rapide de laffichage (25 fois par sec)

5 Sentiment dimmersion: Environnements complexes –Étendue spatiale grande –Détails nombreux Effets réalistes –Ombres –Effets déclairages (reflets) –Apparence Temps de calcul élevé

6 Actions utilisateur Actions utilisateur Problématique Système de rendu Système de rendu Base de données images Complexité du modèleTemps de calcul limité Pré-calcul pour accélérer Réutiliser certains résultats Optimiser les représentations

7 Élimination des faces cachées Projections des sommets Remplissage des faces Pyramide de vue

8 Élimination des faces cachées Projections des sommets Remplissage des faces Image

9 Élimination des faces cachées Projections des sommets Remplissage des faces Image Pixel

10 Élimination des faces cachées Projections des sommets Remplissage des faces Image

11 Élimination des faces cachées Projections des sommets Remplissage des faces Image

12 Élimination des faces cachées Projections des sommets Remplissage des faces Image

13 Élimination des faces cachées Projections des sommets Remplissage des faces Image

14 Élimination des faces cachées Projections des sommets Remplissage des faces Image Pixel = couleur profondeur

15 Élimination des faces cachées Projections des sommets Remplissage des faces Z-buffer [Cat74] Image Profondeur > profondeur

16 Conséquences Modèle 3D complexe ) calculs nombreux Redondances de calculs Calculs inadaptés

17 Conséquences Modèle 3D complexe ) calculs nombreux Redondances de calculs Calculs inadaptés Image

18 Conséquences Modèle 3D complexe ) calculs nombreux Redondances de calculs Calculs inadaptés Image

19 Conséquences Modèle 3D complexe ) calculs nombreux Redondances de calculs Calculs inadaptés Image

20 Conséquences Modèle 3D complexe ) calculs nombreux Redondances de calculs Calculs inadaptés Image

21 Conséquences Modèle 3D complexe ) calculs nombreux Redondances de calculs Calculs inadaptés Image

22 Conséquences Modèle 3D complexe ) calculs nombreux Redondances de calculs Calculs inadaptés Image

23 Conséquences Modèle 3D complexe ) calculs nombreux Redondances de calculs Calculs inadaptés Image

24 Conséquences Modèle 3D complexe ) calculs nombreux Redondances de calculs Calculs inadaptés Image

25 Solutions possibles Calcul de visibilité –Déterminer ce qui est caché –Éviter de le dessiner inutilement Niveaux de détails –Plusieurs niveaux de précision –Utiliser le niveau adapté à la distance Rendu alternatifs

26 Plan de la présentation Problématique Calcul de visibilité –Travaux précédents –Contributions Niveaux de détails –Travaux précédents –Nuages de Billboards Conclusion

27 Calcul de visibilité Éliminer le plus tôt possible ce qui napparaîtra pas dans limage Deux approches possibles –Calcul à la volée ) pour le point de vue courant –Pré-calcul ) pour une région de lespace Difficulté: fusion des ombres et de pénombres

28 Fusion des ombres Point de vue Cône dombre Bâtiments (vue de dessus)

29 Fusion des ombres Bâtiments (vue de dessus) Point de vue Cône dombre

30 Fusion des ombres Bâtiments (vue de dessus) Point de vue Cône dombre

31 Fusion des ombres Bâtiments (vue de dessus) Point de vue

32 Fusion des pénombres Cellule Bâtiments (vue de dessus)

33 Fusion des pénombres Cellule Bâtiments (vue de dessus)

34 Visibilité Nombreux travaux [Dur99] Classification [SPS74] Espace ImageEspace Objet Hierarchical Frustum Culling [GBW90] Shaft culling [HW91] Shadow volumes [CT97] Bloqueurs convexes [CZ98] Convex Vertical Prisms [DM01] Volumetric visibility [SDSD00] Portals [ST91] Hierarchical Z-buffer [GKM93] Hierarchical Occlusion Map [ZMH97] 2D1/2 Occlusion maps [WS99] Extended projections [DDTP00] Line Space subdivision [BWW01] Portals [LG95]

35 Problème complexe Pas de solution exacte ) être conservatif Réalise plus ou moins bien les fusions Espace objet ) visibilité étendue Espace image ) fusion (implicite) Mélanger les approches

36 Plan de la présentation Problématique Calcul de visibilité –Travaux précédents –Contributions Niveaux de détails –Travaux précédents –Nuages de Billboards Conclusion

37 Difficulté Objets visibles dun point facile –Z-buffer Objets visibles dune région difficile Se ramener à un problème ponctuel

38 Réduction de bloqueurs Proposé par [WWS00] Cellule Objet Bloqueurs

39 Réduction de bloqueurs Proposé par [WWS00] Objet Bloqueurs réduits Centre de la cellule

40 Réduction de bloqueurs Proposé par [WWS00] O

41 Réduction de bloqueurs Proposé par [WWS00] O { P tel que B r (P) O } r-réduction

42 Réduction de bloqueurs Proposé par [WWS00] O V M Généralisation à des cellules convexes Réduction des objets testés V

43 Réduction bloqueurs/bloqués Cellule Objet Bloqueurs

44 Réduction bloqueurs/bloqués Bloqueurs réduits Centre de la cellule Objet réduit Image prise du centre de la cellule avec les objets réduits Traitement similaire bloqueurs/bloqués Calcul en une seule passe

45 Formalisation (1) Dilatation (Somme de Minkowski [SM93]) Ensemble de points O Ensemble de vecteurs X O © XO © X { P+x, P 2 O et x 2 X }

46 Formalisation (2) Erosion Ensemble de points O Ensemble de vecteurs X O ª XO ª X { P tel que 8 x 2 X, P+x 2 O }

47 Théorème Si un rayon (VM) est bloqué par O ª X avec X convexe, alors: Tout rayon (VM) est bloqué par O avec : V 2 {V} © X et M 2 {M} © X V M V M O ª XO ª X O

48 Érosion approximative Érosion exacte difficile à calculer On peut calculer des approximations M E R C R E D I 1 6 O C T O B R E

49 Difficulté Érosion exacte difficile à calculer On peut calculer des approximations M E R C R E D I 1 6 O C T O B R E O ª XO ª X Érosion par X O ª XO ª X Érosion interne ½ O ª XO ª X Érosion externe ½

50 Mise en oeuvre Construire une carte docclusion avec les érosions internes Tester les érosions externes par rapport à la carte Objets+érosions

51 Mise en oeuvre Construire une carte docclusion avec les érosions internes Tester les érosions externes par rapport à la carte

52 Modification de lalgorithme Carte docclusion Construire une carte docclusion avec les érosions internes Tester les érosions externes par rapport à la carte

53 Modification de lalgorithme Carte docclusion Construire une carte docclusion avec les érosions internes Tester les érosions externes par rapport à la carte

54 Modification de lalgorithme Carte docclusion Construire une carte docclusion avec les érosions internes Tester les érosions externes par rapport à la carte

55 Modification de lalgorithme Carte docclusion Construire une carte docclusion avec les érosions internes Tester les érosions externes par rapport à la carte

56 Modification de lalgorithme Carte docclusion Visibles Construire une carte docclusion avec les érosions internes Tester les érosions externes par rapport à la carte

57 Modification de lalgorithme Carte docclusion Visibles Construire une carte docclusion avec les érosions internes Tester les érosions externes par rapport à la carte

58 Modification de lalgorithme Carte docclusion Visibles Construire une carte docclusion avec les érosions internes Tester les érosions externes par rapport à la carte

59 Modification de lalgorithme Carte docclusion Visibles Construire une carte docclusion avec les érosions internes Tester les érosions externes par rapport à la carte

60 Modification de lalgorithme Carte docclusion Visibles Cachés Construire une carte docclusion avec les érosions internes Tester les érosions externes par rapport à la carte

61 Avantages & inconvénients Deux passes de rendu (carte + tests) Tests faisables par le processeur graphique Complexité linéaire Coût mémoire linéaire Objets 2 passes Érosion approximatives Érosion exactes 1 passe Pré-calcul de visibilité

62 Érosion approximatives Voxelisation de lobjet –Information volumique [SDDS00] –Représentation adaptée [DM01] Érosion sur les voxels –Simple –Robuste et rapide

63 Voxelisation

64 Voxelisation

65 Voxelisation

66 Érosion de voxels par un cube = © = ©©

67 Érosion de voxels par un cube O ª ( X © Y ) = ( O ª X ) ª Y = ª ª ª ª

68 Érosion 1D De la moitié dun voxel Direction dérosion Changement de topologie

69 Érosion 1D De la moitié dun voxel Direction dérosion De moins de la moitié Changement de topologie Topologie conservée

70 Érosion de voxels par un cube = ª ª ª ª Axes alignés

71 Érosion de voxels par X quelconque Cellule X voxels Si X ½ Y alors O ª Y ½ O ª X ª Érosion externe ) ª Érosion interne )

72 Démo Érosion de voxels Pré-calcul de visibilité

73 Bilan Formalisme et nouveau théorème –Réduction bloqueurs et bloqués Voxelisation par objet –Orientation adaptée –Discrétise pas le vide Travail dans lespace image –Fusion implicite des ombres et pénombres –Accélération Matérielle : processeurs graphiques Logicielle : combinés avec dautres algorithmes de visibilité

74 Prochaine étape… On sait ce qui est visible Comment lafficher?

75 Plan de la présentation Problématique Calcul de visibilité –Travaux précédents –Contributions Niveaux de détails –Travaux précédents –Nuages de Billboards Conclusion

76 Niveaux de détails Simplification de maillage Clusterisation [RB93,LT97] Hierarchical Dynamic Simplification [LE97] Decimation of Triangle Meshes [SZL92] Re-tiling [Tur92] Progressive Meshes [Hop96,PH97] Quadric Error Metrics [GH97] Out of Core Simplification [Lin00] Re-tiling [Tur92] Voxel based reconstruction [HHK+95] Multiresolution analysis [EDD+95] Superfaces [KT96], face cluster [WGH00]

77 Limitations Contraintes sur le modèle Contrôle de lerreur –Simplification enveloppes [CVM96] –Permission Grids [ZG02] –Image driven [LT00] Gestion des attributs (textures et couleurs) –Intégration métrique [GH98][Hop99] –Re-génération [CMRS98,COM98] Simplification extrême –Sillouhette Clipping [SGG+00]

78 Rendu alternatifs Rendu à base dimages –Lightfield,Lumigraph [LH96,GGRC96] –Imposteurs [DSSD99] –Relief Textures [OB00] Rendu à base de point –Surfels [PZBG00] –Pointshop 3D [ZPKG02]

79 Plan de la présentation Problématique Calcul de visibilité –Travaux précédents –Contributions Niveaux de détails –Travaux précédents –Nuages de Billboards Conclusion

80 Nuage de Billboards Nouvelle représentation Utilisée pour la simplification extrême

81 Billboard Solution classique [RH94] Généraliser à beaucoup de plans Construction automatique

82 Vue densemble Approximer la forme par un ensemble de plans Projeter le modèle sur ces plans ) textures Lenchevêtrement des textures restitue lobjet

83 Principe modèle polygonal 3D

84 Principe Simplification par des plans

85 Principe Déplacer les sommets Déplacement autorisé pour P P

86 Principe Projeter les polygones sur des plans Polygone Plan valide

87 Principe Combien de plans? Quels plans?

88 Aperçu Cest un problème doptimisation Mesurer lintérêt des plans Représenter lensemble des plans Choisir un ensemble de plans

89 Aperçu Cest un problème doptimisation –algorithme glouton Mesurer lintérêt des plans Représenter lensemble des plans Choisir un ensemble de plans

90 Optimisation Sur lensemble des nuages de Billboards, on définit : –Une fonction derreur –Une fonction de coût Deux stratégies possibles –Orientée budget coût fixé minimiser lerreur –Orientée erreur erreur maxi fixée minimiser le coût

91 Sur lensemble des nuages de Billboards, on définit : –Une fonction derreur –Une fonction de coût Deux stratégies possibles –Orientée budget coût fixé minimiser lerreur –Orientée erreur erreur maxi fixée minimiser le coût Optimisation

92 Optimisation Fonction de coût –Le nombre de plans Fonction derreur –Déplacement du sommet Dans lespace objet Dans lespace image

93 Aperçu Cest un problème doptimisation –algorithme glouton Mesurer lintérêt des plans –définition de la densité Représenter lensemble des plans Choisir un ensemble de plans

94 remplace beaucoup de faces Fonction de densité Plan important = faible coût fonction de densité sur lespace des plans densité = mesure du nombre de faces quun plan peut remplacer

95 Validité Faces pour lesquelles le plan est valide –Respecte la borne derreur Densité = nombre de faces valides Déplacement autorisé Densité de 3

96 Validité Faces pour lesquelles le plan est valide –Respecte la borne derreur Densité = nombre de faces valides Déplacement autorisé Densité de 3

97 Contribution Pondération par laire projetée –Favorise les grandes faces –Favorise les plans parallèles aux faces

98 Aperçu Cest un problème doptimisation –algorithme glouton Mesurer lintérêt des plans –définition de la densité Représenter lensemble des plans –discrétisation Choisir un ensemble de plans

99 Discrétisation Discrétisation de lespace des plans Paramétrisation de Hough [DH72] ρ φ θ (θ,φ)(θ,φ) O ρ primaldual H

100 Espace dual plans passant par un point ) une nappe φ θ ρ

101 Espace dual Plans passant par une sphère ) tranche φ θ ρ

102 Espace dual Plans passant par une sphère ) tranche Plans passant par 3 sphères ) intersection de 3 tranches φ θ ρ Discrétisation uniforme

103 Densité cumulée

104 Aperçu Cest un problème doptimisation –algorithme glouton Mesurer lintérêt des plans –définition de la densité Considérer lensemble des plans –discrétisation Choisir un ensemble de plan –Raffinement

105 Itération gloutonne Faces Espace des plans Plans valides pour la face Discrétisation

106 Itération gloutonne Faces Espace des plans Plans valides pour la face DiscrétisationDensité + -

107 Itération gloutonne Faces Espace des plans Discrétisation Plans valides pour la face Densité + -

108 Itération gloutonne Faces Espace des plans Discrétisation Plans valides pour la face Densité + -

109 Itération gloutonne Faces Espace des plans Discrétisation Plans valides pour la face Densité + -

110 Itération gloutonne Faces Espace des plans Discrétisation Plans valides pour la face Densité + -

111 Itération gloutonne Faces Espace des plans Discrétisation Plans valides pour la face Densité + -

112 Itération gloutonne Faces Espace des plans Discrétisation Plans valides pour la face Densité + -

113 Itération gloutonne Faces Espace des plans Discrétisation Plans valides pour la face Densité + -

114 Itération gloutonne Faces Espace des plans Discrétisation Plans valides pour la face Densité + -

115 Itération gloutonne Cellule de plus Forte densité Faces pour lesquelles la cellule est valide

116 Itération gloutonne Forte densité Il existe probablement un plan valide pour toutes les faces Comment le trouver?

117 Itération gloutonne On teste le plan central On subdivise Raffinement des densités

118 Génération des textures À chaque plan est associé une liste de faces Projection orthogonale sur le plan Rectangle englobant minimal (CGAL) Rendu orthogonal ) texture

119 Résultats Films ExemplesOmbres

120 Extension View-dependent Changement de la fonction derreur –Erreur de reprojection P-P- M P+P+ cellule V T θ

121 Extension View-dependent Textures rendues du centre de la cellule Choix automatique de la résolution Sauvegarde la matrice de projection

122 Résultats Près zoom vue de la cellule nuage de billboardsmodèle polygonal

123 Résultats Moyen zoom vue de la cellule nuage de billboardsmodèle polygonal

124 Résultats Loin zoom vue de la cellule nuage de billboardsmodèle polygonal

125 Bilan Nouvelle représentation Construction automatique Modèles quelconques Critère derreur simple / pas de paramètres Simplification extrême

126 Extensions Optimiser lutilisation des textures –Prise en compte dans le coût –Compression de textures Ré-éclairage –Cartes de normales –Pixel shading Transition Objets en mouvement

127 Plan de la présentation Problématique Travaux précedents Contributions –Pré-calcul de visibilité –Billboard cloud Conclusion

128 Conclusion Nouveaux outils pour le problème posé Calcul de visibilité –Résultat théorique –Algorithme pratique et simple à mettre en oeuvre Niveaux de détails –Nouvelle représentation / Algorithme de construction –Simplification extrême / Gestion des attributs Intégration

129 Questions