Complexité Naturelle et Synthèse d’Images Fabrice Neyret iMAGIS* - GRAVIR / IMAG - INRIA * iMAGIS est un projet commun CNRS, INRIA, INPG et UJF. http://www-imagis.imag.fr/
Simuler les Scènes Naturelles Cadre : effets spéciaux (réalisme) réalité virtuelle (temps réel) Paradigme classique : équations physique + données + gros ordinateur simulation réaliste Problème : ne marche pas si bien !
Les scènes naturelles sont complexes
Elles contiennent énormément de détails :
Le détail des mouvements est complexe :
Scènes Naturelles en Synthèse d’Images Reeves 85 Gardner 84 Fournier & Reeves 86
Deussen, Hanrahan, Lintermann, Mech, Pharr, Prusinkiewicz 98 AMAP Xfrog+Povray
Lee & Musgrave Nishita, Nakamae, Dobashi 96 Areté Foster & Fedkiw 01
Problèmes techniques rencontrés travail de modélisation (de la scène) stockage Pour le rendu : temps de calcul aliasing Pour l’animation : résolution en temps et en espace stabilité, convergence
Problèmes plus fondamentaux Les modèles physiques sont-ils complets ? Les paramètres sont-ils disponibles ? A-t-on besoin de cette mer de chiffres ? (on remarque surtout les effets émergents) Quel contrôle du résultat global ? (même remarque)
Et pourtant… les peintres y arrivent !
Et pourtant… les peintres y arrivent ! que voit-on réellement ? formes à grande échelle relief: occultations, ombres, parallaxe illumination et reflets mouvement : parallaxe, + ?
Et pourtant… les peintres y arrivent ! que voit-on réellement ? formes à grande échelle relief: occultations, ombres, parallaxe illumination et reflets mouvement : parallaxe, + ?
Et pourtant… les peintres y arrivent ! que voit-on réellement ? formes à grande échelle relief: occultations, ombres, parallaxe illumination et reflets mouvement : parallaxe, + ?
Et pourtant… les peintres y arrivent ! que voit-on réellement ? formes à grande échelle relief: occultations, ombres, parallaxe illumination et reflets mouvement : parallaxe, + ?
Et pourtant… les peintres y arrivent ! que voit-on réellement ? formes à grande échelle relief: occultations, ombres, parallaxe illumination et reflets mouvement : parallaxe, + ?
Et pourtant… les peintres y arrivent ! que voit-on réellement ? formes à grande échelle relief: occultations, ombres, parallaxe illumination et reflets mouvement : parallaxe, + ?
Et pourtant… les peintres y arrivent ! que voit-on réellement ? formes à grande échelle relief: occultations, ombres, parallaxe illumination et reflets mouvement : parallaxe, + ?
Exploite-t-on toute la connaissance disponible ? Il y a de grandes régularités dans les scènes naturelles !
Mon approche pour traiter ces scènes Complexité spatiale Représentations impressionnistes (i.e. alternatives aux polygones) Complexité d’échelles Hiérarchie de modèles Complexité du mouvement Modèles phénoménologiques Outils de description et construction
Mon approche pour traiter ces scènes 1 Représentations impressionnistes (i.e. alternatives aux polygones) 2 Hiérarchie de modèles 3 Modèles phénoménologiques 4 Outils de description et construction
1. Représentations: quelques ingrédients Codage direct du comportement lumineux champ de réflectance sur la surface e.g.: BRDF, distribution de normales (NDF) Codage volumique (e.g. pour pseudo-surfaces) champ de densité très efficace à cette échelle Codage texturel (plaquage de motifs) champ de pixels coût de rendu indépendant du motif revient à factoriser / quantifier la géométrie ( existants: IBR, lightfields, shaders, cartes de Z, surfels... )
Ces représentations sont compactes Les bonnes propriétés Ces représentations sont compactes pas plus que l'information visible (impressionisme) moins de travail inutile pour le graphiste Elles sont structurantes, ce qui permet l'optimisation du temps de rendu l'anti-aliasing (e.g.: MIP-mapping)
Exemple 1: les textures volumiques cube de texture volume (voxels) comportement lumineux surface à texturer mapping Kajiya & Kay 89
Exemple 1: les textures volumiques cube de texture volume (voxels) comportement lumineux surface à texturer mapping
Exemple 1: les textures volumiques cube de texture volume (voxels) comportement lumineux surface à texturer mapping
Exemple 1: les textures volumiques
Textures volumiques en temps-réel A.Meyer [EWR’98]
F. Sénégas
Exemple 2: les shaders hiérarchiques A. Meyer [GI’00] Formule analytique de la reflectance totale dans le pixel pixel
Exemple 2: les shaders hiérarchiques pixel
Exemple 2: les shaders hiérarchiques pixel
Exemple 3: les textures bidirectionnelles A. Meyer P. Poulin [EWR’01] v
2. Hiérarchie de modèles Habiller un modèle global avec un modèle local: modèle physique de fluide à grande échelle et faible resolution + croute de lave détails qualitatifs à haute résolution hiérarchie de motifs animés caractéristiques de chaque échelle pour les nuages convectifs / la fumée surface d’organe interactive + détails 3D déformables pour la simulation chirurgicale (bronches, intestins)
Exemple: coulée de lave D. Stora, P.-O. Agliati, M-P. Cani [GI’99] Modèle de mouvement physique (approché) large domaine basse résolution Simulation à base de particules
Exemple: coulée de lave Construction d’une surface peau implicite voisinages
Exemple: coulée de lave habillage
3. Modèles phénoménologiques Caractériser les formes et leurs intéractions à grande échelle: Modéliser directement les phénomènes émergents
Exemple 1: Simulation des ruisseaux N. Praizelin [EWAS’01] phénomènes émergents: ici, ridules et ondes de choc
Typologie des vagues stationnaires cw ondes de gravité (dispersives) cw cg v c ondes capillaires créées par une onde de choc cg Cas non dispersif: cg = cw = c onde de choc ondes capillaires cw cg v c
Construction géométrique des ondes
3. Add field perturbations
Exemple 2: animation de nuages convectifs Modéliser directement les instabilités caractéristiques [EWAS’97]
Exemple 3: rendu de cumulus Caractéristiques lumineuses prévisibles
(travaux préliminaires)
4. Outils de description et construction Pour l’habillage (détails, état de surface) Assez haut niveau Largement contrôlable (pas trop automatique) Interactif Formes issues du mouvement Textures (mapping, procédurales, animées…)
Exemple 1: textures de dilatation Jean Combaz
Exemple 2: Synthèse de déchirures S. Lefebvre
Construction de l’habillage
Exemple 3: plaquage de textures & M-P. Cani [SIG’99] Problèmes: distortion, discontinuité, périodicité
Exemple 4: flownoise & K. Perlin [SIGsketch’01]
5. Temps réel R. Heiss A. Miné F. Sénégas Lombardo & Cani [CA’99] [TVC’01]
Animation adaptative de l’océan D. Hinsinger, M-P. Cani [soumis] Résolution 50x50, 15 fps 300x300, 10s de calcul
Conclusions il y a une vie en dehors des polygones, et de Navier-Stokes ! ne pas chercher un modèle universel aucun modèle n’est bon à toutes les échelles il y a un espoir pour le rendu réaliste rapide des scènes naturelles (eau, fumée, nuages, cheveux,fourrure…)
Complexité Naturelle et Synthèse d’Images Fabrice Neyret iMAGIS* - GRAVIR / IMAG - INRIA * iMAGIS est un projet commun CNRS, INRIA, INPG et UJF. http://www-imagis.imag.fr/
Hydraulique et ressauts C. Dodard
Mon approche pour traiter ces scènes 1 Complexité spatiale représentations impressionnistes (i.e. alternatives aux polygones) 2 Complexité d’échelles hiérarchie de modèles 3 Complexité du mouvement modèles phénoménologiques 4 Outils de description et construction