Projet : Les techniques statistiques et numériques pour la synthèse d'images réalistes Kartic Subr Laboratoire Jean Kuntzmann UMR 5224, Section 01 et 07.

Présentation au sujet: "Projet : Les techniques statistiques et numériques pour la synthèse d'images réalistes Kartic Subr Laboratoire Jean Kuntzmann UMR 5224, Section 01 et 07."— Transcription de la présentation:

1 Projet : Les techniques statistiques et numériques pour la synthèse d'images réalistes Kartic Subr Laboratoire Jean Kuntzmann UMR 5224, Section 01 et 07 Image ?

2 Who am I? Born in India –Bangalore University (Bachelor of Engineering) 2001 –Hewlett Packard, India/Singapore Studied in USA –University of California Irvine, USA (PhD, 2008) –Advisor: Jim Arvo (PhD Yale University), pioneer – light transport Moved to France –Post doctoral researcher, Equipe ARTIS, LJK (2008-2010) –LJK: Leading European lab in terms of publications at TOG –LJK: Consistently top publisher in France in computer graphics

3 Thème de recherche: Synthèse d'images Image ? la scène représentée par les modèles numériques les luminaires

4 Pourquoi la synthèse d'images réalistes? Avatar Advertisement

5 Diverses applications Défense Advertising Entertainment Virtual prototyping Biomedical imaging Potentiellement liés applications: la propagation d'ondes infrarouges, sonores, etc

6 Intrinsèquement multidisciplinaire Simuler des phénomènes optiques basé sur la physique –interactions complexes de l'éclairage –Modèles numériques pour représenter des scènes complexes Nécessité d'une intégration numérique de l'éclairage Outils mathématiques pour les analyses des resultats Compréhension de la biologie eg. Character Animation LJK est un laboratoire approprié

7 Intégration de l'éclairage: Réflexion

8 Nécessité d'une intégration de l'éclairage Monte Carlo intégration sur plusieurs domaines (ma thèse) Image space Aperture Exposure time Visible spectrum ReflectanceDirect illuminationIndirect illumination

9 Mes contributions: Fourier depth of field

10 Defocus blur est important dans la photographie

11 Defocus est due à l'intégration sur l'ouverture Image Aperture Pixel p Lens

12 Defocus Image Aperture Pixel p Lens Scene

13 Monte Carlo estimation de l'intégrale d'ouverture Image Aperture N A primary rays per pixel Integrate at p

14 Aperture integration is costly Image Aperture N P pixels N P x N A Primary rays N A Aperture samples

15 64 x #primary rays of the pinhole image Ouverture intégrale est très coûteux Paradoxe: l'image plus flou est plus coûteuse à calculer!

16 Observation 1: Image Blurry regions should not require dense sampling of the image

17 Observation 2: Lens Regions in focus should not require profuse sampling of the lens for diffuse objects

18 Mes contributions: Fourier depth of field Analyse le domaine Fourier, d'échantillonnage adapté par signal d'analyse locale 20 fois plus rapide que les méthodes précédentes [ACM Transactions on Graphics 2009. Presented at SIGGRAPH 09] Collaborators: INRIA-Grenoble, MIT

19 Mes contributions: Translucent materials

20 Translucent Opaque Translucency: Sub-surface scattering Coûteux à calculer avec « brute force Monte Carlo » La diffusion de formes arbitraires n'a pas été possible

21 Mon approche: Méthode des différences finies Approximation avec équation de diffusion Domain: Dual graph de tetrahedralization diffuse le flux dans le volume

22 Mes contributions: Translucent materials [Computer Graphics Forum 2010. To be presented at Eurographics 2010] [Collaborators: Microsoft Research, Tsinghua University] Géométrie arbitraire matériaux hétérogènes différentes formes dynamiquement en temps réel

23 Traitement de l'image Ma méthode peut “smooth” la texture de contraste élevé et à préserver les “edges” subtile [ACM Transactions on Graphics 2009. Presented at SIGGRAPH Asia 2009] Collaborators: MIT

24 Détail d'abstraction des modèles numériques –Pour réduire le coût pour les modèles complexes Acquisition –Matériaux complexes D’échantillonnage Monte Carlo –Je suis le co-encadrement d'un étudiant au doctorat Radiance and importance –multiplication des chaînes de grandes matrices Les projets actuels et futurs

25 Lorsque l'image de synthèse est dirigée? Rendu des modèles très complexes Haute qualité de rendu de images D'énormes quantités de données volumétriques –Eg. données biomédicales

26 « My future » Synthèse et traitement d'images l'analyse des « trade-offs » pour l'application de divers –approches de traitement du signal Compact représentations de modèles numériques –traitement de gros volumes de données LJK est le meilleur laboratoire pour moi en France!

27 Merci ! International journal publications –Computer Graphics Forum 2010: Translucent materials. 4 th author of 6 –TOG 2009: Multiscale image decomposition. 1 st author of 3 –TOG 2009: Fourier Depth of Field. 2 nd author out of 5 Refereed international conference papers –Pacific Graphics 2007: Statistical hypotheses. 1 st author of 2 –Interactive raytracing 2007: Steerable importance sampling. 1 st author of 2 –ICIAP 2005: Contrast enhancement. 1 st author of 3 Collaborateurs –Établi MIT, USA Microsoft Research Tsinghua University, China University of California, Irvine LJK Grenoble –Actuel Cornell University, USA University of California, Berkeley –Potentiel Indian Institute of Information Technology Teaching –Columbia University, USA (120 h) –University of California, Irvine (360 h) Internships –Rhythm and Hues Studios –NVIDIA Corporation –Hewlett Packard

28 Merci ! JournalAcceptance rate Computer Graphics Forum 2010 23 % (56/243) ACM Transactions of Graphics 2009 25 % (70/275) ACM Transactions of Graphics 2009 - ConferenceAcceptance rate ACM Pacific Graphics 2007 22 % (39/179) IEEE Interactive raytracing 2007 53 % (23/43) ICIAP 2005 Not Available Établi –MIT, USA –Microsoft Research –Tsinghua University, China –University of California, Irvine –LJK Grenoble Actuel –Cornell University, USA –University of California, Berkeley Potentiel –Indian Institute of Information Technology Collaborateurs Assistant de recherche, financement, etc –University of California, Irvine –Marie Curie visitor fellowship 2006-2007 –HFIBMR grant (ANR-07-BLAN-0331) Industrie –Rhythm and Hues Studios –NVIDIA Corporation –Hewlett Packard Publications

29

30 Les projets actuels et futurs Détail d'abstraction des modèles numériques –premiers résultats en 2D publiés au ACM SIGGRAPH Asia 2009 –l'extension à la 3D n'est pas trivial Acquisition –Matériaux complexes D’échantillonnage Monte Carlo –based on Fourier domain analysis Radiance and importance –multiplication des chaînes de grandes matrices

31 Exemples d'applications Défense Publicité Divertissement ingénierie et de conception Ack: Rhythm & Hues Studios, LuxRender, American Eurocopter Les méthodes existantes ont leurs limites Coûteux à calculer Nécessite un contrôle manuel Nécessité d'analyser les contraintes liées à l'application

32 Sujets d'intérêt Faible variance Monte Carlo intégration –Synthèse d'images = intégration sur plusieurs domaines –Image, aperture, material reflectance, visual spectrum Méthode des différences finies Méthodes statistiques pour l'évaluation

33 Thème de recherche: Synthèse d'images Simuler des phénomènes optiques basé sur la physique –interactions complexes de l'éclairage –Modèles numériques pour représenter des scènes complexes nécessité d'une intégration de l'éclairage –Synthèse d'images => intégration sur plusieurs domaines –Image, aperture, material reflectance, visual spectrum –Monte Carlo intégration Outils mathématiques pour les analyses –‘trade-off’ de contraintes qui dépendent des applications

34 Collaborateurs Établi –MIT, USA –Microsoft Research –Tsinghua University, China –University of California, Irvine –LJK Grenoble Actuel –Cornell University, USA –University of California, Berkeley Potentiels –Indian Institute of Information Technology

35 Experience Recherche –University of California, Irvine –Marie Curie Visitor Fellowship l'enseignement –Columbia University, USA –University of California, Irvine USA Industrie –Rhythm and Hues Studios, Los Angeles USA –NVIDIA Corporation, USA –Hewlett Packard Corporation, India

36 Thème de recherche: Synthèse d'images Simuler des phénomènes optiques basé sur la physique –interactions complexes de l'éclairage –Modèles numériques pour représenter des scènes complexes nécessité d'une intégration de l'éclairage –Synthèse d'images => intégration sur plusieurs domaines –Image, aperture, material reflectance, visual spectrum –Monte Carlo intégration Outils mathématiques pour les analyses –‘trade-off’ de contraintes qui dépendent des applications

37 Simuler des phénomènes optiques basé sur les lois de la physique interactions complexes de l'éclairage Modèles numériques pour représenter des scènes complexes