IMAGIS-GRAVIR / IMAG Modélisation de cheveux à partir dimages par étude des variations dapparence en fonction des conditions déclairage Modélisation de.

Présentation au sujet: "IMAGIS-GRAVIR / IMAG Modélisation de cheveux à partir dimages par étude des variations dapparence en fonction des conditions déclairage Modélisation de."— Transcription de la présentation:

1 iMAGIS-GRAVIR / IMAG Modélisation de cheveux à partir dimages par étude des variations dapparence en fonction des conditions déclairage Modélisation de cheveux à partir dimages par étude des variations dapparence en fonction des conditions déclairage i MAGIS est un projet commun CNRS–INPG–INRIA-UJF AFIG 2001 Stéphane Grabli François Sillion

2 iMAGIS-GRAVIR / IMAG ButBut Acquérir un modèle 3D des cheveux dun sujet spécifique à partir de photographies.

3 iMAGIS-GRAVIR / IMAG PlanPlan Introduction Etat de lart Illustration de la méthode Résultats Résultats ConclusionIntroduction Etat de lart Illustration de la méthode Résultats Résultats Conclusion

4 iMAGIS-GRAVIR / IMAG But: maquette virtuelle dun individu en vue dun rendu interactif permettant lidentification visuelle But: maquette virtuelle dun individu en vue dun rendu interactif permettant lidentification visuelle Applications: visioconférence, jeux vidéos Applications: visioconférence, jeux vidéos But: maquette virtuelle dun individu en vue dun rendu interactif permettant lidentification visuelle But: maquette virtuelle dun individu en vue dun rendu interactif permettant lidentification visuelle Applications: visioconférence, jeux vidéos Applications: visioconférence, jeux vidéos Shag Hair de Digimation (pour 3DS-Max) www.digimation.com www.cyberware.com MotivationsMotivations

5 iMAGIS-GRAVIR / IMAG Complexité de la géométrie des cheveux (échelle, nombre) Complexité de la géométrie des cheveux (échelle, nombre) Echec des techniques classiques de numérisation 3D Echec des techniques classiques de numérisation 3D Problème non résolu Problème non résolu Complexité de la géométrie des cheveux (échelle, nombre) Complexité de la géométrie des cheveux (échelle, nombre) Echec des techniques classiques de numérisation 3D Echec des techniques classiques de numérisation 3D Problème non résolu Problème non résolu ProblématiqueProblématique

6 iMAGIS-GRAVIR / IMAG Etude de la réflectance, sur des images, pour en extraire la géométrie Etude de la réflectance, sur des images, pour en extraire la géométrie Sujet fixe, point de vue fixe et source lumineuse mobile. Sujet fixe, point de vue fixe et source lumineuse mobile. Etude de la réflectance, sur des images, pour en extraire la géométrie Etude de la réflectance, sur des images, pour en extraire la géométrie Sujet fixe, point de vue fixe et source lumineuse mobile. Sujet fixe, point de vue fixe et source lumineuse mobile. Approche choisie

7 iMAGIS-GRAVIR / IMAG PlanPlan Introduction Etat de lart Illustration de la méthode Résultats Résultats ConclusionIntroduction Etat de lart Illustration de la méthode Résultats Résultats Conclusion

8 iMAGIS-GRAVIR / IMAG Etat de lart Modélisation de cheveux à partir dimages Modélisation de cheveux à partir dimages modélisation géométrique dun volume de cheveux [MN] modélisation géométrique dun volume de cheveux [MN] Modélisation de cheveux à partir dimages Modélisation de cheveux à partir dimages modélisation géométrique dun volume de cheveux [MN] modélisation géométrique dun volume de cheveux [MN]

9 iMAGIS-GRAVIR / IMAG Etat de lart Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] Goldman [Gol97] Goldman [Gol97] Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] Goldman [Gol97] Goldman [Gol97]

10 iMAGIS-GRAVIR / IMAG PlanPlan Introduction Etat de lart Illustration de la méthode Résultats Résultats ConclusionIntroduction Etat de lart Illustration de la méthode Résultats Résultats Conclusion

11 iMAGIS-GRAVIR / IMAG Contrôle et connaissance des positions de caméra et de lumière Système dacquisition de Stanford Système dacquisition de Stanford Précision au pixel: méthodologie Sujet: perruque Sujet: perruque Contrôle et connaissance des positions de caméra et de lumière Système dacquisition de Stanford Système dacquisition de Stanford Précision au pixel: méthodologie Sujet: perruque Sujet: perruque Acquisition des données

12 iMAGIS-GRAVIR / IMAG MéthodeMéthode Extraction des directions de mèches dans chaque image Construction dun masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Construction de mèches 3D

13 iMAGIS-GRAVIR / IMAG MéthodeMéthode Extraction des directions de mèches dans chaque image Construction dun masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Construction de mèches 3D

14 iMAGIS-GRAVIR / IMAG Extraction des directions de mèches dans chaque image Dans 1 pixel ~ 1 mèche Dans 1 pixel ~ 1 mèche Extraction de la direction de cette mèche Extraction de la direction de cette mèche Dans 1 pixel ~ 1 mèche Dans 1 pixel ~ 1 mèche Extraction de la direction de cette mèche Extraction de la direction de cette mèche

15 iMAGIS-GRAVIR / IMAG Extraction des directions de mèches dans chaque image

16 iMAGIS-GRAVIR / IMAG MéthodeMéthode Extraction des directions de mèches dans chaque image Construction dun masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Construction de mèches 3D

17 iMAGIS-GRAVIR / IMAG Construction dun masque de vecteurs pour la séquence p p p p p p p p p p Pixel p { t0, t1,..., tn }

18 iMAGIS-GRAVIR / IMAG Construction dun masque de vecteurs pour la séquence p p p p p p p p p p Pixel p { t0, t1,..., tn }bruitbruit

19 iMAGIS-GRAVIR / IMAG Construction dun masque de vecteurs pour la séquence 1er test: nombre de vecteurs de la collection 2ème test: variance en angle des vecteurs 2ème test: variance en angle des vecteurs NONNON OUI NON

20 iMAGIS-GRAVIR / IMAG Construction dun masque de vecteurs pour la séquence Pixel p0

21 iMAGIS-GRAVIR / IMAG MéthodeMéthode Extraction des directions de mèches dans chaque image Reconstruction 3D des vecteurs Construction de mèches 3D

22 iMAGIS-GRAVIR / IMAG Génération des vecteurs 3D candidats Image t Centre optique de la caméra Informations géométriques sur T

23 iMAGIS-GRAVIR / IMAG Génération des vecteurs 3D candidats Image t Centre optique de la caméra Plan TT Informations géométriques sur T

24 iMAGIS-GRAVIR / IMAG Génération des vecteurs 3D candidats Image t Centre optique de la caméra Plan TT Vecteurs 3D candidats Informations géométriques sur T

25 iMAGIS-GRAVIR / IMAG Les profils de pixel mesurés Informations de réflectance sur T pp pp pp Profil de pixel mesuré (courbe RGB) 00 11 nn 0 1 2... n 0 n 255255 0 0

26 iMAGIS-GRAVIR / IMAG Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée Synthèse des profils de pixel théoriques

27 iMAGIS-GRAVIR / IMAG Pb: ombre mesurée mais pas modélisée 2 solutions: - compléter le modèle ([Ban94], [Gol97]) - tronquer les mesures Pb: ombre mesurée mais pas modélisée 2 solutions: - compléter le modèle ([Ban94], [Gol97]) - tronquer les mesures Etude de corrélation

28 iMAGIS-GRAVIR / IMAG Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist Etude de corrélation

29 iMAGIS-GRAVIR / IMAG Choix du minimum des Edist Cas OK: Choix du minimum des Edist Cas OK: Election et mesure de confiance

30 iMAGIS-GRAVIR / IMAG Cas problématiques (1) (2) Election et mesure de confiance (3)(3) Coefficient de confiance

31 iMAGIS-GRAVIR / IMAG Election et mesure de confiance

32 iMAGIS-GRAVIR / IMAG Affinage du masque de vecteurs 3D

33 iMAGIS-GRAVIR / IMAG MéthodeMéthode Extraction des directions de mèches dans chaque image Construction de mèches 3D

34 iMAGIS-GRAVIR / IMAG Construction de mèches Dans lespace image Méthode inspirée des contours adaptatifs Dans lespace image Méthode inspirée des contours adaptatifs

35 iMAGIS-GRAVIR / IMAG Masque de vecteurs 3D + mèches 2D -> mèches 3D Construction de mèches

36 iMAGIS-GRAVIR / IMAG PlanPlan Introduction Etat de lart Illustration de la méthode Résultats Résultats ConclusionIntroduction Etat de lart Illustration de la méthode Résultats Résultats Conclusion

37 iMAGIS-GRAVIR / IMAG 1 séquence dimages

38 iMAGIS-GRAVIR / IMAG plusieurs séquences dimages

39 iMAGIS-GRAVIR / IMAG PlanPlan Introduction Etat de lart Illustration de la méthode Résultats Résultats ConclusionIntroduction Etat de lart Illustration de la méthode Résultats Résultats Conclusion

40 iMAGIS-GRAVIR / IMAG Conclusion Contributions - Nouvelle approche du problème de lacquisition de modèle 3D de cheveux - Résultats répondent à notre attente Limitations - positionnement des vecteurs de cheveux 3D approximatif Travaux futurs - Analyse géométrique ([MN]) couplée à létude de la réflectance - Modèle + rendu interactif Contributions - Nouvelle approche du problème de lacquisition de modèle 3D de cheveux - Résultats répondent à notre attente Limitations - positionnement des vecteurs de cheveux 3D approximatif Travaux futurs - Analyse géométrique ([MN]) couplée à létude de la réflectance - Modèle + rendu interactif

41 iMAGIS-GRAVIR / IMAG Merci... Questions ? Merci... Questions ?

42 iMAGIS-GRAVIR / IMAG Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée Synthèse des profils de pixel théoriques Paramètres du modèle: - T, L, E P T L E E connuconnu dépendent de P

43 iMAGIS-GRAVIR / IMAG Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée Synthèse des profils de pixel théoriques Paramètres du modèle: - T, L, E P T L E E connuconnu dépendent de P

44 iMAGIS-GRAVIR / IMAG Approximation: Ellipsoïde pour simuler la surface des cheveux. P = intersection (Ellipsoïde, rayon p->oeil) Approximation: Ellipsoïde pour simuler la surface des cheveux. P = intersection (Ellipsoïde, rayon p->oeil) t Image Centre optique p P L E Synthèse des profils de pixel théoriques

45 iMAGIS-GRAVIR / IMAG Représentations explicites [VW97] An Interactive fur modeling technique A.V. Gelder, J. Wilhelms [WS92] utilise un prisme trigonal pour modéliser un cylindre Représentations Etat de lart

46 iMAGIS-GRAVIR / IMAG Représentations alternatives: - Texels – [KK89], [MN98], [Len00a], [Len00b] Texels reference volume [Len00b] Real-time fur over arbitrary surfaces, Jed Lengyel [MN98] Interactive volumetric textures, A. Meyer, F. Neyret Représentations Etat de lart

47 iMAGIS-GRAVIR / IMAG Représentations Etat de lart [Len00b] Real-time fur over arbitrary surfaces, Jed Lengyel [KK89], Rendering fur with three dimensional textures, J.T.Kajiya T.L.Kay

48 iMAGIS-GRAVIR / IMAG Algorithmes issus du « Shape from Shading » non applicables Shape from Shading (Artificial Intelligence Series) par Berthold K.P. Horn, Michael J. Brooks http://www.eerie.fr/~vision/alquier/Work/shape.html Remarque Etat de lart

49 iMAGIS-GRAVIR / IMAG Extraction des directions de mèches dans chaque image Notre méthode Filtre de Sobel horizontal: Filtre de Sobel vertical: -1 0 1 -2 0 2 -1 0 1 -1 -2 -1 0 0 0 1 0 1

50 iMAGIS-GRAVIR / IMAG Implémentation: algorithme k-mean Particularité: regroupement dans lespace TLS, en utilisant L, calcul des nouveaux centres dans lespace RGB Reconstruction 3D des vecteurs Synthèse des profils de pixel théoriques

51 iMAGIS-GRAVIR / IMAG Résultats

52 iMAGIS-GRAVIR / IMAG Ks, Kd: liés aux couleurs du matériau Extraction de 3 couleurs sur la séquence: diffus, spéculaire, ombre: - Segmentation sur chaque image - Moyennes Reconstruction 3D des vecteurs Synthèse des profils de pixel théoriques

53 iMAGIS-GRAVIR / IMAG Edist = Eextrema + Eshape Ke x (\x1 – x2\) r Eextrema si on a 1 maximum de part et dautre (x1 et x2 leurs abscisses) Etude de corrélation

54 iMAGIS-GRAVIR / IMAG Edist = Eextrema + Eshape | fm(x) – ft(x) | dx Etude de corrélation IvIv ~~~~ Eshape mesure lamplitude moyenne de lécart entre les deux courbes f m (x) et f t (x)

55 iMAGIS-GRAVIR / IMAG Choix du minimum des Edist Cas OK: Choix du minimum des Edist Cas OK: Election et mesure de confiance Exemples

56 iMAGIS-GRAVIR / IMAG Cas problématiques (1) Election et mesure de confiance

57 iMAGIS-GRAVIR / IMAG Cas problématiques Exemple (1) Election et mesure de confiance ?? ??

58 iMAGIS-GRAVIR / IMAG Cas problématiques (1) (2) Election et mesure de confiance

59 iMAGIS-GRAVIR / IMAG Cas problématiques (1) (2) Election et mesure de confiance (3)(3)

60 iMAGIS-GRAVIR / IMAG Cas problématiques (1) (2) Election et mesure de confiance (3)(3) Coefficient de confiance

61 iMAGIS-GRAVIR / IMAG Pour un pixel, on élit un vecteur 3D et on lui attribut un coefficient de confiance: - Ctrust = 0 si n minima != 1 - Ctrust = K x (Aire valide du profil de pixel mesuré + Amplitude des variations de Edist), si n minima = 1 Pour un pixel, on élit un vecteur 3D et on lui attribut un coefficient de confiance: - Ctrust = 0 si n minima != 1 - Ctrust = K x (Aire valide du profil de pixel mesuré + Amplitude des variations de Edist), si n minima = 1 Election et mesure de confiance

62 iMAGIS-GRAVIR / IMAG Contributions Nouvelle approche du problème de lacquisition de modèle 3D de cheveux Résultats répondent à notre attente Nouvelle approche du problème de lacquisition de modèle 3D de cheveux Résultats répondent à notre attente

63 iMAGIS-GRAVIR / IMAG Limitations positionnement des vecteurs de cheveux 3D approximatif

64 iMAGIS-GRAVIR / IMAG Travaux futurs A terme: analyse géométrique ([MN]) couplée à létude de la réflectance Modèle + rendu interactif A terme: analyse géométrique ([MN]) couplée à létude de la réflectance Modèle + rendu interactif

65 iMAGIS-GRAVIR / IMAG Etat de lart Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] [KK89], Rendering fur with three dimensional textures, J.T.Kajiya T.L.Kay

66 iMAGIS-GRAVIR / IMAG P T L Etat de lart Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] specular (P) + diffuse (P) diffuse (P) = K d sin(T, L)

67 iMAGIS-GRAVIR / IMAG P T L E E Etat de lart Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] specular (P) + diffuse (P) diffuse (P) = K s cos p (E, E)

68 iMAGIS-GRAVIR / IMAG Etat de lart Modèle déclairement du cheveu Modèle déclairement du cheveu Directionnalité [Gol97] Directionnalité [Gol97] Modèle déclairement du cheveu Modèle déclairement du cheveu Directionnalité [Gol97] Directionnalité [Gol97] fdir (specular (P) + diffuse (P)) T L E k > 0 T L E k < 0

69 iMAGIS-GRAVIR / IMAG Seuillage en amplitude Rotation de 90 degrés Extraction des directions de mèches dans chaque image

70 iMAGIS-GRAVIR / IMAG Corrélation porte sur la forme, les maxima Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist = Eextrema + Eshape Corrélation porte sur la forme, les maxima Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist = Eextrema + Eshape Etude de corrélation Ke x (\x1 – x2\) r

71 iMAGIS-GRAVIR / IMAG Corrélation porte sur la forme, les maxima Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist = Eextrema + Eshape Corrélation porte sur la forme, les maxima Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist = Eextrema + Eshape Etude de corrélation | fm(x) – ft(x) | dx