iMAGIS-GRAVIR / IMAG Modélisation de cheveux à partir dimages par étude des variations dapparence en fonction des conditions déclairage Modélisation de cheveux à partir dimages par étude des variations dapparence en fonction des conditions déclairage i MAGIS est un projet commun CNRS–INPG–INRIA-UJF AFIG 2001 Stéphane Grabli François Sillion

iMAGIS-GRAVIR / IMAG ButBut Acquérir un modèle 3D des cheveux dun sujet spécifique à partir de photographies.

iMAGIS-GRAVIR / IMAG PlanPlan Introduction Etat de lart Illustration de la méthode Résultats Résultats ConclusionIntroduction Etat de lart Illustration de la méthode Résultats Résultats Conclusion

iMAGIS-GRAVIR / IMAG But: maquette virtuelle dun individu en vue dun rendu interactif permettant lidentification visuelle But: maquette virtuelle dun individu en vue dun rendu interactif permettant lidentification visuelle Applications: visioconférence, jeux vidéos Applications: visioconférence, jeux vidéos But: maquette virtuelle dun individu en vue dun rendu interactif permettant lidentification visuelle But: maquette virtuelle dun individu en vue dun rendu interactif permettant lidentification visuelle Applications: visioconférence, jeux vidéos Applications: visioconférence, jeux vidéos Shag Hair de Digimation (pour 3DS-Max) MotivationsMotivations

iMAGIS-GRAVIR / IMAG Complexité de la géométrie des cheveux (échelle, nombre) Complexité de la géométrie des cheveux (échelle, nombre) Echec des techniques classiques de numérisation 3D Echec des techniques classiques de numérisation 3D Problème non résolu Problème non résolu Complexité de la géométrie des cheveux (échelle, nombre) Complexité de la géométrie des cheveux (échelle, nombre) Echec des techniques classiques de numérisation 3D Echec des techniques classiques de numérisation 3D Problème non résolu Problème non résolu ProblématiqueProblématique

iMAGIS-GRAVIR / IMAG Etude de la réflectance, sur des images, pour en extraire la géométrie Etude de la réflectance, sur des images, pour en extraire la géométrie Sujet fixe, point de vue fixe et source lumineuse mobile. Sujet fixe, point de vue fixe et source lumineuse mobile. Etude de la réflectance, sur des images, pour en extraire la géométrie Etude de la réflectance, sur des images, pour en extraire la géométrie Sujet fixe, point de vue fixe et source lumineuse mobile. Sujet fixe, point de vue fixe et source lumineuse mobile. Approche choisie

iMAGIS-GRAVIR / IMAG PlanPlan Introduction Etat de lart Illustration de la méthode Résultats Résultats ConclusionIntroduction Etat de lart Illustration de la méthode Résultats Résultats Conclusion

iMAGIS-GRAVIR / IMAG Etat de lart Modélisation de cheveux à partir dimages Modélisation de cheveux à partir dimages modélisation géométrique dun volume de cheveux [MN] modélisation géométrique dun volume de cheveux [MN] Modélisation de cheveux à partir dimages Modélisation de cheveux à partir dimages modélisation géométrique dun volume de cheveux [MN] modélisation géométrique dun volume de cheveux [MN]

iMAGIS-GRAVIR / IMAG Etat de lart Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] Goldman [Gol97] Goldman [Gol97] Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] Goldman [Gol97] Goldman [Gol97]

iMAGIS-GRAVIR / IMAG PlanPlan Introduction Etat de lart Illustration de la méthode Résultats Résultats ConclusionIntroduction Etat de lart Illustration de la méthode Résultats Résultats Conclusion

iMAGIS-GRAVIR / IMAG Contrôle et connaissance des positions de caméra et de lumière Système dacquisition de Stanford Système dacquisition de Stanford Précision au pixel: méthodologie Sujet: perruque Sujet: perruque Contrôle et connaissance des positions de caméra et de lumière Système dacquisition de Stanford Système dacquisition de Stanford Précision au pixel: méthodologie Sujet: perruque Sujet: perruque Acquisition des données

iMAGIS-GRAVIR / IMAG MéthodeMéthode Extraction des directions de mèches dans chaque image Construction dun masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Construction de mèches 3D

iMAGIS-GRAVIR / IMAG MéthodeMéthode Extraction des directions de mèches dans chaque image Construction dun masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Construction de mèches 3D

iMAGIS-GRAVIR / IMAG Extraction des directions de mèches dans chaque image Dans 1 pixel ~ 1 mèche Dans 1 pixel ~ 1 mèche Extraction de la direction de cette mèche Extraction de la direction de cette mèche Dans 1 pixel ~ 1 mèche Dans 1 pixel ~ 1 mèche Extraction de la direction de cette mèche Extraction de la direction de cette mèche

iMAGIS-GRAVIR / IMAG Extraction des directions de mèches dans chaque image

iMAGIS-GRAVIR / IMAG MéthodeMéthode Extraction des directions de mèches dans chaque image Construction dun masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Construction de mèches 3D

iMAGIS-GRAVIR / IMAG Construction dun masque de vecteurs pour la séquence p p p p p p p p p p Pixel p { t0, t1,..., tn }

iMAGIS-GRAVIR / IMAG Construction dun masque de vecteurs pour la séquence p p p p p p p p p p Pixel p { t0, t1,..., tn }bruitbruit

iMAGIS-GRAVIR / IMAG Construction dun masque de vecteurs pour la séquence 1er test: nombre de vecteurs de la collection 2ème test: variance en angle des vecteurs 2ème test: variance en angle des vecteurs NONNON OUI NON

iMAGIS-GRAVIR / IMAG Construction dun masque de vecteurs pour la séquence Pixel p0

iMAGIS-GRAVIR / IMAG MéthodeMéthode Extraction des directions de mèches dans chaque image Reconstruction 3D des vecteurs Construction de mèches 3D

iMAGIS-GRAVIR / IMAG Génération des vecteurs 3D candidats Image t Centre optique de la caméra Informations géométriques sur T

iMAGIS-GRAVIR / IMAG Génération des vecteurs 3D candidats Image t Centre optique de la caméra Plan TT Informations géométriques sur T

iMAGIS-GRAVIR / IMAG Génération des vecteurs 3D candidats Image t Centre optique de la caméra Plan TT Vecteurs 3D candidats Informations géométriques sur T

iMAGIS-GRAVIR / IMAG Les profils de pixel mesurés Informations de réflectance sur T pp pp pp Profil de pixel mesuré (courbe RGB) nn n 0 n

iMAGIS-GRAVIR / IMAG Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée Synthèse des profils de pixel théoriques

iMAGIS-GRAVIR / IMAG Pb: ombre mesurée mais pas modélisée 2 solutions: - compléter le modèle ([Ban94], [Gol97]) - tronquer les mesures Pb: ombre mesurée mais pas modélisée 2 solutions: - compléter le modèle ([Ban94], [Gol97]) - tronquer les mesures Etude de corrélation

iMAGIS-GRAVIR / IMAG Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist Etude de corrélation

iMAGIS-GRAVIR / IMAG Choix du minimum des Edist Cas OK: Choix du minimum des Edist Cas OK: Election et mesure de confiance

iMAGIS-GRAVIR / IMAG Cas problématiques (1) (2) Election et mesure de confiance (3)(3) Coefficient de confiance

iMAGIS-GRAVIR / IMAG Election et mesure de confiance

iMAGIS-GRAVIR / IMAG Affinage du masque de vecteurs 3D

iMAGIS-GRAVIR / IMAG MéthodeMéthode Extraction des directions de mèches dans chaque image Construction de mèches 3D

iMAGIS-GRAVIR / IMAG Construction de mèches Dans lespace image Méthode inspirée des contours adaptatifs Dans lespace image Méthode inspirée des contours adaptatifs

iMAGIS-GRAVIR / IMAG Masque de vecteurs 3D + mèches 2D -> mèches 3D Construction de mèches

iMAGIS-GRAVIR / IMAG PlanPlan Introduction Etat de lart Illustration de la méthode Résultats Résultats ConclusionIntroduction Etat de lart Illustration de la méthode Résultats Résultats Conclusion

iMAGIS-GRAVIR / IMAG 1 séquence dimages

iMAGIS-GRAVIR / IMAG plusieurs séquences dimages

iMAGIS-GRAVIR / IMAG PlanPlan Introduction Etat de lart Illustration de la méthode Résultats Résultats ConclusionIntroduction Etat de lart Illustration de la méthode Résultats Résultats Conclusion

iMAGIS-GRAVIR / IMAG Conclusion Contributions - Nouvelle approche du problème de lacquisition de modèle 3D de cheveux - Résultats répondent à notre attente Limitations - positionnement des vecteurs de cheveux 3D approximatif Travaux futurs - Analyse géométrique ([MN]) couplée à létude de la réflectance - Modèle + rendu interactif Contributions - Nouvelle approche du problème de lacquisition de modèle 3D de cheveux - Résultats répondent à notre attente Limitations - positionnement des vecteurs de cheveux 3D approximatif Travaux futurs - Analyse géométrique ([MN]) couplée à létude de la réflectance - Modèle + rendu interactif

iMAGIS-GRAVIR / IMAG Merci... Questions ? Merci... Questions ?

iMAGIS-GRAVIR / IMAG Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée Synthèse des profils de pixel théoriques Paramètres du modèle: - T, L, E P T L E E connuconnu dépendent de P

iMAGIS-GRAVIR / IMAG Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée Synthèse des profils de pixel théoriques Paramètres du modèle: - T, L, E P T L E E connuconnu dépendent de P

iMAGIS-GRAVIR / IMAG Approximation: Ellipsoïde pour simuler la surface des cheveux. P = intersection (Ellipsoïde, rayon p->oeil) Approximation: Ellipsoïde pour simuler la surface des cheveux. P = intersection (Ellipsoïde, rayon p->oeil) t Image Centre optique p P L E Synthèse des profils de pixel théoriques

iMAGIS-GRAVIR / IMAG Représentations explicites [VW97] An Interactive fur modeling technique A.V. Gelder, J. Wilhelms [WS92] utilise un prisme trigonal pour modéliser un cylindre Représentations Etat de lart

iMAGIS-GRAVIR / IMAG Représentations alternatives: - Texels – [KK89], [MN98], [Len00a], [Len00b] Texels reference volume [Len00b] Real-time fur over arbitrary surfaces, Jed Lengyel [MN98] Interactive volumetric textures, A. Meyer, F. Neyret Représentations Etat de lart

iMAGIS-GRAVIR / IMAG Représentations Etat de lart [Len00b] Real-time fur over arbitrary surfaces, Jed Lengyel [KK89], Rendering fur with three dimensional textures, J.T.Kajiya T.L.Kay

iMAGIS-GRAVIR / IMAG Algorithmes issus du « Shape from Shading » non applicables Shape from Shading (Artificial Intelligence Series) par Berthold K.P. Horn, Michael J. Brooks Remarque Etat de lart

iMAGIS-GRAVIR / IMAG Extraction des directions de mèches dans chaque image Notre méthode Filtre de Sobel horizontal: Filtre de Sobel vertical:

iMAGIS-GRAVIR / IMAG Implémentation: algorithme k-mean Particularité: regroupement dans lespace TLS, en utilisant L, calcul des nouveaux centres dans lespace RGB Reconstruction 3D des vecteurs Synthèse des profils de pixel théoriques

iMAGIS-GRAVIR / IMAG Résultats

iMAGIS-GRAVIR / IMAG Ks, Kd: liés aux couleurs du matériau Extraction de 3 couleurs sur la séquence: diffus, spéculaire, ombre: - Segmentation sur chaque image - Moyennes Reconstruction 3D des vecteurs Synthèse des profils de pixel théoriques

iMAGIS-GRAVIR / IMAG Edist = Eextrema + Eshape Ke x (\x1 – x2\) r Eextrema si on a 1 maximum de part et dautre (x1 et x2 leurs abscisses) Etude de corrélation

iMAGIS-GRAVIR / IMAG Edist = Eextrema + Eshape | fm(x) – ft(x) | dx Etude de corrélation IvIv ~~~~ Eshape mesure lamplitude moyenne de lécart entre les deux courbes f m (x) et f t (x)

iMAGIS-GRAVIR / IMAG Choix du minimum des Edist Cas OK: Choix du minimum des Edist Cas OK: Election et mesure de confiance Exemples

iMAGIS-GRAVIR / IMAG Cas problématiques (1) Election et mesure de confiance

iMAGIS-GRAVIR / IMAG Cas problématiques Exemple (1) Election et mesure de confiance ?? ??

iMAGIS-GRAVIR / IMAG Cas problématiques (1) (2) Election et mesure de confiance

iMAGIS-GRAVIR / IMAG Cas problématiques (1) (2) Election et mesure de confiance (3)(3)

iMAGIS-GRAVIR / IMAG Cas problématiques (1) (2) Election et mesure de confiance (3)(3) Coefficient de confiance

iMAGIS-GRAVIR / IMAG Pour un pixel, on élit un vecteur 3D et on lui attribut un coefficient de confiance: - Ctrust = 0 si n minima != 1 - Ctrust = K x (Aire valide du profil de pixel mesuré + Amplitude des variations de Edist), si n minima = 1 Pour un pixel, on élit un vecteur 3D et on lui attribut un coefficient de confiance: - Ctrust = 0 si n minima != 1 - Ctrust = K x (Aire valide du profil de pixel mesuré + Amplitude des variations de Edist), si n minima = 1 Election et mesure de confiance

iMAGIS-GRAVIR / IMAG Contributions Nouvelle approche du problème de lacquisition de modèle 3D de cheveux Résultats répondent à notre attente Nouvelle approche du problème de lacquisition de modèle 3D de cheveux Résultats répondent à notre attente

iMAGIS-GRAVIR / IMAG Limitations positionnement des vecteurs de cheveux 3D approximatif

iMAGIS-GRAVIR / IMAG Travaux futurs A terme: analyse géométrique ([MN]) couplée à létude de la réflectance Modèle + rendu interactif A terme: analyse géométrique ([MN]) couplée à létude de la réflectance Modèle + rendu interactif

iMAGIS-GRAVIR / IMAG Etat de lart Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] [KK89], Rendering fur with three dimensional textures, J.T.Kajiya T.L.Kay

iMAGIS-GRAVIR / IMAG P T L Etat de lart Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] specular (P) + diffuse (P) diffuse (P) = K d sin(T, L)

iMAGIS-GRAVIR / IMAG P T L E E Etat de lart Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] Modèle déclairement du cheveu Modèle déclairement du cheveu Kajiya, Kay [KK89] Kajiya, Kay [KK89] specular (P) + diffuse (P) diffuse (P) = K s cos p (E, E)

iMAGIS-GRAVIR / IMAG Etat de lart Modèle déclairement du cheveu Modèle déclairement du cheveu Directionnalité [Gol97] Directionnalité [Gol97] Modèle déclairement du cheveu Modèle déclairement du cheveu Directionnalité [Gol97] Directionnalité [Gol97] fdir (specular (P) + diffuse (P)) T L E k > 0 T L E k < 0

iMAGIS-GRAVIR / IMAG Seuillage en amplitude Rotation de 90 degrés Extraction des directions de mèches dans chaque image

iMAGIS-GRAVIR / IMAG Corrélation porte sur la forme, les maxima Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist = Eextrema + Eshape Corrélation porte sur la forme, les maxima Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist = Eextrema + Eshape Etude de corrélation Ke x (\x1 – x2\) r

iMAGIS-GRAVIR / IMAG Corrélation porte sur la forme, les maxima Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist = Eextrema + Eshape Corrélation porte sur la forme, les maxima Comment mesurer cette corrélation ? Introduction dune fonction dénergie: Edist = Eextrema + Eshape Etude de corrélation | fm(x) – ft(x) | dx