Introduction Applications Communication Jeux vidéo E-learning, E-commerce, … Médecine (autisme) Aide pour les applications informatiques

Plan Etat de l’art Interpolation Pseudo-muscles Systèmes de paramétrisation MPEG4 pour l’animation faciale Thèse : Stéphane Garchery MiraLab 2004 XFace : Open source librairie Proposition de modèle Bibliographie

Interpolation Principe Eq. Keyframing Coefficient d’interpolation  fonction du temps Linéaire, bi-linéaire, par région Avantages Simplicité Complexité réduite Inconvénients Nécessite une base d’expressions clef importante Impossibilité de créer une expression non définie Topologie fixe

Pseudo-muscles Principe Introduit par F. Parke, Water 3 Représentations (effets, forces) : Splines Déformations lisses et flexibles, continuité Contrôle par un nombre réduit de points Adapté aux surfaces crevassées FFD Free form Deformation Manipulation par points de contrôle, contient l’objet RFFD, rational : facteur de pondération Peu précis, pas d’effets de peau

Pseudo-muscles Principe RBF Rational Basis Function Avec Un petit nombre de point caractéristique on en déduit l’ensemble des points du modèle Déformation lisse sur les régions (proche MPEG4) Indépendant de la topologie Avantages Animation par points de contrôle Continuité des modèles Précision et réalisme Inconvénients Complexe Forte dépendance au modèle à animer

Simulation de muscles Exemple

Systèmes de paramétrisation Principe 2 systèmes adaptés à la simulation des muscles : FACS (Facial Action Coding System) - Ekman Basé sur une analyse anatomique 46 Action Units => peuvent être combinées Peu intuitif, pas d’action directe sur la peau MPA (Minimal Perceptible Action) - Thalmann Basé sur les action perceptibles des muscles Inclue le contrôle des yeux et de la rotation de la tête Faible nombre de déformations Beaucoup de paramètres pour décrire une animation Autre système : MPEG4 Principe

MPEG4 pour l’animation faciale Principes de base Topologie du visage, expression neutre : Polygonal Mesh FDP (Facial Definition Parameter), zone de déformation, poids sur les vertex associés FAP (Facial Animation Parameter), émotion, visème FAPU (Facial Animation Parameter Unit) FAT (Facial Animation Table) FIT (Face Interpolation Technique) Géométrie Animation FIT L'animation d'un visage se fait à partir d'un modèle ayant une expression neutre (FDP: Facial Definition Parameter) contrôlé par une série de paramètres contenus dans le FAP (Facial Animation Paramètre). Pour animer un visage, il suffira donc de télécharger le modèle, et d'envoyer les paramètres contrôlant le mouvement du visage qui se traduiront alors sur le visage neutre à l'aide d'un système prévu à cet effet par MPEG4 (FIT: Face Interpolation Technique). Ce système possède l'avantage de n'avoir besoin que d'un visage neutre permettant d'une part d'accélérer la formation des mouvements, et d'autre part de pouvoir en créer de nouveau sans avoir de modèle d'expression prédéfini. La partie du standard relative à l'animation des visages permet d'envoyer des paramètres de calibration et d'animation des visages synthétiques. Ces modèles ne sont pas standardisés par la norme MPEG4, seuls les paramètres le sont: - définition et codage des paramètres d'animation - positions et orientations des points caractéristiques (points-clefs) pour l'animation du maillage (modélisation 'fils-de-fer') du visage - configuration des lèvres correspondant aux phonèmes de la parole - positions 3D des points caractéristiques - calibration du maillage 3D pour l'animation - carte des textures du visage - caractéristiques personnelles - codage des textures du visage Un visage est un élément d’une scène vidéo ne se déplaçant pas ou peu mais subissant des déformations (sourire, froncement de sourcil,…). MPEG4 fournit un ensemble d’outils pour pouvoir interpréter un mouvement et générer les modifications du sprite correspondant. Il ne sera ainsi plus nécessaire de renvoyer le visage (en fait les macroblocs le composant) mais de dire quelles modifications vont survenir. Nous allons décomposer le processus de décodage d’un mouvement sur un visage :   Les paramètres de définition du visage (FDP) permettent d’afficher ou de garder en mémoire un visage ayant une forme générique (par exemple la première expression d’un visage ou un visage dit neutre). Ces FDP permettent donc d’afficher tout de suite un visage ou d’y appliquer immédiatement une modifications. Les paramètres d’animation du visage (FAP) définissent les mouvements survenant sur un visage. Un FAP pourrait dire d’élargir le sourire de 2 centimètres. Les FAP sont ensuite interprétés par la table d’animation des visages (FAT) qui traduit chaque requête d’une FAP en terme de déplacements de points composants le visage. Dans le cas de FAP survenant en même temps et dont les effets doivent tenir compte les uns des autres, des techniques d’interpolation de visage (FIT) permettent de gérer ces déplacements multiples en décodant le FAP complexe arrivant en plusieurs FAP basiques et en liant leurs effets. Sémantique FDP Vertex Déplacement FAP FAT Commande = Flux de FAPs

MPEG4 pour l’animation faciale Exemple

Thèse : Stéphane Garchery MiraLab 2004 Description Applications autonomes, Web, PDA Rendu réaliste Compatible MPEG4 Algorithme de déformation basé sur les FAT, MorphTarget Interpolation linéaire par morceau sur les FAPs Avantages Détermination automatique des zones d’influence par triangulation Influence de plusieurs points de contrôle sur les vertex Production automatique des FAT Génération de FAPs par traking optique et vidéo ou par un système TTS->FAPs

XFace : Open source librairie SDK Open source Multi-plateforme Librairies prêtes à animer en MPEG4 XFaceEditor Configuration des mesh au format MPEG4. VRML XFacePlayer Entrée : TCP/IP flux de FAPs Sortie : Animation & TTS XFaceClient Génère animation en APML

Proposition de modèle Script Emotion APML, VHML mood Personality Prerequirement Mesh + texture (Poser) VRML FDP+FAT+FIT (XFaceEd) Virchor XML Emotions TTS Visèmes VirChor + MPEG4 Decoder Synchronization

Fin

Bibliographie A Survey of Facial Modeling and Animation Techniques Jun-yong Noh, Ulrich Neumann Integrated Media Systems Center, University of Southern California http://graphics.usc.edu/cgit/pdf/papers/survey.pdf Waters 1987 Real-time animation of realistic virtual humans Prem Kalra, Nadia Magnenat Thalmann, Laurent Moccozet, Gael Sannier MIRALab, CUI, University of Geneva Expressive Visual Speech using Geometric Muscle Functions James D. Edge and Steve Maddock Department of Computer Science, University of Sheffield Web-enabled Speech Driven Facial Animation Ming Ouhyoung, I-Chen Lin , David S.D. Lee, Communication and Multimedia Laboratory, National Taiwan University 25 muscles virtuels pour contrôler à la fois les expressions et les visèmes 24 des muscles linéaires. Le muscle sphincter simule l’Obicularis Oris qui est le muscle entourant les lèvres

Bibliographie Xface: MPEG4 Based Open Source Toolkit for 3D Facial Animation Koray Balcı ITCirst, Cognitive and Communication Technologies Division Spacetime Constraints for Viseme-based Synthesis of Visual Speech James D. Edge and Steve Maddock Department of Computer Science, University of Sheffield Towards a generic talking head M. Bérar(1), G. Bailly(1), M. Chabanas(2), F. Elisei(1), M. Odisio(1) & Y. Pahan(2) Institut de la Communication Parlée (ICP), UMR CNRS A SOLUTION FOR MODEL-INDEPENDENT ANIMATION OF MPEG-4 FACES Roberto Pockaj, Maurizio Costa, Fabio Lavagetto, Carlo Braccini DIST – University of Genova Using MPEG-4 parameters for calibrating/animating talking heads C.Bonamico, C.Braccini, M.Costa, F.Lavagetto, R.Pockaj DIST, University of Genova

Bibliographie Virtual Talking Heads for Tele-education Applications Carlo Bonamico and Fabio Lavagetto The Department of Informatics, System Science and Telematics - University of Genova The use of emotionally expressive avatars in Collaborative Virtual Environments Marc Fabri, David Moore ISLE Research Group, School of Computing PicToon: A Personalized Image-based Cartoon System Hong Chen, Nan-Ning Zheng, Lin Liang,Yan Li, Ying-Qing Xu, Heung-Yeung Shum Microsoft Research, Asia FEATURE POINT BASED MESH DEFORMATION APPLIED TO MPEG-4 FACIAL ANIMATION Sumedha Kshirsagar, Stephane Garchery, Nadia Magnenat-Thalmann MIRALab, CUI University of Geneva