Outils pour la Spécification et le Développement de Têtes Parlantes J.-C. Martin AMI: C. Jacquemin, J.-P. Sansonnet, S. Morel PS: B. Katz, C. d’Alessandro LIR: A. Max Bonjour, Ce projet d’Action Incitative fait intervenir des personnes de plusieurs thèmes et groupes. C. Jacquemin qui est à l’initiative du projet, …

Plan Contexte International Contexte LIMSI Objectifs du projet Planning prévisionnel Résultats et publications prévues Budget

Contexte International Cohen, M. M. and Massaro, D. W. (1993). Modeling coarticulation in synthetic visual speech. Models and Techniques in Computer Animation. M. Magnenat-Thalmann and D. Thalmann. Springer-Verlag: Tokyo, AAAI/MIT Press: 243-261. L. Revéret, G. Bailly, and P. Badin. Mother: a new generation of talking heads providing a flexible articulatory control for video-realistic speech animation. in Proceedings of the International Conference on Speech and Language Processing. 2000. Beijing, China. Pandzic, I. S. (2002). MPEG-4 Facial Animation. The Standard, Implementation and Applications., Wiley. Bailly, G., Bérar, M., Elisei, F. and Odisi, M. (2003). "Audiovisual Speech Synthesis." International Journal of Speech Technology. Special Issue on Speech Synthesis: Part II. 6(4): 331-346. Beskow, J. (2003). Talking Heads - Models and Applications for Multimodal Speech Synthesis, Stockholm.

Contexte International Ma, J., Cole, R., Pellom, B., Ward, W. and Wise, B. (2004). "Accurate automatic visible speech synthesis of arbitrary 3D models based on concatenation of diviseme motion capture data." Computer Animation and Virtual Worlds 15(5): 485 – 500 DeCarlo, D., Stone, M., Revilla, C. and Venditti, J. (to appear). "Specifying and Animating Facial Signals for Discourse in Embodied Conversational Agents." Journal of Visualisation and Computer Animation … communauté et workshops audio visual speech E. Reiter et R. Dale (2000) Building Natural Language Generation Systems, Cambridge University Press

Contexte International Rutgers University Talking Head (RUTH) Texte étiqueté DeCarlo, D., Stone, M., Revilla, C. and Venditti, J. (to appear). "Specifying and Animating Facial Signals for Discourse in Embodied Conversational Agents." Journal of Visualisation and Computer Animation. ((far ((register "HL") (accent "L+H*") (jog "TR"))) (greater ((accent "!H*") (tone "H-") (blink) (jog))) (than ((register "HL-H") (brow "1+2"))) (any ()) (similar ((accent "L+H*") (jog "D*"))) (object ((pos nn) (tone "L-") (blink) (brow))) (ever ((register "L") (accent "H*") (jog "U*"))) (discovered ((accent "L+!H*") (tone "L-L%") (blink))))

Contexte International Rutgers University Talking Head (RUTH) : http://www.cs.rutgers.edu/~village/ruth/ AT&T AnimatedHead: Animation of Persons Using Text : http://www.research.att.com/projects/AnimatedHead/ Audio-visual speech web lab : http://www.faculty.ucr.edu/~rosenblu/lab-index.html Virtual Human Web resources : http://www.ordinarymagic.com/v-people/Webresources.html Face Modeling Language http://ivizlab.sfu.ca/arya/Research/fml_1.html H-ANIM http://www.h-anim.org/ FACS http://face-and-emotion.com/dataface/facs/description.jsp

Poser

Contexte International Parole audiovisuelle + communication + émotion Combinaisons / conflits entre : mouvements des lèvres, sourcis, mouvements de tête, regard, interactivité/interruption Intérêt pour les phonèmes labiodentals, bilabiales Cohérence et synchronisation Approches Modèle paramétrique 2D / 3D (Parke 1982), géométrique ou musculaire, langue, trajectoires des paramètres Images + morphing Capture du mouvement Différents degrés de réalisme Visèmes, co-articulation (di-visèmes articulation d’un visème à un autre) Module synthèse vocale fournit des informations au module d’animation, feedback Applications à des domaines variés e-commerce, réalité augmentée, formation, étude de la communication, handicap

Contexte LIMSI Blum A., Amandine Afonso, Christian Jacquemin, Brian Katz., (2004). Expérimentation sur la Perception de l'Espace en Réalité Virtuelle Immersive Audio. In Proceedings, IHM'04, Namur, Belgique

Contexte LIMSI R.Prudon, P. Boula de Mareüil, C. d’Alessandro, “Unit Selection Synthesis of Prosody: Evaluation Using Diphone Transplantation”, in Shri Narayanan and Abeer Alwan (Eds) “Text to Speech Synthesis: New Paradigms and Advances” Chapitre 9, Prentice Hall, ISBN: 013145661X; juillet 2004, p. 203-217 Olivier Ferret, Brigitte Grau, Martine Hurault-Plantet, Gabriel Illouz, Christian Jacquemin (2002) « Quand la réponse se trouve dans un grand corpus, revue Ingénierie des Systèmes d'Information », n°spécial Recherche et filtrage d'information sous la direction de Catherine Berrut et Mohand Boughanem, Volume 7 - n°1-2/2002, pp. 95-123

Contexte LIMSI AAATE’2005: JCM/OG/JN Context’2005, HCII’2005: CP (Greta) /LD/SA

Objectifs du projet Fédération Originalité d’expertises d’outils d’objectifs … complémentaires / émergentes Originalité Son 3D Représentations simples du visage

Objectifs du projet Génération d’énoncés (Q&A) LIR Langages de représentation Protocole de communication Synthèse de la parole PS Génération spécifications visèmes PS / AMI Spatialisation audio 3D PS Animation faciale par interpolation / points de contrôle AMI PC / VideoProjeté mur VirChor Poser

Planning prévisionnel (1 an) Mai Etude de l’existant et analyse des besoins Etude et test de quelques travaux extérieurs Présentation des modules individuels Juin - Septembre Spécifications Sélection d’une application Q&A Langage de représentation des messages Adaptation / devt. des modules individuels Novembre - Janvier Intégration logicielle Mars Tests utilisateurs

Résultats et publications Echange d’expertises Intégration d’outils complémentaires Publications (dans les 2 ans) 1 ou 2 revue en acoustique / parole 1 ou 2 conférences / revues multimodal CHM Coopérations avec d’autres thématiques du LIMSI Certains membres déjà affiliés dans Venise Intégration future à une thématique avatars, réalité augmentée

Budget demandé au LIMSI sur 1 an   MONTANT PUBLICATIONS (conférences et revues) Multimodal et Communication Homme-Machine (ICMI, IVA, CHI) 3,000 Parole et traitement du langage (ICSLP, TAL, acta acoustica, JASA) VACATIONS Animation faciale (Virtual Choreographer et Poser) 2,000 Synthèse vocale 2,500 Intégration système Questions / Réponses MATERIEL Matériel de mesure et locuteurs LOGICIELS Upgrade poser 6 200 TOTAL 15,200