Outils pour la Spécification et le Développement de Têtes Parlantes

Présentation au sujet: "Outils pour la Spécification et le Développement de Têtes Parlantes"— Transcription de la présentation:

1 Outils pour la Spécification et le Développement de Têtes Parlantes
J.-C. Martin AMI: C. Jacquemin, J.-P. Sansonnet, S. Morel PS: B. Katz, C. d’Alessandro LIR: A. Max Bonjour, Ce projet d’Action Incitative fait intervenir des personnes de plusieurs thèmes et groupes. C. Jacquemin qui est à l’initiative du projet, …

2 Plan Contexte International Contexte LIMSI Objectifs du projet
Planning prévisionnel Résultats et publications prévues Budget

3 Contexte International
Cohen, M. M. and Massaro, D. W. (1993). Modeling coarticulation in synthetic visual speech. Models and Techniques in Computer Animation. M. Magnenat-Thalmann and D. Thalmann. Springer-Verlag: Tokyo, AAAI/MIT Press: L. Revéret, G. Bailly, and P. Badin. Mother: a new generation of talking heads providing a flexible articulatory control for video-realistic speech animation. in Proceedings of the International Conference on Speech and Language Processing Beijing, China. Pandzic, I. S. (2002). MPEG-4 Facial Animation. The Standard, Implementation and Applications., Wiley. Bailly, G., Bérar, M., Elisei, F. and Odisi, M. (2003). "Audiovisual Speech Synthesis." International Journal of Speech Technology. Special Issue on Speech Synthesis: Part II. 6(4): Beskow, J. (2003). Talking Heads - Models and Applications for Multimodal Speech Synthesis, Stockholm.

4 Contexte International
Ma, J., Cole, R., Pellom, B., Ward, W. and Wise, B. (2004). "Accurate automatic visible speech synthesis of arbitrary 3D models based on concatenation of diviseme motion capture data." Computer Animation and Virtual Worlds 15(5): 485 – 500 DeCarlo, D., Stone, M., Revilla, C. and Venditti, J. (to appear). "Specifying and Animating Facial Signals for Discourse in Embodied Conversational Agents." Journal of Visualisation and Computer Animation … communauté et workshops audio visual speech E. Reiter et R. Dale (2000) Building Natural Language Generation Systems, Cambridge University Press

5 Contexte International
Rutgers University Talking Head (RUTH) Texte étiqueté DeCarlo, D., Stone, M., Revilla, C. and Venditti, J. (to appear). "Specifying and Animating Facial Signals for Discourse in Embodied Conversational Agents." Journal of Visualisation and Computer Animation. ((far ((register "HL") (accent "L+H*") (jog "TR"))) (greater ((accent "!H*") (tone "H-") (blink) (jog))) (than ((register "HL-H") (brow "1+2"))) (any ()) (similar ((accent "L+H*") (jog "D*"))) (object ((pos nn) (tone "L-") (blink) (brow))) (ever ((register "L") (accent "H*") (jog "U*"))) (discovered ((accent "L+!H*") (tone "L-L%") (blink))))

6 Contexte International
Rutgers University Talking Head (RUTH) : AT&T AnimatedHead: Animation of Persons Using Text : Audio-visual speech web lab : Virtual Human Web resources : Face Modeling Language H-ANIM FACS

7 Poser

8 Contexte International
Parole audiovisuelle + communication + émotion Combinaisons / conflits entre : mouvements des lèvres, sourcis, mouvements de tête, regard, interactivité/interruption Intérêt pour les phonèmes labiodentals, bilabiales Cohérence et synchronisation Approches Modèle paramétrique 2D / 3D (Parke 1982), géométrique ou musculaire, langue, trajectoires des paramètres Images + morphing Capture du mouvement Différents degrés de réalisme Visèmes, co-articulation (di-visèmes articulation d’un visème à un autre) Module synthèse vocale fournit des informations au module d’animation, feedback Applications à des domaines variés e-commerce, réalité augmentée, formation, étude de la communication, handicap

9 Contexte LIMSI Blum A., Amandine Afonso, Christian Jacquemin, Brian Katz., (2004). Expérimentation sur la Perception de l'Espace en Réalité Virtuelle Immersive Audio. In Proceedings, IHM'04, Namur, Belgique

10 Contexte LIMSI R.Prudon, P. Boula de Mareüil, C. d’Alessandro, “Unit Selection Synthesis of Prosody: Evaluation Using Diphone Transplantation”, in Shri Narayanan and Abeer Alwan (Eds) “Text to Speech Synthesis: New Paradigms and Advances” Chapitre 9, Prentice Hall, ISBN: X; juillet 2004, p Olivier Ferret, Brigitte Grau, Martine Hurault-Plantet, Gabriel Illouz, Christian Jacquemin (2002) « Quand la réponse se trouve dans un grand corpus, revue Ingénierie des Systèmes d'Information », n°spécial Recherche et filtrage d'information sous la direction de Catherine Berrut et Mohand Boughanem, Volume 7 - n°1-2/2002, pp

11 Contexte LIMSI AAATE’2005: JCM/OG/JN
Context’2005, HCII’2005: CP (Greta) /LD/SA

12 Objectifs du projet Fédération Originalité
d’expertises d’outils d’objectifs … complémentaires / émergentes Originalité Son 3D Représentations simples du visage

13 Objectifs du projet Génération d’énoncés (Q&A) LIR
Langages de représentation Protocole de communication Synthèse de la parole PS Génération spécifications visèmes PS / AMI Spatialisation audio 3D PS Animation faciale par interpolation / points de contrôle AMI PC / VideoProjeté mur VirChor Poser

14 Planning prévisionnel (1 an)
Mai Etude de l’existant et analyse des besoins Etude et test de quelques travaux extérieurs Présentation des modules individuels Juin - Septembre Spécifications Sélection d’une application Q&A Langage de représentation des messages Adaptation / devt. des modules individuels Novembre - Janvier Intégration logicielle Mars Tests utilisateurs

15 Résultats et publications
Echange d’expertises Intégration d’outils complémentaires Publications (dans les 2 ans) 1 ou 2 revue en acoustique / parole 1 ou 2 conférences / revues multimodal CHM Coopérations avec d’autres thématiques du LIMSI Certains membres déjà affiliés dans Venise Intégration future à une thématique avatars, réalité augmentée

16 Budget demandé au LIMSI sur 1 an
MONTANT PUBLICATIONS (conférences et revues) Multimodal et Communication Homme-Machine (ICMI, IVA, CHI) 3,000 Parole et traitement du langage (ICSLP, TAL, acta acoustica, JASA) VACATIONS Animation faciale (Virtual Choreographer et Poser) 2,000 Synthèse vocale 2,500 Intégration système Questions / Réponses MATERIEL Matériel de mesure et locuteurs LOGICIELS Upgrade poser 6 200 TOTAL 15,200