La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Outils pour la Spécification et le Développement de Têtes Parlantes J.-C. Martin AMI: C. Jacquemin, J.-P. Sansonnet, S. Morel PS: B. Katz, C. dAlessandro.

Présentations similaires


Présentation au sujet: "1 Outils pour la Spécification et le Développement de Têtes Parlantes J.-C. Martin AMI: C. Jacquemin, J.-P. Sansonnet, S. Morel PS: B. Katz, C. dAlessandro."— Transcription de la présentation:

1 1 Outils pour la Spécification et le Développement de Têtes Parlantes J.-C. Martin AMI: C. Jacquemin, J.-P. Sansonnet, S. Morel PS: B. Katz, C. dAlessandro LIR: A. Max

2 2 Plan Contexte International Contexte International Contexte LIMSI Contexte LIMSI Objectifs du projet Objectifs du projet Planning prévisionnel Planning prévisionnel Résultats et publications prévues Résultats et publications prévues Budget Budget

3 3 Contexte International Cohen, M. M. and Massaro, D. W. (1993). Modeling coarticulation in synthetic visual speech. Models and Techniques in Computer Animation. M. Magnenat-Thalmann and D. Thalmann. Springer-Verlag: Tokyo, AAAI/MIT Press: Cohen, M. M. and Massaro, D. W. (1993). Modeling coarticulation in synthetic visual speech. Models and Techniques in Computer Animation. M. Magnenat-Thalmann and D. Thalmann. Springer-Verlag: Tokyo, AAAI/MIT Press: L. Revéret, G. Bailly, and P. Badin. Mother: a new generation of talking heads providing a flexible articulatory control for video-realistic speech animation. in Proceedings of the International Conference on Speech and Language Processing Beijing, China. Pandzic, I. S. (2002). MPEG-4 Facial Animation. The Standard, Implementation and Applications., Wiley. Pandzic, I. S. (2002). MPEG-4 Facial Animation. The Standard, Implementation and Applications., Wiley. Bailly, G., Bérar, M., Elisei, F. and Odisi, M. (2003). "Audiovisual Speech Synthesis." International Journal of Speech Technology. Special Issue on Speech Synthesis: Part II. 6(4): Bailly, G., Bérar, M., Elisei, F. and Odisi, M. (2003). "Audiovisual Speech Synthesis." International Journal of Speech Technology. Special Issue on Speech Synthesis: Part II. 6(4): Beskow, J. (2003). Talking Heads - Models and Applications for Multimodal Speech Synthesis, Stockholm. Beskow, J. (2003). Talking Heads - Models and Applications for Multimodal Speech Synthesis, Stockholm.

4 4 Contexte International Ma, J., Cole, R., Pellom, B., Ward, W. and Wise, B. (2004). "Accurate automatic visible speech synthesis of arbitrary 3D models based on concatenation of diviseme motion capture data." Computer Animation and Virtual Worlds 15(5): 485 – 500 Ma, J., Cole, R., Pellom, B., Ward, W. and Wise, B. (2004). "Accurate automatic visible speech synthesis of arbitrary 3D models based on concatenation of diviseme motion capture data." Computer Animation and Virtual Worlds 15(5): 485 – 500 DeCarlo, D., Stone, M., Revilla, C. and Venditti, J. (to appear). "Specifying and Animating Facial Signals for Discourse in Embodied Conversational Agents." Journal of Visualisation and Computer Animation DeCarlo, D., Stone, M., Revilla, C. and Venditti, J. (to appear). "Specifying and Animating Facial Signals for Discourse in Embodied Conversational Agents." Journal of Visualisation and Computer Animation … communauté et workshops audio visual speech … communauté et workshops audio visual speech E. Reiter et R. Dale (2000) Building Natural Language Generation Systems, Cambridge University Press E. Reiter et R. Dale (2000) Building Natural Language Generation Systems, Cambridge University Press

5 5 Contexte International Rutgers University Talking Head (RUTH) Rutgers University Talking Head (RUTH) Texte étiqueté Texte étiqueté DeCarlo, D., Stone, M., Revilla, C. and Venditti, J. (to appear). "Specifying and Animating Facial Signals for Discourse in Embodied Conversational Agents." Journal of Visualisation and Computer Animation. DeCarlo, D., Stone, M., Revilla, C. and Venditti, J. (to appear). "Specifying and Animating Facial Signals for Discourse in Embodied Conversational Agents." Journal of Visualisation and Computer Animation. ((far ((register "HL") (accent "L+H*") (jog "TR"))) (greater ((accent "!H*") (tone "H-") (blink) (jog))) (than ((register "HL-H") (brow "1+2"))) (any ()) (similar ((accent "L+H*") (jog "D*"))) (object ((pos nn) (tone "L-") (blink) (brow))) (ever ((register "L") (accent "H*") (jog "U*"))) (discovered ((accent "L+!H*") (tone "L-L%") (blink))))

6 6 Contexte International Rutgers University Talking Head (RUTH) : Rutgers University Talking Head (RUTH) : AT&T AnimatedHead: Animation of Persons Using Text : AT&T AnimatedHead: Animation of Persons Using Text : Audio-visual speech web lab : Audio-visual speech web lab : Virtual Human Web resources : Virtual Human Web resources : Face Modeling Language Face Modeling Language H-ANIM H-ANIM FACS FACS

7 7 Poser

8 8 Contexte International Parole audiovisuelle + communication + émotion Parole audiovisuelle + communication + émotion Combinaisons / conflits entre : mouvements des lèvres, sourcis, mouvements de tête, regard, interactivité/interruption Combinaisons / conflits entre : mouvements des lèvres, sourcis, mouvements de tête, regard, interactivité/interruption Intérêt pour les phonèmes labiodentals, bilabiales Intérêt pour les phonèmes labiodentals, bilabiales Cohérence et synchronisation Cohérence et synchronisation Approches Approches Modèle paramétrique 2D / 3D (Parke 1982), géométrique ou musculaire, langue, trajectoires des paramètres Modèle paramétrique 2D / 3D (Parke 1982), géométrique ou musculaire, langue, trajectoires des paramètres Images + morphing Images + morphing Capture du mouvement Capture du mouvement Différents degrés de réalisme Différents degrés de réalisme Visèmes, co-articulation (di-visèmes articulation dun visème à un autre) Visèmes, co-articulation (di-visèmes articulation dun visème à un autre) Module synthèse vocale fournit des informations au module danimation, feedback Module synthèse vocale fournit des informations au module danimation, feedback Applications à des domaines variés Applications à des domaines variés e-commerce, réalité augmentée, formation, étude de la communication, handicap e-commerce, réalité augmentée, formation, étude de la communication, handicap

9 9 Contexte LIMSI Blum A., Amandine Afonso, Christian Jacquemin, Brian Katz., (2004). Expérimentation sur la Perception de l'Espace en Réalité Virtuelle Immersive Audio. In Proceedings, IHM'04, Namur, Belgique Blum A., Amandine Afonso, Christian Jacquemin, Brian Katz., (2004). Expérimentation sur la Perception de l'Espace en Réalité Virtuelle Immersive Audio. In Proceedings, IHM'04, Namur, Belgique

10 10 Contexte LIMSI R.Prudon, P. Boula de Mareüil, C. dAlessandro, Unit Selection Synthesis of Prosody: Evaluation Using Diphone Transplantation, in Shri Narayanan and Abeer Alwan (Eds) Text to Speech Synthesis: New Paradigms and Advances Chapitre 9, Prentice Hall, ISBN: X; juillet 2004, p R.Prudon, P. Boula de Mareüil, C. dAlessandro, Unit Selection Synthesis of Prosody: Evaluation Using Diphone Transplantation, in Shri Narayanan and Abeer Alwan (Eds) Text to Speech Synthesis: New Paradigms and Advances Chapitre 9, Prentice Hall, ISBN: X; juillet 2004, p Olivier Ferret, Brigitte Grau, Martine Hurault-Plantet, Gabriel Illouz, Christian Jacquemin (2002) « Quand la réponse se trouve dans un grand corpus, revue Ingénierie des Systèmes d'Information », n°spécial Recherche et filtrage d'information sous la direction de Catherine Berrut et Mohand Boughanem, Volume 7 - n°1- 2/2002, pp Olivier Ferret, Brigitte Grau, Martine Hurault-Plantet, Gabriel Illouz, Christian Jacquemin (2002) « Quand la réponse se trouve dans un grand corpus, revue Ingénierie des Systèmes d'Information », n°spécial Recherche et filtrage d'information sous la direction de Catherine Berrut et Mohand Boughanem, Volume 7 - n°1- 2/2002, pp

11 11 Contexte LIMSI AAATE2005: JCM/OG/JN AAATE2005: JCM/OG/JN Context2005, HCII2005: CP (Greta) /LD/SA

12 12 Objectifs du projet Fédération Fédération dexpertises dexpertises doutils doutils dobjectifs dobjectifs … complémentaires / émergentes … complémentaires / émergentes Originalité Originalité Son 3D Son 3D Représentations simples du visage Représentations simples du visage

13 13 Objectifs du projet Génération dénoncés (Q&A) LIR Synthèse de la parole PS Génération spécifications visèmes PS / AMI Animation faciale par interpolation / points de contrôle AMI Spatialisation audio 3D PS VirChorPoser PC / VideoProjeté mur Langages de représentation Protocole de communication

14 14 Planning prévisionnel (1 an) Mai Etude de lexistant et analyse des besoins Etude et test de quelques travaux extérieurs Présentation des modules individuels Juin - Septembre Spécifications Sélection dune application Q&A Langage de représentation des messages Adaptation / devt. des modules individuels Novembre - Janvier Intégration logicielle Mars Tests utilisateurs

15 15 Résultats et publications Echange dexpertises Echange dexpertises Intégration doutils complémentaires Intégration doutils complémentaires Publications (dans les 2 ans) Publications (dans les 2 ans) 1 ou 2 revue en acoustique / parole 1 ou 2 revue en acoustique / parole 1 ou 2 conférences / revues multimodal CHM 1 ou 2 conférences / revues multimodal CHM Coopérations avec dautres thématiques du LIMSI Coopérations avec dautres thématiques du LIMSI Certains membres déjà affiliés dans Venise Certains membres déjà affiliés dans Venise Intégration future à une thématique avatars, réalité augmentée Intégration future à une thématique avatars, réalité augmentée

16 16 Budget demandé au LIMSI sur 1 an MONTANT PUBLICATIONS (conférences et revues) Multimodal et Communication Homme-Machine (ICMI, IVA, CHI)3,000 Parole et traitement du langage (ICSLP, TAL, acta acoustica, JASA)3,000 VACATIONS Animation faciale (Virtual Choreographer et Poser)2,000 Synthèse vocale2,500 Intégration système Questions / Réponses2,000 MATERIEL Matériel de mesure et locuteurs2,500 LOGICIELS Upgrade poser 6200 TOTAL15,200


Télécharger ppt "1 Outils pour la Spécification et le Développement de Têtes Parlantes J.-C. Martin AMI: C. Jacquemin, J.-P. Sansonnet, S. Morel PS: B. Katz, C. dAlessandro."

Présentations similaires


Annonces Google