recherche & développement Expressions multimodales de caractéristiques anthropomorphiques d'un agent virtuel. Conception et évaluation dans le cadre d'une application de jeu Aurélie Zara France Télécom R&D Lannion & LIMSI-CNRS Groupes : TECH-QVP-USE & AMI Encadrants :V. Maffiolo & N. Château (FT); J. C. Martin & L.Devillers (LIMSI)

recherche & développement Groupe France Télécom titre du document/date/auteur – p2 Contexte Interfaces Homme-Machine intuitives Emotions (Affective Computing, Picard, MIT, 1997) Influencent la mémoire, l'inférence, le jugement, les prises de décisions, etc. But : améliorer l'engagement, la satisfaction et les performances de l'utilisateur. Multimodalité : parole, gestes, posture, expression faciales etc.: Communication plus naturelle. Donne des informations sur les états mentaux et activités internes de l'utilisateur. Conception d'ACA capable de communiquer de façon réaliste ( Pelachaud, 04) Applications potentielles :jeu, apprentissage, assistance Contexte particulier : interactions multimodales bidirectionnelles Jeu avec un agent conversationnel animé sur téléphone mobile

recherche & développement Groupe France Télécom titre du document/date/auteur – p3 Objectifs de la thèse Etudier, implémenter et évaluer l'expression de différentes caractéristiques "anthropomorphiques" attribuées à un ACA à partir de l'étude d'interactions Homme-Homme. "Anthropomorphisme" : Projection de caractéristiques et de traits humains sur des objets non- humains ou inanimés, par exemple les animaux de compagnie ou les voitures.("Anthropomorphism on trial", J. J. Morgan) Caractéristiques anthropomorphiques: émotions, états mentaux, processus cognitifs, personnalité, empathie etc. Contraintes : ACA sur téléphone mobile ou PDA Utiliser les technologies existantes ou développées dans un futur proche (simulées à l'aide d'un magicien d'Oz)

recherche & développement Groupe France Télécom titre du document/date/auteur – p4 Problèmes posés et originalité de la thèse Problèmes posés Comment, dans l'interaction, prendre en compte les émotions, états mentaux etc. ? (Poggi, Pelachaud, 96, 03 ) Comment spécifier l'ACA à partir d'un corpus?(Kipp 04, Cassel 01) Comment évaluer l'interaction avec l'ACA ? (Buisine 05) Originalité Spécification d'un agent à partir d'un corpus d'interactions émotionnelles naturelles et spontanées. Expression multimodale des émotions, états mentaux, processus cognitifs, etc. Evaluation de différents niveaux d'anthropomorphisme.

recherche & développement Groupe France Télécom titre du document/date/auteur – p5 Approche proposée 1) Corpus d'interactions naturelles homme-homme 3) Spécification de l’Agent Conversationnel à partir de sujets préalablement choisis 2) Annotation et représentation en fonction des caratéristiques anthropomorphiques choisies Annotations automatiques - informations acoustiques et prosodiques Annotations manuelles - comportements multimodaux, émotions, états mentaux, actes de dialogue, stratégies Calcul des relations entre niveaux de représentation 5) Evaluation, annotation et analyse Annotations automatiques - informations acoustiques et prosodiques Annotations manuelles - comportements multimodaux, émotions, états mentaux, actes de dialogue, stratégies Calcul des relations entre niveaux de représentation 4) Simulation Magicien d’Oz et collecte d’un copus IHM 6) Vers une modélisation des interactions émotionnelles multimodales

recherche & développement Groupe France Télécom titre du document/date/auteur – p6 Corpus issu du protocole EmoTaboo (stage Master 2006) Adaptation du jeu de société Taboo. Stratégies pour susciter des émotions : Utilisation d’un comparse Déroulement du jeu (chronomètre, classement …) Choix des cartes (putride, palimpeste …) 10 couples sujet-comparse : 7H30 de corpus vidéo 4 vues différentes (soit environ 30H) Corpus audio enregistré avec des micros cravate

recherche & développement Groupe France Télécom titre du document/date/auteur – p7 Premiers pas vers la spécification de l'agent (stage 2006) (1) Premières annotations du corpus HH : Multimodalité : expressions faciales, direction du regard, mouvements de la tête, changement de posture, gestes etc. Caractéristiques anthropomorphiques : stratégies de jeu (dialogue etc.), états mentaux, émotions, personnalité etc. Calculs de relations entre les différents niveaux d'annotations. Réfléchissant (24%) Adaptateur Aucun geste Regarde ailleurs Regarde partenaire Type de gesteDirection du regard 76% 15% 43% 46%

recherche & développement Groupe France Télécom titre du document/date/auteur – p8 Premiers pas vers la spécification de l'agent (stage 2006) (2) Exemple de spécification faite à partir des annotations Behavior UnsureThinking During 100 Do Expression None Eyes During 1280 Do Expression AU Eyes During 100 Do Expression None On dit rien tout les deux comme ça ça fait une pénalité

recherche & développement Groupe France Télécom titre du document/date/auteur – p9 Contributions Protocole EMOTABOO d'acquisition d'un corpus d'interactions émotionnelles : riche en comportements multimodaux et expressions d'émotions naturelles et spontanées dans l'interaction Définition de schémas de codage pour l'annotation : Des comportements multimodaux Des états mentaux et émotions J.C Martin, L. Devillers, A. Zara, "EMOTABOO : Gestures during emotional interaction"; workshop Humaine sur les gestes liés aux émotions, Gènes, 8-10 janvier 2007 A. Zara, L. Devillers, JC. Martin, V. Maffiolo, G. Le Chenadec, “Annotation of Emotional Behaviours and Mental States during Multimodal Interaction in the EmoTABOO Corpus”, workshop HUMAINE, Gênes, A. Zara, JC. Martin, L. Devillers, V. Maffiolo, G. Le Chenadec, “Annotation of Multimodal behaviours during Emotional Interaction in the EmoTABOO Corpus”, workshop HUMAINE, Gênes, 2006.