+ Stéphanie BUISINE Yun WANG Jean-Claude MARTIN Synchronisation temporelle entre parole et expression faciale des ACAs.

Présentation au sujet: "+ Stéphanie BUISINE Yun WANG Jean-Claude MARTIN Synchronisation temporelle entre parole et expression faciale des ACAs."— Transcription de la présentation:

1 + Stéphanie BUISINE Yun WANG Jean-Claude MARTIN Synchronisation temporelle entre parole et expression faciale des ACAs

2 + + 2 ✦ LIMSI, MerLIn, Centre Emotion UMR 7593 (J. Nadel, O. Grynszpan), etc. ✦ Animations ACAs pour apprendre aux personnes autistes à percevoir les émotions pour comprendre des situations quotidiennes. Contexte et origine de la problématique Projet Autisme

3 + + 3 Contexte et origine de la problématique Conception des animations Méthodes Spécification de l’expression faciale Générer le fichier audio Générer le lipsync «Unmasking the faces» Ekman [97] «MindReading» ScénarioSpécificationIntégrationRendu Évaluation

4 + 4 Spécification de l’expression faciale Générer le fichier audio Générer le lipsync + Goldwave ScénarioSpécificationIntégrationRendu Évaluation + Contexte et origine de la problématique Conception des animations Méthodes

5 + 5 Spécification de l’expression faciale Générer le fichier audio Générer le lipsync ScénarioSpécificationIntégrationRendu Évaluation + Contexte et origine de la problématique Conception des animations Méthodes

6 + 6 ScénarioSpécificationIntégrationRendu Évaluation + Contexte et origine de la problématique Conception des animations Méthodes

7 + + 7 Contexte et origine de la problématique Conception des animations Problématique et protocole Comment doit-on synchroniser les expressions faciales avec la parole ? ✦ Cinq variantes de combinaison temporelle : ✧ expression avant parole ✧ expression en début de parole ✧ expression pendant parole ✧ expression en fin de parole ✧ expression après parole paroleexpression parole expression parole expression parole expression paroleexpression ✦ Trois dimensions à évaluer: L’efficacité: exactitude de décodage de l’expression faciale (performance) Le réalisme: ressemblance avec l’expression humaine La préférence: critères subjectifs

8 + 8 ✦ 30 animations en ordre aléatoire ✧ question ouverte de décodage ✧ cotation de l’intensité (1 à 7) ✦ 23 participants non autistes ✦ 6 scenarios émotionnels: JOIE/ « Je suis ensuite allé regarder mon émission préférée. » DEGOUT/ « On nous sert des épinards. » SURPRISE/ « Mon train a 20 minutes de retard. » TRISTESSE/ « Je vais travailler tout le week-end. » PEUR/ « J’ai perdu le téléphone portable que j’avais emprunté à mon père. » COLERE/ « Charles m’a fait une blague en cachant mon livre. » + Contexte et origine de la problématique Conception des animations Problématique et protocole ✦ 6 groupes de cinq animations ✧ cotation du réalisme (1 à 7) ✧ un choix de préférence

9 + 9 + Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Reconnaissance ✦ Effet du mode de synchronisation sur la performance de reconnaissance F(4/420)=5.92 ; p<0.001. Significativement meilleure (p=0.05) La moins bonne (p=0.025)

10 + 10 + ✦ Interaction synchronisation * émotion F(4/420)=2.41 ; p<0.001. Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Reconnaissance

11 + 11 + La plus intense (p=0.011) ✦ Effet du mode de synchronisation sur la perception de l’intensité des émotions F(4/420)=2.89 ; p=0.001. Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Intensité

12 + 12 + La plus réaliste (p<0.001) ✦ Effet du mode de synchronisation sur le réalisme F(4/420)=24.19 ; p<0.001. La moins réaliste (p=0.008) Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Réalisme

13 + 13 + ✦ Effet du mode de synchronisation sur la préférence F(4/420)=25.87 ; p<0.001 et interaction avec l’émotion F(20/420)=1.87= ; p=0.013. Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Préférences

14 + 14 ✦ La performance de reconnaissance n’est liée ni au réalisme de l’animation ni à la préférence de l’utilisateur. Temps - Intensité 0- Réalisme 0-++ Préférence 00++++++ ReconnaissanceTempsIntensitéRéalisme + Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Corrélations

15 + 15 + Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Conclusion EmotionRecommandationA éviter Joie Expression pendant la parole, accentuée à la fin Expression avant la parole Dégoût Expression pendant la parole, accentuée à la fin Expression en début de parole Surprise Expression avant ou plutôt en début de parole Expression après la parole Tristesse Expression pendant la paroleExpression en fin de parole Peur Expression pendant la parole, accentuée à la fin Expression avant la parole Colère Expression pendant la parole, Accentuée au début Expression après la parole ✦ Stratégies différentes selon que l’on privilégie performance ou réalisme. ✦ Guide d’animation synthétique conciliant le maximum de résultats :

16 + + Bibliographie associée 16 ✦ Modèle « expression pendant parole » généralement adopté. ✧ Au niveau des unités porteuses de sens (mots ou pauses). [Cassell et al. (1994), Pelachaud et al. (1996), King & Parent (2003)] ✧ Au niveau des tours de parole. [De Rosis et al., 2003] ✦ Le maintien de l’expression dans le temps est un des facteurs modulant l’expressivité faciale. [Pelachaud (2005)]  résultats concordants ✦ La dynamique de l’expression dépend du type d’émotion (ex: évaluation de la surprise arrive tôt). [Ekman (2003), Scherer (2000)] ✦ Dissociation entre réalisme et évaluation subjective. [Mori (2005) « Uncanny Valley », Groom et al., 2009]  résultats discordants ✦ Autres ??? parole expression

17 + MERCI ! 17