+ Stéphanie BUISINE Yun WANG Jean-Claude MARTIN Synchronisation temporelle entre parole et expression faciale des ACAs.

Slides:



Advertisements
Présentations similaires
Création d’un personnage en peinture avec l’intégration d’un visage 3d
Advertisements

Dans une minute, maman! répond toujours Maxine.
Guillaume HUTZLER Bernard GORTAIS Jean-Daniel ZUCKER LaMI
Chap. 4 – Q4.6 – Séq. 1 : Travail de groupe (Photo-expression)
La phrase exclamative bonour bienvenue sur la plateforme de soutien scolaire Jerevise.fr Aujourd'hui nous allons voir la différence qui existe entre les.
DEVELOPPEMENT PERSONNEL L3 T&F
Expressions du passé + Irregular -ER verbs. Hier, Avant-hier, etc. Aujourdhui, je porte une jupe noire. Hier, jai porté une jupe grise. Avant-hier, jai.
Expressions du passé.
L’usage du subjonctif Partie III.
Les expressions négatives 2 Aussi vous pouvez regarder vos livres (p80)
FRENCH SPEAKING EXAM TOPIC QUESTIONS.
GCSE FRENCH SPEAKING EXAM TOPIC QUESTIONS.
Il ____________ froid aujourd’hui (faire)
Si le Diaporama ne s'ouvre pas en plein écran Faites F5 sur votre clavier.
Bon Voyage!.
Chapitre 8 L’émotion 8.1 LES COMPOSANTES DE L’ÉMOTION
Heure, temps ou fois??? Cest lheure de décider…. Cette ______, il va rendre ses devoirs de français à _______ !
Claire Dornan-Hilliard FRE 1121c Summer juillet 2011.
Bonjour ! Je m'appelle Sylvie, et je vais faire un examen de contrôle
Besoin et fonctionnement
Adaptation et intégration d'un module du Langage Parlé Complété (LPC) dans l'agent conversationnel Greta Mohammed ZBAKH Encadré par Mme. Hela DAASSI M.
Les facteurs du comportement liés à l’individu
Je lis l’heure.
LA COMMUNICATION NON VERBALE
Les heures Dire les mots manquants et cliquer sur ? pour vérifier Les heures Dire les mots manquants et cliquer sur ? pour vérifier Les heures Choix multiple.
Talking about where I shop L/O: talking about where I shop Je fais des achats à…
Je suis un champion By Myre Adnan.
Apport de la vidéoconférence sur la représentation des émotions et de limplication à la tâche dans une situation de travail collaboratif.
Parler de vos expériences
Agent Animé Ambiant & Adaptatif
RECHERCHE COMMERCIALE
Atelier sur la communication interculturelle
Le présent et le passé En générale je mange des céréales pour le petit déjeuner. Mais ce matin, j’ai mangé des oeufs.
Vocabulaire Pronoms relatifs Pronoms relatifs Expressions.
Série de 10 diaporamas présentant chacun une technique simple, pratique et amusante pour.
Me voici! Par Mlle Gainey. Les faits Je m’appelle Mlle Gainey. Je m’appelle Mlle Gainey. J’ai 24 ans. Je suis assez jeune. J’ai 24 ans. Je suis assez.
Passé composé. Passé composé avec avoir 1. Tu as fini toute la pizza? 2. Elle a acheté une nouvelle robe. 3. J’ai rendu les livres à la bibliothèque.
APPROCHE PSYCHOLOGIQUE DE L’EXPERIENCE REEDUCATIVE
Atelier sur la communication interculturelle
* * *** * ** *** ** * * * * P < 0.05 ** P < 0.01 *** P < GENRE Aucune différence entre les groupes Reconnaissance du genre et des expressions faciales.
Grammar points to improve your writing I can: Use the Direct Object pronouns Use and understand the pronoun Y Use relative pronouns to expand my sentences.
La négation!.
J’ai commencé comme conducteur de Fenwick pour l’armée….
Pour mon anniversaire, j’ai reçu
Unité 3 Un week-end chez Martin Démarrez!
Avoir investi quelques centaines d’euros a été le meilleur investissement de ces dernières années. Je suis plus détendu, je prends de meilleures décisions.
Bonjour, je vais bientôt avoir 5 mois. Voici quelques photos de mes dernières aventures.
Ça c‘est moi Nicolas Sauvageau Je vais vous dire une de mes plus GRANDE qualité :Je suis toujours à l’heure.
Bonvin Florie, Pop Antonia, Tresh Ortiz Rebeca
Les prépositions de temps
les expressions idiomatiques
LE DIABLE et l’ange!.
FLE M U L T I M É D I A ©A.DIDIER F.L.E. MULTIMÉDIA LE CONCEPT.
~L’Imparfait~ le français 3.
Le renard est un animal rusé.
By Val Vega. Il est mécanicien pour les taxis. Il a une femme et trois enfants. Elle s’appelle Alice. Il s’appelle To-To, il s’appelle Fru-Fru, il s’appelle.
Mon Émission Préféré: The Golden Girls
Moi, je change! Casandra St-Cyr.
Pour comprendre ce qui se cache derrière les mots
Sttaé-nuis pagnese Espagne lagoprtu Portugal crfane France Lebgieuq Belgique Allemagne Italie États-Unis Australie Angleterre Écosse.
S’adapter aux changements personnels et professionnels non choisis
Recherche & développement Expressions multimodales de caractéristiques anthropomorphiques d'un agent virtuel. Conception et évaluation dans le cadre d'une.
Introduction – Pour communiquer tout en français!
Fusion d’indices multimodaux
(audio, visage et geste) pour l'identification du locuteur et de ses
émotions dans les interactions homme-robot Doctorant:
Trois novembre deux mille dix
LES ÉMOTIONS. Les élèves de troisième année sont très émotionnels!
MINUTES DU LANGAGE 1- Je choisis un sujet
Le subjonctif Ses différents emplois. Le subjonctif COMMANDE / ORDRE COMMANDE / ORDRE Je veux que les étudiants… Elle interdit que… Le colonel ordonne.
Réaction affective brusque et momentanée, par exemple la peur ou la surprise.
Le début de la Fin La mort de chaque homme Début de la vie en dehors de Dieu faite de souffrance Non croyant Croyant en Jésus Christ Début de la vie en.
Transcription de la présentation:

+ Stéphanie BUISINE Yun WANG Jean-Claude MARTIN Synchronisation temporelle entre parole et expression faciale des ACAs

+ + 2 ✦ LIMSI, MerLIn, Centre Emotion UMR 7593 (J. Nadel, O. Grynszpan), etc. ✦ Animations ACAs pour apprendre aux personnes autistes à percevoir les émotions pour comprendre des situations quotidiennes. Contexte et origine de la problématique Projet Autisme

+ + 3 Contexte et origine de la problématique Conception des animations Méthodes Spécification de l’expression faciale Générer le fichier audio Générer le lipsync «Unmasking the faces» Ekman [97] «MindReading» ScénarioSpécificationIntégrationRendu Évaluation

+ 4 Spécification de l’expression faciale Générer le fichier audio Générer le lipsync + Goldwave ScénarioSpécificationIntégrationRendu Évaluation + Contexte et origine de la problématique Conception des animations Méthodes

+ 5 Spécification de l’expression faciale Générer le fichier audio Générer le lipsync ScénarioSpécificationIntégrationRendu Évaluation + Contexte et origine de la problématique Conception des animations Méthodes

+ 6 ScénarioSpécificationIntégrationRendu Évaluation + Contexte et origine de la problématique Conception des animations Méthodes

+ + 7 Contexte et origine de la problématique Conception des animations Problématique et protocole Comment doit-on synchroniser les expressions faciales avec la parole ? ✦ Cinq variantes de combinaison temporelle : ✧ expression avant parole ✧ expression en début de parole ✧ expression pendant parole ✧ expression en fin de parole ✧ expression après parole paroleexpression parole expression parole expression parole expression paroleexpression ✦ Trois dimensions à évaluer: L’efficacité: exactitude de décodage de l’expression faciale (performance) Le réalisme: ressemblance avec l’expression humaine La préférence: critères subjectifs

+ 8 ✦ 30 animations en ordre aléatoire ✧ question ouverte de décodage ✧ cotation de l’intensité (1 à 7) ✦ 23 participants non autistes ✦ 6 scenarios émotionnels: JOIE/ « Je suis ensuite allé regarder mon émission préférée. » DEGOUT/ « On nous sert des épinards. » SURPRISE/ « Mon train a 20 minutes de retard. » TRISTESSE/ « Je vais travailler tout le week-end. » PEUR/ « J’ai perdu le téléphone portable que j’avais emprunté à mon père. » COLERE/ « Charles m’a fait une blague en cachant mon livre. » + Contexte et origine de la problématique Conception des animations Problématique et protocole ✦ 6 groupes de cinq animations ✧ cotation du réalisme (1 à 7) ✧ un choix de préférence

+ 9 + Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Reconnaissance ✦ Effet du mode de synchronisation sur la performance de reconnaissance F(4/420)=5.92 ; p< Significativement meilleure (p=0.05) La moins bonne (p=0.025)

✦ Interaction synchronisation * émotion F(4/420)=2.41 ; p< Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Reconnaissance

La plus intense (p=0.011) ✦ Effet du mode de synchronisation sur la perception de l’intensité des émotions F(4/420)=2.89 ; p= Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Intensité

La plus réaliste (p<0.001) ✦ Effet du mode de synchronisation sur le réalisme F(4/420)=24.19 ; p< La moins réaliste (p=0.008) Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Réalisme

✦ Effet du mode de synchronisation sur la préférence F(4/420)=25.87 ; p<0.001 et interaction avec l’émotion F(20/420)=1.87= ; p= Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Préférences

+ 14 ✦ La performance de reconnaissance n’est liée ni au réalisme de l’animation ni à la préférence de l’utilisateur. Temps - Intensité 0- Réalisme 0-++ Préférence ReconnaissanceTempsIntensitéRéalisme + Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Corrélations

Contexte et origine de la problématique Conception des animations Problématique et protocole Résultats Conclusion EmotionRecommandationA éviter Joie Expression pendant la parole, accentuée à la fin Expression avant la parole Dégoût Expression pendant la parole, accentuée à la fin Expression en début de parole Surprise Expression avant ou plutôt en début de parole Expression après la parole Tristesse Expression pendant la paroleExpression en fin de parole Peur Expression pendant la parole, accentuée à la fin Expression avant la parole Colère Expression pendant la parole, Accentuée au début Expression après la parole ✦ Stratégies différentes selon que l’on privilégie performance ou réalisme. ✦ Guide d’animation synthétique conciliant le maximum de résultats :

+ + Bibliographie associée 16 ✦ Modèle « expression pendant parole » généralement adopté. ✧ Au niveau des unités porteuses de sens (mots ou pauses). [Cassell et al. (1994), Pelachaud et al. (1996), King & Parent (2003)] ✧ Au niveau des tours de parole. [De Rosis et al., 2003] ✦ Le maintien de l’expression dans le temps est un des facteurs modulant l’expressivité faciale. [Pelachaud (2005)]  résultats concordants ✦ La dynamique de l’expression dépend du type d’émotion (ex: évaluation de la surprise arrive tôt). [Ekman (2003), Scherer (2000)] ✦ Dissociation entre réalisme et évaluation subjective. [Mori (2005) « Uncanny Valley », Groom et al., 2009]  résultats discordants ✦ Autres ??? parole expression

+ MERCI ! 17