La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Prototype dagent émotionnel pour le dialogue Luca Bisognin Sylvie Pesty

Présentations similaires


Présentation au sujet: "Prototype dagent émotionnel pour le dialogue Luca Bisognin Sylvie Pesty"— Transcription de la présentation:

1 Prototype dagent émotionnel pour le dialogue Luca Bisognin Sylvie Pesty Equipe MAGMA/ Laboratoire Leibniz

2 Présentation 1. Motivations 2. Qu est-ce qu une émotion? 3. Pourquoi modéliser les émotions dans le traitement du dialogue? 4. Comment modéliser les émotions? 1. Indices 2. Critères 3. Mécanisme d évaluation (modèle OCC) 5. Aspects architecturaux 1. Agent Conversationnel 2. Agent Conversationnel Emotionnel 3. Rapprochement architectures BDI 6. Perspectives et Conclusion

3 Motivations (PhD Guillaume Chicoisne) : (PhD Guillaume Chicoisne) : recherche sur la dynamique du dialogue recherche sur la dynamique du dialogue développement dun agent conversationnel développement dun agent conversationnel (PhD Patricia Jaques) : (PhD Patricia Jaques) : recherche sur la modélisation affective dun apprenant dans un EIAH recherche sur la modélisation affective dun apprenant dans un EIAH développement dun agent pédagogique expressif développement dun agent pédagogique expressif (contrat RIAM Luca Bisognin): (contrat RIAM Luca Bisognin): recherche sur la modélisation dun agent cognitif émotionnel pour le traitement du dialogue recherche sur la modélisation dun agent cognitif émotionnel pour le traitement du dialogue

4 Quest-ce quune émotion? 2 dimensions 2 dimensions Expressive (liée aux modifications physiologiques) Expressive (liée aux modifications physiologiques) Cognitive (attention, contrôle, motivation, décision, action) Cognitive (attention, contrôle, motivation, décision, action) 5 caractéristiques (Scherer 2000) : 5 caractéristiques (Scherer 2000) : Dépendance temporelle Dépendance temporelle Variabilité quantitative et qualitative (« appraisal ») Variabilité quantitative et qualitative (« appraisal ») Effets physiologiques et expressifs Effets physiologiques et expressifs Réactivité : signal dautrui ou de son propre corps Réactivité : signal dautrui ou de son propre corps Rationalité : cause et but Rationalité : cause et but Exemples : joie, tristesse, colère, peur, surprise, … Exemples : joie, tristesse, colère, peur, surprise, … Quels rôles dans le traitement du dialogue?

5 Pourquoi modéliser les émotions dans le traitement du dialogue? Elles contribuent au sens dun message en ouvrant une Elles contribuent au sens dun message en ouvrant une « fenêtre » sur les intentions de linterlocuteur Que je suis content de vous voir! Oh ça oui!

6 Pourquoi modéliser les émotions dans le traitement du dialogue? Elles orientent le déroulement du dialogue Elles orientent le déroulement du dialogue (cf. R. Bertrand & al., R.Vion & al.) Evénement prostration dénégation verbalisation de lémotion évaluation diversioncompassion/souhaits questionnementrationalisationbanalisation Temps du dialogue

7 Comment modéliser les émotions? Préciser les dimensions de lobjet qui vont donner lieu à une mesure, les indicateurs (manifestations) des émotions et les techniques de mesure. Manifestations des émotions : expressions faciales, gestes, tendances à l action, expression et contrôle des émotions dans la parole (prosodie), réponses physiologiques, etc… Dimensions : Activation (stimulation) élevé valence positif Mais autres dimensions? Émotions de base Intensité ? négatif faible

8 Comment modéliser les émotions? Dimension expressive Dimension expressive Support « incarné » (cf. embodied agents) Support « incarné » (cf. embodied agents) Traitement de la multimodalité Traitement de la multimodalité Dimension cognitive Dimension cognitive Mécanismes dinterprétation (quels indices?) Mécanismes dinterprétation (quels indices?) Mécanismes de décision (quels critères?) Mécanismes de décision (quels critères?) Notre étude porte essentiellement sur la dimension cognitive

9 Indices émotionnels Certains indices dordre physiologique et expressifs Certains indices dordre physiologique et expressifs pigmentation de la peau, rythme respiratoire pigmentation de la peau, rythme respiratoire Plusieurs indices dordre physionomique Plusieurs indices dordre physionomique traits du visage, regard, posture traits du visage, regard, posture Des indices prosodiques Des indices prosodiques ton, timbre, rythme de la voix, etc… ton, timbre, rythme de la voix, etc… Tous les indices verbaux possibles Tous les indices verbaux possibles indices lexicaux, morphologiques, syntaxiques, sémantiques et pragmatiques indices lexicaux, morphologiques, syntaxiques, sémantiques et pragmatiques

10 Indices verbaux Les émotions à tous les étages Les émotions à tous les étages sémantique syntaxique phonologique lexical morphologique Ton, timbre, rythme de la voix Lemmes à dénotation affective Hypocoristiques, diminutifs, etc… Phrase expressive : « Délicieux, ce café. » Verbes psychologiques, etc… Procédés danti-orientation (mais)

11 Critères de décision En local : En local : fonction de létat interne de lagent En global : En global : fonction de la régulation affective dans le dialogue Décision guidée par une évaluation émotionnelle (« appraisal »)

12 Le modèle dOrtony, Clore & Collins (1989)

13 Un agent conversationnel : Un agent situé dans le temps du dialogue : ajout de mécanismes dinterprétation et dexpression en contexte gestion dun focus conversationnel par lagent : image dun objet commun entre interactants (type du dialogue, objectif et thème, relation sociale,…) double mécanisme de régulation du dialogue: régulation locale à léchelle de quelques énoncés mécanisme basé sur des attentes régulation globale à léchelle du dialogue mécanisme basé sur le focus caractère adaptatif et rationnel de lagent

14 Agent Conversationnel (vision densemble) Environnement Interprétation Expression Formalisation Texte Traits du visage Postures Enonciation Texte Traits du visage Postures Intégration Multi-modale Répartition Multi-modale Chaîne de traitement des entrées Chaîne de traitement des sorties Raisonnement (gestion conversationnelle)

15 Environnement Agent Conversationnel Emotionnel (une vision densemble) Interprétation Expression Formalisation Texte Traits du visage Postures Enonciation Texte Traits du visage Postures Intégration Multi-modale Répartition Multi-modale Chaîne de traitement des entrées Chaîne de traitement des sorties prime- évaluation (appraisal) Réaction (émotions primitives) circuit bottom-up circuit top-down Raisonnement Gestion conversationnelle

16 Agent rationnel (une vision densemble) perception - > B raisonnement -> D, I, π execution de π entrées sorties Agent senseurs effecteurs Environnement physique et social

17 Agent émotionnel (un prototype darchitecture) Perception Contrôleur de Stimulus Génération de Croyances et Révision Reconnaissance de situation Contrôleur de Situations Attendues (Attentes) Planification et Ordonnancement (Focus) Action Environnement Génération Texte Traits du visage Postures Texte Traits du visage Postures

18 Perspectives de déploiement 1. Implémentation de lagent conversationnel 1. Decodage/encodage des modalités gestuelles, faciales et posturales 2. Suivi du dialogue par focus à compléter 2. Implémentation du traitement des indices émotionnels (MAGMA) 3. Caractérisation des phases de régulation affective dans le dialogue 4. Implémentation des mécanismes d évaluation émotionnelle (en cours) 5. Implémentation d un agent animé expressif (Galilea/Virtual Actors)

19 Perspectives applicatives Augmentation du réalisme Augmentation du réalisme jeux vidéos (autonomie des personnages non joueurs, dialogue naturel avec le joueur, projet RIAM Galilea/Virtual Actors…) jeux vidéos (autonomie des personnages non joueurs, dialogue naturel avec le joueur, projet RIAM Galilea/Virtual Actors…) Amélioration de lergonomie Amélioration de lergonomie applications bureautiques (compagnons) applications bureautiques (compagnons) « Optimisation » de leffet pédagogique « Optimisation » de leffet pédagogique Piaget : « laffectivité motive lactivité intellectuelle et lintérêt » Piaget : « laffectivité motive lactivité intellectuelle et lintérêt »

20 Conclusions Lémotion : nouveau paradigme? Lémotion : nouveau paradigme? Reconsidération de la rationalité (Brooks, Harnad) Reconsidération de la rationalité (Brooks, Harnad) Prise de décision et Emotion (Damasio, 1994) Prise de décision et Emotion (Damasio, 1994) Affective Computing (R. Picard, MIT, 1995) Affective Computing (R. Picard, MIT, 1995) Formalisation d architectures BDI+E?

21 Bonus Une démo ?


Télécharger ppt "Prototype dagent émotionnel pour le dialogue Luca Bisognin Sylvie Pesty"

Présentations similaires


Annonces Google