Dorel Gorga TECFA – mémoire DESS WINE (Web INtelligent Emotion) : un modèle d’un système émotionnel intelligent Développement d’un agent émotionnel au sein d’une plateforme de type PostNuke. Bonjour à toutes et à tous, Je me réjouis de me joindre à votre groupe de recherche pour vous présenter mes travaux réalisés dans le cadre du mémoire de DESS – le diplôme STAF. Vos opinions, vos remarques et surtout vos questions sont très importantes pour moi car je pourrais ainsi améliorer le modèle proposé dans cette présentation. WINE est un modèle conceptuel d’un système multi agent émotionnel intelligent. Plus particulièrement, il s’agit du développement d’un agent émotionnel animé utilisé à but pédagogique et intégré dans un portail de type PostNuke. Dorel Gorga TECFA – mémoire DESS 6 juin 2005

Structure de la présentation ------------------------------------------------------------------------------------------------------ Présentation conceptuelle du modèle Objectifs Clarifications conceptuelles: émotion, motivation, système tuteur intelligent, agent pédagogique, agent pédagogique animé Architecture et fonctionnalités du modèle Limitations conceptuelles et techniques Présentation de la réalisation pratique d’un module affectif Architecture et fonctionnalités de l’agent implémenté Démonstration de la Version 0.1 La présentation est structuré en deux partie: Dans la première partie, je vais présenter brièvement le modèle du point de vue conceptuel. Je présenterai donc: Les objectifs du modèle Quelques clarifications conceptuelles (système tuteur intelligent, agent pédagogique, agent pédagogique animé, émotion. motivation) L’architecture et les fonctionnalités du modèle Les limitations techniques et conceptuelles du modèle La deuxième partie est consacrée à la réalisation pratique de l’agent émotionnel animé comme un module intégré dans une plateforme de type portail PostNuke. Cette partie prendra fin avec une simulation de l’agent émotionnel implémenté. 6 juin 2005

Objectifs ------------------------------------------------------------------------------------------------------ WINE agit sur la qualité de la communication dans un dispositif de formation à distance: la détection et l’évaluation des états émotionnels la simulation ou la représentation des émotions (développées dans le contexte des systèmes informatisés) Objectifs: identifier l’état émotionnel de l’étudiant selon sa personnalité et son activité d’apprentissage dans l’environnement générer une interface correspondant à une émotion. produire un état émotionnel optimal de la plate-forme induire un état cognitif positif permettant de maximiser la performance de l’étudiant Il y a deux manières principales qui font que le modèle WINE agisse sur la qualité de la communication dans un dispositif de formation à distance: la détection et l’évaluation des états émotionnels la simulation ou la représentation des émotions (développées dans le contexte des systèmes informatisés) Il doit ainsi identifier l’état émotionnel de l’étudiant selon sa personnalité et son activité d’apprentissage dans l’environnement, conformément à la stratégie éducative adoptée par l’enseignant Le but est de fournir à la machine la perception de l'état émotionnel de l'utilisateur, ce qui conduira à générer une interface correspondant à une émotion Il doit produire un état émotionnel optimal de la plate-forme tout en induisant ainsi un état cognitif positif permettant de maximiser la performance de l’étudiant Plus particulièrement, mon objectif est de produire une entité visuelle émotionnelle, capable à la fois d’encadrer, d’évaluer et de réagir au travail de l’étudiant. 6 juin 2005

Émotion et ordinateur Affective computing (R. Picard, 1999): ------------------------------------------------------------------------------------------------------ Affective computing (R. Picard, 1999): Les émotions améliorent les performances des ordinateurs; Les ordinateurs acquièrent la capacité de reconnaître et d’exprimer des émotions (mais ils ne les éprouvent pas) Système émotionnel de l’ordinateur (R. Picard, Affective computing, 1997) transmet l’idée d’émotion a des réponses émotionnelles génère sciemment des émotions présente des expériences émotionnelles interagit avec d’autres procès Dans le domaine de recherche appelée affective computing on cherche à utiliser des émotions pour améliorer les performances des ordinateurs. En effet, Picard (1999), suggère que nous devrions donner aux ordinateurs la capacité de reconnaître et d’exprimer des émotions, afin de réduire la frustration de l’utilisateur, de permettre une communication plus facile des émotion et d’améliorer l’ensemble des relations homme machine ((Les critères de reconnaissance d’un ordinateur qui peut reconnaître et exprimer l’émotion (Rosalind Picard, Affective computing, 1997, page :55): Input : reçoit une grande variété des signaux d’entrée (par exemple : le visage, la voix, les gestes, la position, la manière de marcher, respiration, pression du sang, électrocardiogramme, etc.) - Reconnaissance de model (« patern recognition ») - Raisonnement - Apprentissage - Assume les biais (les influences et les confusions) - Résultats)) Les composants d’un système émotionnel Un ordinateur qui exprime l’émotion se caractérise par les 5 composants suivants (Rosalind Picard, Affective computing, 1997, page :70): Le comportement du système induit (transmet l’idée) d’émotion. Le système a des réponses émotionnelles rapides à certains inputs. Le système peut générer sciemment des émotions, tout en reconnaissant certaines situations comme : les buts les standards les préférences les attentes Le système peut présenter des expériences émotionnelles et plus particulièrement : évaluation cognitive évaluation psychologique sentiments subjectifs Le système des émotions interagit avec d’autres procès qui imitent les fonctions humaines et physiques  : 6 juin 2005

Modèles de l’émotion Le modèle OCC ------------------------------------------------------------------------------------------------------ Le modèle OCC (Ortony, Clore et Collins. The cognitive structure of emotions, 1988). Les émotions (22) sont la conséquence de certaines processus d’évaluation cognitives (les événements et leurs conséquence, actions des agents, l’aspect des objets) L’intensité des émotions variera en fonction du désir, de la réalisation (l’effort investi), du mérite, de l’attrait Modèle susceptible d’être implanté à l’aide de l’ordinateur Exemple: détecter les émotions de joie / détresse et de satisfaction / déception de l'étudiant Déterminer les buts de l'étudiant afin d’évaluer si les événements sont souhaitables selon ces buts Déterminer si l'étudiant est heureux ou contrarié suite à l’occurrence de ces événements et si la perspective est confirmée ou pas. Parmi les nombreux modèles basés sur la théorie cognitive d’émotions de Orthony, Clore et Collins, j’ai choisi leurs propre modèle sur les émotions, abrégée OCC. Il est constitué par la description des différentes émotions dues à des différents processus cognitifs et qui se regroupent autour de trois sujets: les événements et leurs conséquence (la manière de percevoir les événements produits qui sont évalués s'ils favorisent ou contrecarrent les buts et préférences de l’intervenant , les actions des agents (anthropomorphiques, zoomorphiques, des objets inanimé ou abstractions, comme institutions,etc) sont évaluées selon leurs obéissance aux normes sociales, morales, ou comportementales. les objets sont évalués et identifiés selon la compatibilité de leurs attributs avec le goût et attitudes de l’utilisateur. Ce modèle permet d’être facilement exprimé dans un langage de programmation. Par exemple, une personne qui achète une voiture qui provoque beaucoup de problèmes attribue à la voiture ses propres malheurs en la blâmant. En faisant ceci, il traiterait la voiture comme agent, plutôt comme objet. Dans le traitement comme agent, il désapprouverait ; dans le traitement comme objet, il détesterait. Exemple: Pour détecter l’émotions de joie / détresse et de satisfaction / déception de l'étudiant, tous les événements de l’environnement de formation seront évaluées en fonction de leurs caractère souhaitable pour l’étudiant et en fonction de la motivation de celui-ci. 6 juin 2005

La motivation ------------------------------------------------------------------------------------------------------ La motivation a un rôle important dans l'éducation, elle stimule les besoins, les intérêts, les désirs et les attitudes particulières et elle est directement influencée par des émotions (Vygotsky, 1962). Les orientations motivationnelles Orientation vers la tâche ou le but d’apprentissage un étudiant poursuit un but d’apprentissage pour apprendre et pour développer ses connaissances Orientation vers soi-même ou le but de performance un étudiant poursuit un but de performance pour démontrer ses compétences, en particulier pour faire mieux que ses camarades. La motivation et l’émotion sont deux mots dérivés du latin « movere » qui signifie « bouger » « mouvoir » J’ai retenu la définition de Vygotsky qui souligne le rôle important de la motivation dans l’éducation, en remarquant le fait que la motivation stimule les besoins, les intérêts, les désirs et les attitudes particulières et elle est directement influencée par les émotions : Les orientations motivationnelles sont décrites en fonction du comportement de l’étudiant face à une tâche d’apprentissage. Globalement elles expriment trois attitudes de l’étudiant à l’égard de son activité: orientation vers la tâche ou le but d’apprentissage Un étudiant poursuit un but d’apprentissage pour apprendre et pour développer ses connaissances orientation vers soi-même ou le but de performance Un étudiant poursuit un but de performance pour démontrer ses compétences, en particulier pour faire mieux que ses camarades. J’ai retenu les deux premières orientations motivationnels qui ont un impact significatif sur l’analyse d’émotions 6 juin 2005

Système tuteur intelligent (STI) - 1 ------------------------------------------------------------------------------------------------------ Les nouveaux systèmes tuteurs intelligents devraient être dotés de l’intelligence émotionnelle. « L’intelligence émotionnelle désigne notre capacité à reconnaître nos propre sentiments et ceux des autres, à nous motiver nous-mêmes et à bien gérer nos émotions en nous-mêmes et dans nos relations avec autrui » (Daniel Goleman, Working with emotional intelligence, 1998) déterminent les émotions qui favorisent l’apprentissage créent un environnement d’apprentissage sensitif du point de vue émotionnel La vision multi agent d’un STI permet de créer des agents intelligents qui montrent des émotions à d'autres agents qui communiquent avec eux dans le même environnement virtuel de voir ces sous-systèmes comme des agents dédiés à la reconnaissance, la gestion, la simulation ou la représentation des émotions. Quelques considérations sur le concept du système tuteur émotionnellement intelligent « L’intelligence émotionnelle désigne notre capacité à reconnaître nos propre sentiments et ceux des autres, à nous motiver nous-mêmes et à bien gérer nos émotions en nous-mêmes et dans nos relations avec autrui » (Daniel Goleman, Working with emotional intelligence, 1998) 6 juin 2005

Système tuteur intelligent (STI) - 2 ------------------------------------------------------------------------------------------------------ Utilisateur Interface Control Domaine de base Stratégie d’enseignement Modèle cognitif de l’étudiant Architecture générale d’un système tuteur intelligent (Oliveira, 1994) Modèle cognitif de l’étudiant : Ce modèle contient les informations sur la représentation des connaissances de l'étudiant ,la spécification de ses objectifs, de ses intentions, de ses plans, et de ses attitudes. Il est utilisé pour déterminer les actions appropriées qui devraient être appliquées à l'étudiant. Domaine de base : contient le contenu de la formation que l’enseignant présentera à chaque l'étudiant. Stratégies d’enseignement : Ce sont les stratégies éducatives utilisées par l’enseignant dans le processus d’enseignement / apprentissage. Module de Contrôle: Le Module de Contrôle, basé sur l'information du Modèle cognitif de l‘étudiant, va choisir une stratégie éducative. En utilisant la stratégie adoptée, il choisit le matériel éducatif dans le module Domaine de base, pour contrôler le progrès de l’étudiant. Il présente à l'étudiant le matériel par le biais du module d'Interface. En prenant ainsi en charge l’information sur l'étudiant, il met à jour le Modèle cognitif de l‘étudiant, pour contrôler le progrès de celui-ci. Interface utilisateur : c'est la voie par laquelle l’enseignant communique avec l'étudiant. Dans le but de maintenir et mettre à jour le Modèle cognitif de l‘étudiant l’interface a les fonctions suivantes: - de présenter le matériel éducatif à l'étudiant - de contrôler le progrès et le comportement de celui-ci. Architecture générale d’un système tuteur intelligent (Oliveira, 1994) 6 juin 2005

Agent - Agent pédagogique ------------------------------------------------------------------------------------------------------ Qu’est qu’un agent ? système capable de percevoir l’environnement par des détecteurs et d’agir par des déclencheurs. (Russel et Norvig, 1995) Qu’est qu’un agent pédagogique? agents intelligents qui ont un rôle éducatif ou pédagogique et qui sont donc utilisés pour faciliter ou améliorer l‘enseignement / l’apprentissage. (Gürer, 1998) Typologie des agents pédagogiques: agents coopératifs qui travaillent dans la formation comme la partie de l'architecture du système éducatif agents personnels et animés qui interagissent avec l'utilisateur Le concept d’agent et d’agent pédagogique 6 juin 2005

Agent pédagogique animé ------------------------------------------------------------------------------------------------------ Les agents pédagogiques animés: agents pédagogiques qui utilisent la technologie d'agents synthétiques pour la présentation du contenu éducatif. Particularités de fonctionnement: utilisent des ressources multimédia pour fournir à l'utilisateur un personnage animé qui simule le comportement des personnages intelligentes vivantes. Rôle: rendent les agents plus attractifs aux étudiants ( Elliot; Brzezinski, 1998). augmentent la capacité de communication des systèmes éducatifs Dans mon projet de mémoire j’ai choisi de modeler un agent animé pour représenter l’état émotionnel sur le portail. Quelques considérations sur le concept d’agent pédagogique animé:…………………… Afin d’exemplifier mon modèle d’agent pédagogique émotionnel animé, j’ai choisi deux exemples, parmi la multitude présentés dans la littérature de spécialité. 6 juin 2005

Exemple d’agent pédagogique animé (1) ------------------------------------------------------------------------------------------------------ Adele (Agent for Distance Education - Light Edition) développé dans le Center for Advanced Research in Technology for Education de USC (University of Southern California) au U.S.A. utilisé dans les systèmes éducatifs de médecine travaille avec les étudiants (en médecine et en odontologie) parle à l'utilisateur par un synthétiseur vocal L’étudiant peut poser des questions à l’agent seulement par rapport aux scènes présentées puisque Adele n'a pas de mécanisme de traitement de langage naturel pour interpréter les questions de l’étudiant (par voie verbale ou tapée) Le personnage Adele 6 juin 2005

Exemple d’agent pédagogique animé (2) ------------------------------------------------------------------------------------------------------ Steve (Soar Training Expert for Virtual Environment) agent pédagogique animé et autonome construit pour aider les étudiants dans les cours de formation navale représenté par un personnage capable de démontrer des procédures par des gestes par communication verbale peut contrôler l‘apprentissage de l'étudiant pendant l'interaction avec l'environnement. communique avec l'étudiant en langage naturel en utilisant une voix synthétisée (développé par Entropic Research). Le personnage Steve 6 juin 2005

Le modèle WINE ------------------------------------------------------------------------------------------------------ Un système émotionnel intelligent qui applique des stratégies affectives vise à favoriser à l’étudiant une humeur positive stimule l'apprentissage fournie à l'étudiant un appui émotif afin de le motiver et de l’encourager Facteurs d’influence dans l’analyse de l’état émotionnel le profil affectif de départ l’orientation motivationnelle l’historique des actions réalisées avant l’apparition de l’émotion l’état cognitif l’évolution de l’émotion déjà reconnue le contexte social (apprentissage de type social ou collaboratif) Types d’émotions d’entrée : Joie, détresse, satisfaction, déception (implémenté) Gratitude, colère, fierté, honte (possible à implémenter) Ce travail propose l’implémentation d’un agent pédagogique animé qui fait partie d’un système émotionnel intelligent. Cet agent applique des stratégies affectives afin de favoriser à l'étudiant une humeur positive, de stimuler l'apprentissage et aussi bien de fournir à l'étudiant, un appui émotif, de le motiver et de l’encourager. Quelques facteurs qui peuvent influencer l’analyse de l’émotion : le profil affectif de départ l’orientation motivationnelle l’historique des actions réalisées avant l’apparition de l’émotion l’état cognitif l’évolution de l’émotion déjà reconnue le contexte social (apprentissage de type social ou collaboratif) Types d’émotions d’entrée : Joie, détresse, satisfaction, déception (implémenté) Gratitude, colère, fierté, honte (possible à implémenter) 6 juin 2005

Architecture WINE ------------------------------------------------------------------------------------------------------ Maintenant je propose une architecture possible d’un système multi agent émotionnel intelligent. un agent de reconnaissance émotionnelle avec deux fonctionnalités principales: un identificateur de personnalité et de reconnaissance émotionnelle un agent d’analyse du comportement observable de l’étudiant basé sur l’analyse des actions de l’étudiant sur l’environnement éducatif un agent pour produire un réponse émotionnel optimal et des stratégies affectives. Pour l’implémentation d’un agent sur un portail de type Post Nuke, j’ai choisi de construire le dernier agent mentionné: un agent pour produire une réponse émotionnelle optimale par rapport à l’état émotionnel de l’étudiant. Afin de le rendre opérationnel, je lui ai ajouté la partie concernant l’administration par l’enseignant des stratégies affectives qui déterminent le comportement de l’agent animé d’interface. J’ai tenté une simulation des liens qui devrait exister entre l’agent produisant l’état émotionnel et les autres agents de l’architecture. Pour limiter la quantité du travail, j’ai choisi la technologie «Microsoft Agent» en utilisant le langage de programmation VBscript. Je n’ai pas construit moi-même un personnage original. J’utilise donc un personnage prédéfini (Genie) qui permet d’être chargé en ligne depuis le serveur du Microsoft. 6 juin 2005

Agent de reconnaissance émotionnelle ------------------------------------------------------------------------------------------------------ Au début de l’interaction de l’étudiant avec le système on peut utiliser un questionnaire pour identifier le profil affectif, le style cognitif et l’orientation motivationnelle de l’étudiant afin de déterminer son état émotionnel. Les émotions sont déduites du comportement observable de l'étudiant en incluant ses actions dans l'interface de l’environnement de formation (l’historique de son activité). Les états affectifs de l‘étudiant peuvent influencer significativement le comportement de l‘étudiant dans le processus d’apprentissage Les états affectifs reconnus: joie (plaisir) / détresse satisfaction / déception 6 juin 2005

Agent de reconnaissance émotionnelle L’état émotionnel de l’étudiant ------------------------------------------------------------------------------------------------------ « Quels sont les états affectifs qui doivent être modelés dans une situations d’enseignement / apprentissage accompagnée par un agent pédagogique émotionnel?". Fondement théorique: le modèle OCC (Ortony, Clore et Collins. The cognitive structure of emotions, 1988). Ce modèle spécifie clairement la signification et la définition de chaque émotion décrite. L’état émotionnel à un moment donné peut être exprimé par une série de valeurs attribuées à chacune de ce types d’émotions groupés en couples contradictoire (joie – détresse, satisfaction – déception) pour évaluer l’intensité de l’émotion. Par conséquent, je vais tenter de répondre à la question suivante:…………………. Comme fondement théorique j’ai retenu le modèle OCC (Ortony, Clore et Collins. The cognitive structure of emotions, 1988). Ce modèle spécifie clairement la signification et la définition de chaque émotion décrite. L’état émotionnel à un moment donné peut être exprimé par une série de valeurs attribuées à chaque type d’émotions groupés en couples contradictoires (joie – détresse, satisfaction – déception). Par exemple, la crainte est un type d'émotion qui peut être manifesté avec une intensité variable, tels que le "souci" (moins effrayé), "effrayé", et "terrifié " (plus effrayé). Dans la littérature de spécialité, on note que les émotions comme la joie, la surprise, la confusion, la frustration et la satisfaction, par exemple, peuvent aider à contrôler les processus d‘apprentissage. Par conséquent, dans le portail, l'agent de reconnaissance émotionnelle devrait reconnaître: joie (plaisir) / détresse satisfaction / déception Les événements de l’environnement de formation seront évalués selon leur désirabilité et dans le respect des buts de l‘étudiant. Pour détecter la gratitude et la colère de l'étudiant , l'événement devrait être causé par l’agent lui-même (fonctionnalité qui n’est pas encore implémentée). La honte surgit quand l'événement est causé par l'étudiant lui-même. 6 juin 2005

Agent de reconnaissance émotionnelle Type d’émotion ------------------------------------------------------------------------------------------------------ Joie – détresse se produisent quand , pour un étudiant, l’événement est souhaitable ou non par rapport à ses buts la joie en tant que personne heureuse au sujet d'un événement souhaitable la détresse en tant que personne contrariée au sujet d'un événement indésirable Satisfaction – déception (frustration) se produisent quand l’étudiant a une confirmation ou non de la perspective d'un événement souhaitable la satisfaction surgit quand l’étudiant est satisfait s’il a la confirmation de la perspective d'un événement souhaitable la déception quand l’étudiant est contrariée s’il n’a pas la confirmation de la perspective d'un événement souhaitable. Joie – détresse se produisent quand , pour un étudiant, l’événement est souhaitable ou non par rapport à ses buts. Par exemple, pour un étudiant déterminé qui a le but de satisfaire le professeur et ses parents, l'obtention d'une bonne classification est un événement souhaitable. Le modèle de OCC définit la joie en tant que personne heureuse au sujet d'un événement souhaitable, et la détresse en tant que personne contrariée au sujet d'un événement indésirable. L'intensité des émotions de joie/détresse dépend principalement du degré en fonction duquel l'événement est souhaitable ou pas. Satisfaction – déception (frustration) se produisent quand l’étudiant a une confirmation ou non de la perspective d'un événement souhaitable La satisfaction surgit quand l’étudiant est satisfait si a la confirmation de la perspective d'un événement souhaitable et la déception quand l’étudiant est contrariée s’il n’a pas la confirmation de la perspective d'un événement souhaitable. L'intensité d'émotions de satisfaction / déception dépend également de désir de l'événement, de l'effort fait pour l'accomplissement de l'événement, et de la réalisation de l'événement (le degré avec lequel l'événement confirmé ou infirmé est réalisé). 6 juin 2005

Agent de reconnaissance émotionnelle La schéma d'identification de l'émotion --------------------------------------------------------------------------------------------------------------------------------------------------------- Les actions de l'étudiant dans l'interface du système. Questions pour mieux définir les émotions de l’étudiant Les réponses de l’étudiant Stratégies affectives On peut imaginer le scénario suivant: L'agent capte les actions de l'étudiant dans l'interface du système. Chaque action (ou jeu d'actions) peut indiquer plus qu'un état affectif Le système pose des questions à l'étudiant Au début de l’interaction pour identifier le profil affectif, le style cognitif, et l’orientation motivationnelle de l’étudiant Pendant l’interaction pour identifier et définir les différents degrés de l’état émotionnel de l’étudiant L'étudiant répond à la question de l'agent Finalement, le sous-agent déduit les états émotionnels de l'étudiant et va choisir la stratégie affective adéquate Par exemple, quand l'étudiant est déçu de sa performance, il renoncera probablement à la tâche. L'agent doit savoir quand l'étudiant est déçu pour l'encourager à continuer à étudier afin qu’il accomplisse la tâche. Scénario: L'agent capte les actions de l'étudiant dans l'interface du système (en tenant compte des facteurs qui peuvent influencer l’analyse de l’émotion). Dans certains cas, plusieurs actions sont nécessaires pour déduire l'émotion d'un étudiant. Chaque action (ou un ensemble d'actions) peut indiquer plus qu'un état affectif. Le système pose alors des questions à l'étudiant afin de définir plus exactement les états émotifs de l'étudiant ou même quand le système n'est pas sûr au sujet d'un état affectif déterminé. Les questions peuvent être de deux types : directes : « Êtes-vous déçu de votre travail? » indirectes : « Pensez-vous qu’il n’est pas possible de finaliser l’activité? » L'étudiant répond à la question de l'agent . (Par rapport aux questions que l'agent peut poser à l'étudiant pendant l'interaction, à cause des limites techniques dans le traitement du langage naturel dans l'interface je pense utiliser un ensemble d'expressions standard présentées sous forme de menus. Bien que la communication avec l'étudiant soit limitée, les réponses possibles offrent une modalité de construire des algorithmes capable d’identifier les états émotionnels de l'étudiant. )  En conclusion, l'agent va choisir la stratégie affective adéquate en tenant compte des états affectifs de l'étudiant. 6 juin 2005

Agent de reconnaissance émotionnelle Simulation d’action --------------------------------------------------------------------------------------------------------------------------------------------------------- Vu la nature dynamique des informations affectives de l'étudiant, je n’ai pas implémenté cet agent de reconnaissance émotionnelle J’ai simulé l’action de cet agent en utilisant comme auxiliaire un outil statique (un questionnaire liées au événement identifié par l’enseignant). Exemple pour le cas d’accomplissement de l’activité: Considérez-vous avoir investi beaucoup d'effort pour accomplir cette activité ? Est-ce que vous avez utilisé plus de temps que prévu pour répondre aux exigences de cette activité ? Cette activité vous a-t-elle intéressé d’une façon particulière ? Considérez-vous cette activité comme un défi dans l’apprentissage de nouvelles connaissances ? Est-il important pour vous d’améliorer votre classement par rapport à vos collègues ? Dans le portail, vu la nature dynamique des informations affectives de l'étudiant, je n’ai pas implémenté cet agent de reconnaissance émotionnelle (peut-être dans un développement plus élaboré). J’ai simulé l’action de cet agent en utilisant comme auxiliaire un outil statique (un questionnaire lié au événement identifié par l’enseignant). Les questions visent, d’une part, l’effort investi et le temps utilisé pour l’accomplissement de l’activité, et d’autre part, l’intéresse de l’étudiant pour l’activité pédagogique proposé à accomplir et sa orientation motivationnelle. 6 juin 2005

Agent d’analyse du comportement observable de l’étudiant ------------------------------------------------------------------------------------------------------ Les actions de l'étudiant dans l'interface du système Données statistiques (nombres de connexions, temps de connexion, pages visitées, etc.) L’analyse de commentaires (blogs, etc.) Le temps d'exécution de l’activité L’effort investi dans l’activité L’accomplissement ou non de l’activité La fréquence d'aide exigée Le deuxième composant du modèle Wine c’est l’agent d’analyse pour le contexte social, l’état cognitif, l’historique (il n’est pas implémenté) L’agent capte l'état affectif de l'étudiant à partir de son comportement observable. Donc, il poursuit les actions de l’étudiant dans l’environnement et génère des informations utilisées dans l’algorithme de reconnaissance de l’émotion et dans la simulation ou la représentation des émotions sur l’environnement virtuel d’apprentissage. Données statistiques (nombres de connexions, temps de connexions, pages visités, etc.) L’analyse de commentaires (blogs, etc.) le temps d'exécution de l’activité l’effort investi dans l’activité l’accomplissement ou non de l’activité la fréquence d'aide exigé 6 juin 2005

La stratégie affective Agent pour produire des états émotionnels optimales et des stratégies affectives ------------------------------------------------------------------------------------------------------ L’agent pédagogique animé présente des comportements émotionnels et des messages (qui correspondent à des stratégies affectives) La stratégie affective s’applique selon les états émotionnelles de l'étudiant. promeut des actions qui adaptent l’environnement de formation à l'état affectif de l'étudiant doit promouvoir à l'étudiant une humeur positive doit fournir à l'étudiant un appui émotionnel l’encourager le motiver le faire croire dans ses capacité, etc. L’agent émotionnel animé promeut des émotions positives à l'étudiant en présentant des comportements émotionnels et des messages, que j’ai appelé stratégies affectives, qui seront appliquées selon les états émotionnels de l'étudiant. La stratégie affective promeut des actions qui aspirent à adapter le système éducatif à l'état affectif de l'étudiant pour promouvoir une humeur positive à l'étudiant Ces stratégies ont ainsi le but de fournir l'appui émotionnel de l'étudiant : de l’encourager et de le motiver quand il est nécessaire, de le faire croire dans ses capacités, etc. (Pour améliorer la communication de l‘étudiant et de l'agent en considérant l'aspect affectif de l'interaction avec l'étudiant il est important de conceptualiser émotionnellement le processus d’enseignement / apprentissage: de définir des tâches en termes de buts spécifiques De définir des tâche et à court terme) A titre d’illustration, l’enseignant peut décider de présenter par le biais de l'agent des exemples faciles quand l'étudiant a des difficultés, pour augmenter sa confiance et pour lui montrer qu'il est capable à résoudre le problème. 6 juin 2005

Stratégies affectives (orientation vers la tâche) L’étudiant qui est intérieurement motivé est satisfait et joyeux avec l’accomplissement de l’activité, et il a besoin de maintenir sa motivation d’améliorer ses compétences et d’apprendre de nouvelles choses. En ce cas il s’agit d’un événement désirable qui provoque un sentiment de satisfaction. L'intensité de ces émotions dépend du degré de la désirabilité de l'événement, de l’effort déposé et du caractère inattendu de l'événement. S’il obtient de bons résultats avec un grand effort l’intensité est plus élevée. Pour l’événement « l’activité n’est pas accomplie », l’étudiant fait d’habitude des grands efforts (il est intérieurement motivé) et il n'a pas l'intention de faire moins d'effort, mais il a des difficultés à effectuer l’activité. En ce cas il s’agit d’un événement indésirable qui provoque un sentiment de déception et d’insatisfaction. L'intensité de ces émotions dépend du degré de réalisation et de la désirabilité de l'événement et du caractère inattendu de l'événement (mesuré par la performance actuelle de l’étudiant) . Legende : CPh – Comportement physique, CV – Comportement verbal (le texte affiché et parlé) 6 juin 2005

Stratégies affectives (orientation vers la performance) L'étudiant qui a de la motivation extrinsèque est toujours satisfait et heureux avec l’accomplissement de l’activité, parce que cela signifie une confirmation de ses capacités. Il est nécessaire de maintenir sa motivation par un fort encouragement puisque l’étudiant apprécie est a besoin des éloges de la part de l’agent S'il accomplissait l’activité correctement, il est important de savoir s'il a fait beaucoup d'effort Les étudiants deviennent plus satisfaits suite aux bons résultats obtenus quand ils ont fait moins d'effort puisque cela impliquerait, dans leurs vision, des capacités élevées. Mais, s'ils font beaucoup d’efforts, l’intensité de l’émotion est plus élevée puisque le fait d’avoir eu du succès compte beaucoup. En ce cas, l'événement est indésirable et obtient des émotions de détresse et de déception. Ces événements sont bien plus indésirables si l'étudiant fait un plus grand effort et s’il obtient une mauvaise classification, l’intensité de ces émotions est plus élevée. Legende : CPh – Comportement physique, CV – Comportement verbal (le texte affiché et parlé) 6 juin 2005

Discussion et perspectives ------------------------------------------------------------------------------------------------------ Ce travail représente une première étape vers le but plus ambitieux de créer les agents pédagogiques réalistes entièrement interactifs et entièrement expressifs. En quoi les ordinateurs, en intégrant des valeurs affectives, peuvent-ils, par exemple, améliorer la communication sur Internet ? Comment le concept d’intelligence émotionnelle pourrait-il être modélisé sur le web ? Quel rôle les agents peuvent-ils jouer dans la gestion de la frustration quand on utilise les nouvelles technologies ? Quelle aide peut apporter cette technologie dans l’atteinte de la satisfaction des besoins émotionnels? Le développement des stratégies éducatives: le modèle FEASP (Designing emotionally sound instruction) développé par Hermann Astleitner (2000) le modèle CEO (A Constructivist Emotionally-Oriented Model of Web-Based Instruction) développé par Robert J. MacFadden (2004) On peut élargir la discussion pour déterminer si l’utilisateur éprouve de la satisfaction, confiance, surprise, frustration, pour choisir / suivre des actions pédagogiques appropriées. Ce travail représente une première étape vers le but plus ambitieux de créer des agents pédagogiques réalistes entièrement interactifs et entièrement expressifs. Des nouvelles questions se posent: Le développement des nouvelles stratégies émotionnelles éducatives à partir des modèles d’apprentissage générant des émotions parmi lesquels je pense choisir les suivantes: le modèle FEASP (Designing emotionally sound instruction) développé par Hermann Astleitner (2000) Le modèle propose 20 stratégies éducatives pour accomplir du point de vue émotionnel la formation (visant à réduire les émotions négatives et à accroître les émotions positives) le modèle CEO (A Constructivist Emotionally-Oriented Model of Web-Based Instruction) développé par Robert J. MacFadden (2004) Prend comme point de départ les théories constructivistes de la formation Part de l’idée qu’il faut assumer certaines émotions négatives qui sont considérée comme partie intégrante de l’apprentissage Accent mis sur le développement des relations interpersonnelles et sur la perception d’un climat sûr de formation 6 juin 2005

Architecture et fonctionnalités d’agent implémenté (1) ------------------------------------------------------------------------------------------------------ Agent pour produire d’états émotionnels optimales et des stratégies affectives Configuration de l’agent animé Microsoft (le comportement physique et verbal) Simulation des événements dans l'environnement de formation qui produisent des émotions de satisfaction/déception et de joie/détresse (selon l’accomplissement ou non de l’activité) Configuration des stratégies affectives Simulation des autres sous-agents par le biais d’un questionnaire en deux parties: Trois questions pour identifier l’état émotionnel de l’étudiant (Agent de reconnaissance émotionnelle, Agent d’analyse du comportement observable) Deux questions pour déterminer l’orientation motivationnelle de l’étudiant (Agent de reconnaissance émotionnelle) Le module PostNuke développé pour l’implémentation de l’agent émotionnel inclut dans le modèle du système émotionnel intelligent WINE est partagé en trois parties: LA première: un générateur des stratégies affectives La deuxième: un agent Microsoft animé caractérisé par un comportement physique et verbal lié aux messages envoyé par les stratégies affectives adéquates à l'état affectif de l'étudiant La troisième: un simulateur des événements dans l'environnement éducatif qui identifient des émotions de satisfaction/déception et de joie/détresse et sur l’orientation motivationnel de l’étudiant. 6 juin 2005

Architecture du module PostNuke ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Utilisateur Agent Microsoft Interface Module contrôle Group - étudiants Comportement agent Stratégie affective Etat émotionnel Comportement agent Sous module pour introduire, modifier, effacer et construire le comportement physique et verbal de l’agent Microsoft animé État émotionnel Sous module pour définir les émotions reconnus par le modèle (description, intensité, etc.) Stratégie affectives Sous module pour construire les stratégies affectives (basées sur les informations de l’état émotionnel et le comportement possible de l’agent animé) qui sont transmises au agent animé Group – étudiant Sous module qui tient compte du groupe d’étudiants ou de l’étudiant auquel on attribue des stratégies affectives Module de contrôle Sous module avec plusieurs fonctions. Il reçoit les informations transmises par le portail, il gère la base de données, il assure la connexion entre tous les sous modules et avec l’agent Microsoft en lui transmettant les informations sur son comportement physique et verbal, il simule l’agent de reconnaissance émotionnelle par le biais d’un questionnaire qui assure l’interactivité avec l’étudiant. Agent Microsoft L'agent de Microsoft est une technologie qui permet de créer des interfaces conversationnelles en incorporant des personnages animés interactifs dans les applications. Les personnages peuvent gesticuler, se déplacer, parler et accepter des commandes vocales. Limitation: Il faut utiliser seulement le browser Internet Explorer et le SO Microsoft Windows. Agent pédagogique Base de données 6 juin 2005

Architecture et fonctionnalités du système implémenté (2) ------------------------------------------------------------------------------------------------------ Limitations techniques et conceptuelles (exemple) La détermination de l'intensité de l'émotion en fonction du comportement observable de l'étudiant est difficile et imprécise puisque elle dépend: du degré de désirabilité de l’événement de l'effort fait pour l'accomplissement de l‘activité de la réalisation de l'événement (le degré avec lequel l'événement réalisé est confirmé ou infirmé). Seulement deux degrés (haut et bas) pour l’intensité de l’émotion (pas encore implémenté) L’utilisation de l’agent animé Microsoft (attitude et voix synthétique) dépend du SO Windows L’gent de reconnaissance émotionnelle de l’étudiant (difficile d’implémenter) La détermination de l'intensité de l'émotion en fonction du comportement observable de l'étudiant est difficile et imprécise puisque elle dépend de l’identification : 6 juin 2005

Architecture et fonctionnalités du système implémenté (3) ------------------------------------------------------------------------------------------------------ Directions possibles de développement Les difficultés dues à la détection des émotions en fonction du comportement observable de l’étudiant peuvent être surmontées par l’insertion des senseurs physiologiques qui détectent des expressions corporelles des émotions. Cela est, pour l’instant, presque impossible d’appliquer sur le Web implémenter des comportements physiques d’un agent animé en utilisant la technologie Flash (facile à appliquer sur le Web) implémenter le comportement verbal avec des audio-clips (en format mp3) qui sont interprétés par l’agent animé (on peut résoudre les problèmes du manque d'intonation de la voix synthétique). 6 juin 2005

Simulation du travail pratique ------------------------------------------------------------------------------------------------------ L’étudiant doit se connecter sur le portail. Il n’y a pas des messages dans le bloc émotionnel si l’enseignant n’a pas choisi une stratégie appropriée à l’événement correspondant à l’activité réalisée par l’étudiant. L’enseignant va choisir une ou plusieurs stratégies correspondant à l’état émotionnel et à l’orientation motivationnelle de l’étudiant. Il y a un message de bienvenue de l’agent animé suivi d’un message correspondant à la stratégie choisie par l’enseignant. J’ai simulé la reconnaissance émotionnelle de l’état affectif de l’étudiant par le biais d’un questionnaire. Les réponses aux questions donnent des informations sur quelle stratégie doit être envoyée à l’agent animé. La stratégie devrait être activée préalablement par l’enseignant. 6 juin 2005