face-à-face : application à la rééducation de sujets cérébro-lésés. Architecture pour l’animation de personnages virtuels présentant des comportements émotionnels dans un cadre de communication face-à-face : application à la rééducation de sujets cérébro-lésés. Morales Rodríguez ML., Pavard, B. {morales, pavard}@irit.fr GRIC – IRIT – UMR 5505 Objectifs Difficultés Hypothèses Produire des situations d ’interaction en univers virtuel qui génèrent une immersion sociale et émotionnelle entre patient et thérapeute. Contrôler expérimentalement le comportement émotionnel et interactionnel du thérapeute virtuel. Prendre en compte la dimension réflexive de l’interaction entre personnages animés par des humains et personnages autonomes. Obtenir des interactions humaines socialement et culturellement situées. Permettre des expressions indexicales et réflexives (mots, gestes). Immerger dans le contexte social et culturel toute activité pour être significatif. Déterminer le comportement global à partir des interactions locales. C’est le couplage fort entre perception et action des acteurs qui peut créer un sentiment d’immersion sociale. La qualité de l'interaction dépend de la crédibilité et de la cohérence de la gestualité des acteurs. Les actions effectuées dans l'environnement virtuel par l'utilisateur via son avatar sont équivalentes à celles qu’ il effectuerait dans le monde réel. Projet en collaboration avec l’Inserm Nous intégrons notre travail dans un projet de l’Inserm (PHRC) pour appliquer le paradigme de neurones miroir à la rééducation de sujets cérébro-lésés. Le projet a pour but de mettre au point un protocole de rééducation de l’extension active du poignet par réalité virtuelle, chez des sujets cérébro-lésés avec des exercices de type feedback « amélioré » (le patient voit sa performance d’extension du poignet meilleure que sa performance réelle). Ce protocole « amélioré » sera évalué sur plusieurs séances incluant pour chacune d’entre elle une IRM . Les résultats seront comparés à une autre séance « contrôle » avec feedback réel en temps réel. Application du paradigme de neurones miroir Session Virtuelle Thérapeute Virtuel : guide le patient dans ses exercices et éventuellement le corrige et le conforte dans son effort. Méthodologie Réorganisation du cerveau Patient : Effectue les exercices et visualise les gestes de son clone. Basée sur une analyse vidéo des interactions patient -kinésithérapeute réalisée lors de sessions de rééducation. Prise en compte des intentions, modes de communication et règles d’interactions sociales (gestes, activités corporelles, verbales et paraverbales). De cette analyse, nous concevons une architecture générique qui permet de modéliser le comportement émotionnel des personnages virtuels. Les protocoles de rééducation virtuels sont conçus sur la base des pratiques professionnelles. L’analyse des résultats est basée sur une comparaison entre les protocoles réel et virtuel (résultats fonctionnels et analyse de la reconfiguration des aires corticales par IRM. Exemple Fausse perception du mouvement Thérapeute V. « Faites ce mouvement avec votre main droite » Patient Réalise bien le mouvement Le système de RV reproduit le même mouvement en temps réel Thérapeute V. « Bien, …. Faites la même chose avec la main gauche » Patient Réalise un mouvement de faible amplitude RV réalise un mouvement amplifié de la main gauche Thérapeute V. Encourage le patient « Bien , encore, encore, c’est bien » Amplification virtuelle des mouvements de la main Capture des mouvements de la main Avatar Emotionnel Situé (Clone patient) Agent Conversationnel Animé (Thérapeute virtuel) Sujet Humain (Patient) (Thérapeute) Conception de la session Virtuelle Interaction Triadique, le patient voit en même temps son clone et le thérapeute virtuel Profil de personnalité Thérapeute Modèle Comportemental VIRTOOLS Texte Perception mouvements et voix Patient Modèle d’Interaction entre le modèle comportemental, Virtools et le module de perception Modèle Comportementale Perception et interprétation (Filtre et appraisal) Modèle Kinésique Expression Faciale et Regard Expression Corporelle et Posture Expression Gestuelle Modèle d’interaction sociale et émotionnelle Modèle d’interactions socioculturelles (Détermine influences et intensités du Contexte interne) Modèle Empathie (Dialogue, Proxémique) Modèle Cognitif (Activité Mental) Modèle Emotionnel (Emotion, Humeur, Stress) Exécution des animations Intégration et exécution des animations Animations Faciales Animations Corporelles Animations Gestuelles COMPORTEMENT Interlocuteur Faits significatifs Attitude CONTEXTE Sociodémographique Etat interne Physique Modèle de gestion du dialogue Echange des objectifs Tour de Parole Sélection de l’intention Acte de communication Evaluation Action Attendue Intention Contexte interne Personnalité Emotion Niveau d’empathie Humeur Niveau de stress Etat cognitif Contexte Physique Événements Objets Personnages Contexte Socio démographique Sexe Culture Statut Comportement de l’interlocuteur Interprétation du contexte interne de l’interlocuteur et son attitude Architecture d’animation Module de perception et d'interprétation Modèle des interactions socioculturelles Modèle d’ interactions sociales et émotionnelles Modèle kinésique Module d'exécution d'animations Modèle d’interaction social et émotionnel Emotion Empathie Etat Cognitif Stress Humeur Contexte Culture et Règles d’interaction Personnalité Sexe Statut Social Information et Régulation de l’interaction Influence (Intensité des relations) Interaction basée sur la perception de soi Identité Sociale Expression Faciale et Regard Expression Gestuelle Expression Corporelle et Posture Attitude Architecture d'animation et dynamique du comportement L'architecture d'animation identifie en temps réel l'expression du comportement la plus pertinent en fonction de l’intention de l’acte de communication (thérapeute - patient). L'architecture propose un paradigme d'interaction social et émotionnel. Nous appliquons une approche multidisciplinaire pour proposer un modèle d'interaction et un modèle de gestion de dialogue. Ce modèle génère une activité verbale et non-verbale qui commande le comportement du personnage. Dynamique d’échange de tours de parole et objectifs Acte de Communication Expression de l’intention 1 Si l’intervention n’est pas finie Attente Sollicitation Interruption 3 2 4 5 6 7 8 9 Acte de Communication thérapeute Guider Informer Donner ordres Feedback Interroger Informer (réponse) Corriger Blâmer Encourager Rassurer Interaction Politesse Bienvenu Au revoir 1 10 11 12 13 14 17 16 15 18 Acte de Communication du patient Gestion du dialogue Phases du dialogue: debout, échange de tours de parole et fin LOCUTEUR Valeurs initiales : Culture - Emotion – Attitude – Objectif - Intention Sélection de l’acte de Communication (Choix des phases du dialogue) et de l’action attendue Expression de l’acte de communication INTERLOCUTEUR Valeurs initiales : Culture - Emotion – Attitude – Objectif - Intention Sélection de l’objectif Evaluation du tour de Parole (possibilité de changer de locuteur) Sélection de l’intention (dans le cas ou l’objectif a été modifié et/ou en présence d’un haut niveau d’IE) Sélection de l’attitude (En présence d’un haut niveau d’IE et à la suite d’évaluations négatives exprimées successivement) Evaluation de l’action attendue et de l ’attitude de l’interlocuteur Mise à jour de l’attitude et génération de nouveaux états émotionnels Expression du choix de prise du tour de parole (Attente, interruption ou sollicitation) Evaluation de la demande et de l’attitude du locuteur Mise à jour de l’attitude et génération des nouveaux états émotionnels Evaluation du tour de parole : Attente, Sollicitation, Interruption ou Acte de parole Evaluation de l’action en cours Exécution des actions Exécution des animations du mouvemente (réel /amplifie) Prise de parole des actes de communication (En fonction du choix de phase du locuteur précédent) Gestion des changements de phase dans le dialogue Modèle d ’interaction sociale et culturelle (Influence le dialogue et le comportement émotionnel) Modèle d’interaction sociale et culturelle (Influence le dialogue et le comportement émotionnel)