La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Architecture pour lanimation de personnages virtuels présentant des comportements émotionnels dans un cadre de communication face-à-face : application.

Présentations similaires


Présentation au sujet: "Architecture pour lanimation de personnages virtuels présentant des comportements émotionnels dans un cadre de communication face-à-face : application."— Transcription de la présentation:

1 Architecture pour lanimation de personnages virtuels présentant des comportements émotionnels dans un cadre de communication face-à-face : application à la rééducation de sujets cérébro-lésés. Morales Rodríguez ML., Pavard, B. {morales, GRIC – IRIT – UMR 5505 Méthodologie Objectifs Architecture d'animation et dynamique du comportement Produire des situations d interaction en univers virtuel qui génèrent une immersion sociale et émotionnelle entre patient et thérapeute.Produire des situations d interaction en univers virtuel qui génèrent une immersion sociale et émotionnelle entre patient et thérapeute. Contrôler expérimentalement le comportement émotionnel et interactionnel du thérapeute virtuel.Contrôler expérimentalement le comportement émotionnel et interactionnel du thérapeute virtuel. Prendre en compte la dimension réflexive de linteraction entre personnages animés par des humains et personnages autonomes.Prendre en compte la dimension réflexive de linteraction entre personnages animés par des humains et personnages autonomes. Difficultés Obtenir des interactions humaines socialement et culturellement situées.Obtenir des interactions humaines socialement et culturellement situées. Permettre des expressions indexicales et réflexives (mots, gestes).Permettre des expressions indexicales et réflexives (mots, gestes). Immerger dans le contexte social et culturel toute activité pour être significatif.Immerger dans le contexte social et culturel toute activité pour être significatif. Déterminer le comportement global à partir des interactions locales.Déterminer le comportement global à partir des interactions locales. Hypothèses Cest le couplage fort entre perception et action des acteurs qui peut créer un sentiment dimmersion sociale.Cest le couplage fort entre perception et action des acteurs qui peut créer un sentiment dimmersion sociale. La qualité de l'interaction dépend de la crédibilité et de la cohérence de la gestualité des acteurs.La qualité de l'interaction dépend de la crédibilité et de la cohérence de la gestualité des acteurs. Les actions effectuées dans l'environnement virtuel par l'utilisateur via son avatar sont équivalentes à celles qu il effectuerait dans le monde réel.Les actions effectuées dans l'environnement virtuel par l'utilisateur via son avatar sont équivalentes à celles qu il effectuerait dans le monde réel. Projet en collaboration avec lInserm Nous intégrons notre travail dans un projet de lInserm (PHRC) pour appliquer le paradigme de neurones miroir à la rééducation de sujets cérébro-lésés.Nous intégrons notre travail dans un projet de lInserm (PHRC) pour appliquer le paradigme de neurones miroir à la rééducation de sujets cérébro-lésés. Le projet a pour but de mettre au point un protocole de rééducation de lextension active du poignet par réalité virtuelle, chez des sujets cérébro-lésés avec des exercices de type feedback « amélioré » (le patient voit sa performance dextension du poignet meilleure que sa performance réelle). Ce protocole « amélioré » sera évalué sur plusieurs séances incluant pour chacune dentre elle une IRM. Les résultats seront comparés à une autre séance « contrôle » avec feedback réel en temps réel.Le projet a pour but de mettre au point un protocole de rééducation de lextension active du poignet par réalité virtuelle, chez des sujets cérébro-lésés avec des exercices de type feedback « amélioré » (le patient voit sa performance dextension du poignet meilleure que sa performance réelle). Ce protocole « amélioré » sera évalué sur plusieurs séances incluant pour chacune dentre elle une IRM. Les résultats seront comparés à une autre séance « contrôle » avec feedback réel en temps réel. Basée sur une analyse vidéo des interactions patient - kinésithérapeute réalisée lors de sessions de rééducation.Basée sur une analyse vidéo des interactions patient - kinésithérapeute réalisée lors de sessions de rééducation. Prise en compte des intentions, modes de communication et règles dinteractions sociales (gestes, activités corporelles, verbales et paraverbales).Prise en compte des intentions, modes de communication et règles dinteractions sociales (gestes, activités corporelles, verbales et paraverbales). De cette analyse, nous concevons une architecture générique qui permet de modéliser le comportement émotionnel des personnages virtuels.De cette analyse, nous concevons une architecture générique qui permet de modéliser le comportement émotionnel des personnages virtuels. Les protocoles de rééducation virtuels sont conçus sur la base des pratiques professionnelles.Les protocoles de rééducation virtuels sont conçus sur la base des pratiques professionnelles. Lanalyse des résultats est basée sur une comparaison entre les protocoles réel et virtuel (résultats fonctionnels et analyse de la reconfiguration des aires corticales par IRM.Lanalyse des résultats est basée sur une comparaison entre les protocoles réel et virtuel (résultats fonctionnels et analyse de la reconfiguration des aires corticales par IRM. Profil de personnalité Thérapeute Modèle Comportemental VIRTOOLS Texte Perception mouvements et voix Profil de personnalité Patient Modèle dInteraction entre le modèle comportemental, Virtools et le module de perception Session Virtuelle Thérapeute Virtuel : guide le patient dans ses exercices et éventuellement le corrige et le conforte dans son effort. Patient : Effectue les exercices et visualise les gestes de son clone. Thérapeute V. «Faites ce mouvement avec votre main droite » Patient Réalise bien le mouvement Le système de RV reproduit le même mouvement en temps réel Thérapeute V.« Bien, …. Faites la même chose avec la main gauche » Patient Réalise un mouvement de faible amplitude RV réalise un mouvement amplifié de la main gauche Thérapeute V.Encourage le patient « Bien, encore, encore, cest bien » Exemple L'architecture d'animation identifie en temps réel l'expression du comportement la plus pertinent en fonction de lintention de lacte de communication (thérapeute - patient).L'architecture d'animation identifie en temps réel l'expression du comportement la plus pertinent en fonction de lintention de lacte de communication (thérapeute - patient). L'architecture propose un paradigme d'interaction social et émotionnel.L'architecture propose un paradigme d'interaction social et émotionnel. Nous appliquons une approche multidisciplinaire pour proposer un modèle d'interaction et un modèle de gestion de dialogue. Ce modèle génère une activité verbale et non-verbale qui commande le comportement du personnage.Nous appliquons une approche multidisciplinaire pour proposer un modèle d'interaction et un modèle de gestion de dialogue. Ce modèle génère une activité verbale et non-verbale qui commande le comportement du personnage. Avatar Emotionnel Situé (Clone patient) Agent Conversationnel Animé (Thérapeute virtuel) Sujet Humain (Patient) Sujet Humain (Thérapeute) Conception de la session Virtuelle Interaction Triadique, le patient voit en même temps son clone et le thérapeute virtuel Modèle Comportementale Perception et interprétation (Filtre et appraisal) Modèle Kinésique Expression Faciale et Regard Expression Corporelle et Posture Expression Gestuelle Modèle dinteraction sociale et émotionnelle Modèle dinteractions socioculturelles ( Détermine influences et intensités du Contexte interne ) Modèle Empathie (Dialogue, Proxémique) Modèle Empathie (Dialogue, Proxémique) Modèle Cognitif (Activité Mental) Modèle Cognitif (Activité Mental) Modèle Emotionnel (Emotion, Humeur, Stress) Modèle Emotionnel (Emotion, Humeur, Stress) Exécution des animations Intégration et exécution des animations Animations Faciales Animations Corporelles Animations Gestuelles COMPORTEMENT Interlocuteur Faits significatifs Attitude CONTEXTE Sociodémographique CONTEXTE Etat interne Physique Modèle de gestion du dialogue Echange des objectifs Tour de Parole Sélection de lintention Acte de communication Evaluation Action Attendue Intention Contexte interne Personnalité Emotion Niveau dempathie Humeur Niveau de stress Etat cognitif Contexte Physique Événements Objets Personnages Contexte Socio démographique Sexe Culture Statut Comportement de linterlocuteur Interprétation du contexte interne de linterlocuteur et son attitude Architecture danimation Module de perception et d'interprétation Modèle de gestion du dialogue Modèle des interactions socioculturelles Modèle d interactions sociales et émotionnelles Modèle kinésique Module d'exécution d'animations Dynamique déchange de tours de parole et objectifs Acte de Communicatio n Expression de lintention 1 Si lintervention nest pas finie Acte de Communication Expression de lintention Attente Sollicitation Interruptio n 1 Si lintervention nest pas finie Attent e Sollicitatio n Interruptio n Acte de Communication thérapeute Guider Informer Donner ordres Feedback Interroger Informer (réponse) Corrige r Blâmer Encourager Rassurer Donner ordres Interaction Politesse Bienvenu Au revoir Acte de Communication du patient Guider Informer Feedback Interroger Informer (réponse) Interaction Politesse Bienvenu Au revoir Capture des mouvements de la main Amplification virtuelle des mouvements de la main Réorganisation du cerveau Fausse perception du mouvement Application du paradigme de neurones miroir Modèle dinteraction social et émotionnel Emotion Empathie Etat Cognitif Stress Humeur Contexte Culture et Règles dinteraction Personnalité Sexe Statut Social Information et Régulation de linteraction Influence (Intensité des relations) Interaction basée sur la perception de soi Identité Sociale Expression Faciale et Regard Expression Gestuelle Expression Corporelle et Posture Attitude LOCUTEUR Valeurs initiales : Culture - Emotion – Attitude – Objectif - Intention Sélection de lacte de Communication (Choix des phases du dialogue) et de laction attendue Expression de lacte de communication INTERLOCUTEUR Valeurs initiales : Culture - Emotion – Attitude – Objectif - Intention Sélection de lobjectif Evaluation du tour de Parole (possibilité de changer de locuteur) Sélection de lintention (dans le cas ou lobjectif a été modifié et/ou en présence dun haut niveau dIE) Sélection de lattitude (En présence dun haut niveau dIE et à la suite dévaluations négatives exprimées successivement) Evaluation de laction attendue et de l attitude de linterlocuteur Mise à jour de lattitude et génération de nouveaux états émotionnels Expression du choix de prise du tour de parole (Attente, interruption ou sollicitation) Evaluation de la demande et de lattitude du locuteur Mise à jour de lattitude et génération des nouveaux états émotionnels Evaluation du tour de parole : Attente, Sollicitation, Interruption ou Acte de parole Evaluation de laction en cours Mise à jour de lattitude et génération des nouveaux états émotionnels Exécution des actions Exécution des animations du mouvemente (réel /amplifie) Prise de parole Expression des actes de communication (En fonction du choix de phase du locuteur précédent) Gestion des changements de phase dans le dialogue Modèle d interaction sociale et culturelle (Influence le dialogue et le comportement émotionnel) Modèle dinteraction sociale et culturelle (Influence le dialogue et le comportement émotionnel) Gestion du dialogue Phases du dialogue: debout, échange de tours de parole et fin


Télécharger ppt "Architecture pour lanimation de personnages virtuels présentant des comportements émotionnels dans un cadre de communication face-à-face : application."

Présentations similaires


Annonces Google