L’émotion dans les systèmes interactifs Domaines d’expérimentation : la danse & la réalité augmentée. 1

Conférence - Démonstration dansée Gaël Domenger, Centre Chorégraphique National - Thierry Malandain, Ballet Biarritz Alexis Clay, ESTIA, LaBRI, Université de Bordeaux. Elric Delord, ESTIA Nadine Couture, ESTIA, LaBRI Laurence Nigay, Université Joseph Fourier, LIG 2

Stress des pilotes pôle aérospace valley Managment mental Sport de haut niveau Ballet Augmenté Stress des pilotes pôle aérospace valley etc… 3

L’émotion est assez peu étudiée en IHM Capture Analysis Interpretation L’émotion est assez peu étudiée en IHM C’est pourtant, peut être, la part la plus Humaine de l’IHM ! L’émotion devrait être un élément clé de notre discipine qui étudie les Humains Interagissant avec les Machines. Emotion is finally quiet few stidied in HCI. Even if emotion is the perhaps most human part of HCI – emotion.This should be a key element of a discipline studying humans interacting with computers. Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 4

Différentes manières de l’aborder … notre approche : Capture Analysis Interpretation Différentes manières de l’aborder … notre approche : Le geste et la position du corps traduit un état affectif … Comment faire réagir le système informatique selon l’état affectif capturé ? Point de vue génie logiciel centré utilisateur ! Gesture : Expressive movement of a part of the body Conscious and unconscious position and movements of the body related to an affective state. Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 5

+ Capture Analysis Interpretation CARE is a French research project funded by the French research agency (ANR). The project brings together 7 partners, whose goal is to integrate, adapt and develop tools to enhance interactive systems devoted to cultural experiences. These enhancements are based on augmented reality and emotions. ESTIA French Research Agency GIPSA Immersion IRIT LIG LIMSI Metapages UTT Gesture : Expressive movement of a part of the body Conscious and unconscious position and movements of the body related to an affective state. Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 6

Démonstration de l’application

Emotion Caractéristiques Dispositifs INTERPRETATION ANALYSE CAPTURE Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Architecture à composants Composant: boîte noire. Définie par ses entrées, sorties (paramètres) Communication par flux de signaux entre composants Avantage: réutilisabilité des composants, modifiabilité du système Flux sortants paramètre Flux entrants Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Extracteurs de caractéristiques Capture Analyse Interprétation Extracteurs de caractéristiques Unités de Capture Interpréteurs Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 10

Composant interprétation Composant Capture Composant Analyse Composant interprétation Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 11

La reconnaissance d'émotion en tant qu'interaction Modalité := (d, sr) | (modalité, sr) Ex de SR: Coordonnées de mains: 2 * 6 degrés de libertés; coordonnées du corps complet, 23 segments <X, Y, Z, q1, q2, q3, q4> Système représentationnel: permet d’identifier les flux qu’il est possible de fusionner Composition des modalités: propriétés CARE Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Architecture de l’application

Représentation graphique IG NF CD IG NF Niveau Capture Niveau Analyse Niveau Interprétation Unités de capture Extracteurs de caractéristiques Interpréteurs PAC-Amodeus, A Software Architecture Model for Multimodal Systems, L. Nigay, 1993. Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Fonctionnement à l’exécution

Composant interprétation Composant Capture Composant Analyse Composant interprétation S.R. 2x coord S.R. 4 caracs Pol Arm Vert Speed Interp S+F SagX emotion 1 2 SagN Connection du polhemus Moven Trunk The contribution of general features of body movement to the attribution of emotions, deMeijer, 1989 Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Composant interprétation Composant Capture Composant Analyse Composant interprétation S.R. Corps S.R. 5 caracs Pol Arm Vert Speed Interp S+F SagX emotion 1 2 SagN Connection Moven avec le Polhemus Moven Trunk Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Composant interprétation Composant Capture Composant Analyse Composant interprétation Pol Arm Vert Speed Interp S+F SagX emotion 1 2 SagN Déconnection Polhemus Moven Trunk Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Composant interprétation Composant Capture Composant Analyse Composant interprétation Changement: Calcul sagittal Pol Arm Vert Speed Interp S+F SagX emotion 1 2 SagN Moven seule: changement manuel de calcul de direction sagittale Moven Trunk Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Réutilisabilité

Composant interprétation Composant Capture Composant Analyse Composant interprétation Pol Arm Vert Speed S+F SagX Interp2 SagN Moven Trunk Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Composant interprétation Composant Capture Composant Analyse Composant interprétation Pol Arm Vert Speed S+F SagX Interp2 SagN Moven Trunk Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Composant interprétation Composant Capture Composant Analyse Composant interprétation Pol Arm Vert Speed S+F SagX Interp2 SagN Moven Trunk Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Discussion: réutilisabilité des éléments Unités de capture: pleinement réutilisable Extracteurs de caractéristiques: condition des données en entrées Adaptateurs Interpréteurs: caractéristiques en entrée et format La synchronisation et la redistribution des flux de données n’est pas générique dans la version actuelle mais peut être rendue générique La fusion est par nature un système ad hoc. Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.

Questions? Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz.