Agent Animé Ambiant & Adaptatif Ning TAN, Jean-Claude MARTIN LIMSI / AMI / ACA Co-encadrement de thèse : Yacine BELLIK Je travaille sur un modèle d’agent animé ambiant adaptatif, mon directeur de thèse est JCM et YB. C’est une thèse financée dans le cadre du projet ATRACO et du projet OTIM. Projets FP7 ATRACO: intelligence ambiante ANR OTIM: corpus multimodaux

Objectif général Spécifier, implémenter et évaluer un agent animé capable d’adapter son comportement non-verbal dans des scénarios d’interaction ambiante

Méthodologie Spécification Validations corpus multimodaux tests perceptifs évaluations dans la pièce intelligente (iRoom) ***Le but de cette thèse est de modéliser, implémenter et évaluer un agent animé A4 (Agent Animé Ambiant Adaptatif) capable d’adapter l’interaction homme-machine à la situation dans des scénarios d’interaction ambiante (projet ATRACO). *** L’approche choisie est expérimentale via l’utilisation de corpus multimodaux (projet OTIM) pour spécifier le comportement de l’agent et des démarches de validation telles que les tests perceptifs et des évaluations dans la pièce intelligente.

Plan Etude de l’existant Spécification préliminaire de l’agent Méthodologie Perspectives

Etude l’existant

-Etude l’existant- Intelligence Ambiante Les challgences (Weiser 91’; Van Loenen 03’) « Invisibilité » « Intelligence » « Ubiquité » « Interaction naturelle » Environnements Intelligents Habitables  (Hagras 07’) Quels sont les facteurs issus des EIH pouvant impacter sur notre comportement non verbal? Objet Evénement Individu 1.Un domaine prometteur d'application pour les agents animés est par exemple celui de l'intelligence ambiante dans lequel l’utilisateur peut être assisté par un agent animé affiché sur le mur d’une pièce ou sur de différents dispositifs dans le but d’aider l’utilisateur dans ses tâches quotidiennes. Les challenges posés par les chercheurs du domaine peuvent être regroupé ici par 4 mot-clé représentatifs. Le premier principe l’invisibilité est de rendre la technologie invisible. Cette invisibilité est pas seulement l’invisibilité matérielle des objets informatiques, mais dans le sens où les technologies sont invisibles dans l’usage. L’intelligence se traduit par la contextualisation et la personnalisation des scénarios d’utilisation ou de surveillance. Un environnement intelligent sera capable de reconnaître des individus et de réagir à leur présence d’une manière discrète, non intrusive et souvent même invisible. L’intelligence ambiante est un des courant de l’informatique ubiquitaire, l’ubiquité est la caractéristiques fondamentale qui se traduit par de permettre l'accès aux mêmes ressources informatiques n'importe ou, a n'importe quel moment. Enfin c’est l’interaction avec l’environnement devrait naturelle, intuitive. Par exemple, utiliser le langage naturel ou des gestes de commandes. 2. l’intelligence ambiante est tres vaste, notre terrain d’application est spécifiquement focalisée sur les Intelligent inhabited environments qui sont des espaces pour vivre (généralement, l’espace devrait etre accessible et habitable pour les gens, par exemple les maisons, les bureaux, les hôpitaux, les voitures, etc. cet espace devrait également intégrer des agents intelligents ayant des fonctionnalités différentes. Espace accessible et habitable pour les gens Intégrer un nombre des agents intelligents dotés des fonctionnalités différentes. Quels sont les facteurs issus de l’IIEs pouvant impacter sur notre comportement non verbal? Ex. les aménagement des meubles dans une pièces affecte les comportements spatiaux des gens (Hall 96’)

-Etude l’existant- Agents animés adaptatifs peu utilisés dans l’ambiant Bruits environnementaux [Haya et al. 04’; Baldassarri et al. 08’) Intensité des mouvements de l’utilisateur (Miyawaki & Sano 08’) Expressions faciales de l’utilisateur (Hupont et al. 09’) peu explorés en termes de considérations des facteurs d’adaptation à la fois statiques et dynamiques Statique: Personnalité (Ibister et Nass 00’) les utilisateurs se sont amusés plus avec les agents dont les comportements non-verbaux correspondent à leur personnalité différente Actuellement, les agents virtuels interactifs sont limités en termes d’adaptativité. Par exemple, leur comportement n'est pas capable de s’adapter aux préférences de l’utilisateur ou à sa disponibilité. 1. Les situations actuelles des agents animés dans l’ambiant Les agents sont peu utilisés dans l’ambiant, et même s’ils sont utilisé, ils sont peu explorés en termes de In the Inhabited Intelligent Environment, the environmental factors that impinge on our transactions appear as, the furniture, interior decorating (colors, style), lighting conditions, temperature, additional noises or music, arrangements, materials, shapes or surfaces of objects in the interacting environment. For example, the arrangement of furniture in a room affects the spacing behavior of people in the room (Hall 1996).

-Etude l’existant- Corpus Multimodaux Terrains d’application Conception IHM: spécification des agents animés Recherches en Linguistiques, Psychologie (émotion, communication) Méthodologies Acté Orienté tâche Corpus écologique 1. Les corpus multimodaux sont generallement elicité par trois types de methodes Acted: Emotion display (Research subjects, emotions); Task-oriented, such as multiparty dialogs, with scripts or storytelling (Research subjects, linguistic features, turn management, feedback, non-verbal behavior, gaze, gesture, emotion displays) Ecological corpora, such as TV shows, news, interviews(Research subjects, Wide range of linguistic and non-verbal behavior).

-Etude l’existant- Corpus Multimodaux Schémas de codage Fonctions sémantiques Formes et dynamique de mouvements Requêtes sur les relations multimodales Outils d’annotation Anvil http://www.anvil-software.de/ Elan Les formes comprennent les mouvements de la tête, des yeux, des sourcils, des bras, des mains, des épaules, changements de postures

Spécification préliminaire des dimensions d’adaptation de l’agent

Critère d’adaptation statique -Spécification- Spécification préliminaire des dimensions d’adaptation de l’agent Critère d’adaptation statique Personnalité préférée agent animé ambiant adaptatif Comportements non verbaux pouvant faire l’objet d’adaptation Critères d’adaptation dynamiques postures Expressions non verbales de la personnalité gestes actes communicatifs localisation de l’utilisateur distance spatiale distance interpersonnelle disponibilité audio

-Spécification- critère d’adaptation Facteur statique Personnalité (Buisine & Martin 08’; Clavel & Martin 09’) Facteurs dynamiques Actes communicatifs que doit véhiculer l’agent Taxonomie DIT++ (Bunt 03’, 09’) Disponibilité audio de l’utilisateur (ex. si l’utilisateur est au téléphone, l’agent ne doit pas utiliser la parole) Localisation de l’utilisateur (et distance par rapport à l’agent) Buisine & Martin 2008 (influence of personality on information processing) Clavel & Martin 2009 (congruence of nonverbal cues does help the recognition of emotions) general-purpose communicative functions Information providing functions inform, confirm, warning dimensions-specific functions social obligation dimension welcome greetings, farewell greetings

Méthodologie

-Méthodologie- Schéma de codage des postures Conversation dyadique 4 parties (Bull 87’; Kipp 07’) Bras & mains Jambes & pieds Épaule Tronc Critères d’annotations Annoter les positions maintenant au moins 1 sec. Ne pas annoter s’il n’y a pas de nouvelles postures établies Ne pas annoter les membres si le corps reste en mouvement 15 minutes annotées This annotation specification is created to score postures for the corpora CID in which two sitting person talk in an informal way. Four main types of postures are taken into consideration as well as the human anatomic facts. The classifications are based on the Posture scoring System (Bull 1987) and the Annotation Scheme for Conversational Gestures (Kipp 2001). The criterion to annotate the posture is also adapted from the Posture Scoring System (Bull 1987) Any change in bodily position which is taken up and maintained for at least one second is considered notable. No arms or leg posture could be annotated until any visible movement had ceased for at least one second. Any changes without establishing a new posture but maintaining the previous will not be annotated.

-Méthodologie- Technologie d’agent animé Pas de génération multimodale dynamique: librairie d’animation Poser Spécification et conception manuelle d’animations à partir du corpus Sélection en fonction de paramètres contextuels

Perspectives Spécification des variations non verbales Gestes Postures Validation perceptive Animations poser extraversion / introversion Evaluation pièce intelligente (iRoom) Dimensions d’évaluation de l’adaptabilité Utilisabilité, satisfaction, influences sociales Combinaison dynamique d’animations : MARC (Courgeon et al. 09’)