Assistance à l’interaction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet LIMSI-CNRS

Analyse et Modèles pour l’Interaction Assistance à l’interaction Analyse et Modèles pour l’Interaction 1. Modèles et outils pour l’interaction Visualisation interactive d’information Plasticité des interactions Agents conversationnels animés 2. Analyse et modèles des interactions Analyse des comportements et des émotions Analyse sémantique des usages Analyse des traces pour la socio-informatique

Visualisation interactive d’information Assistance à l’interaction Visualisation interactive d’information

Plasticité des interactions Assistance à l’interaction Plasticité des interactions Interaction dynamique Interaction contextuelle Interaction multimodale Approches de conception Modèles d’architecture Représentations de connaissances Outils logiciels Tournez à droite

Agents Assistants : applications Assistance à l’interaction Agents Assistants : applications Accueil Accueil des utilisateurs sur les applications et services en ligne Présentation de fonctionnalités et de procédures pour les applications et services en ligne Aide interactive Traitement de requêtes : questions sur la structure et le fonctionnement, commandes, contrôle à distance Médiation avec des apprenants : apprentissage humain, scolarisation, entrainement, aide aux handicaps Médiation sociale Dialogues : Chatbots, conversations artificielles de type Eliza Collectifs : Mondes mixtes humains/agents, avatars, jeux de rôles

Trois niveaux de personnages Assistance à l’interaction Trois niveaux de personnages GRETA (Pélachaud Paris 8) STEVE (Rickel et al USC) VTE (Gratch et al USC) Têtes Parlantes Fixes Lip Synch Dialogue Emotions Agents Déictiques Fixes - bras mobiles Référence Extensionnelle Tutorat - Explications Emotes Agents In Situ Personnages mobiles Réalité Virtuelle et augmentée Training - Action

Agents : Dialogiques – Rationnels - Animés Assistance à l’interaction Agents : Dialogiques – Rationnels - Animés Représentation Symbolique Usager novice Agent Assistant Composant

Assistants de composants Java Assistance à l’interaction Assistants de composants Java

Assistants de sites web : GT ACA Assistance à l’interaction Assistants de sites web : GT ACA

Action Incitative « Tête Parlante » Assistance à l’interaction Action Incitative « Tête Parlante » Action incitative intergroupe : AMI-PS-LIR Application : Agent Assistant pour la Recherche d’Information Outil permettant des études perceptives : audio, graphique, émotions, … Audio 3D : synthèse sensible aux mouvements de tête Interpolation graphique entre expressions en temps-réel Poser 5

Texte  Parole 3D Texte à partir de RITEL (LIR) Assistance à l’interaction Texte  Parole 3D Texte à partir de RITEL (LIR) « Bonjour et bienvenue »  bOZur" e bjIvny" Phonème  visème pour l’animation du visage Phonème  parole synthétisée Ajustement dynamique de la synthèse selon l’orientation de la tête (PS) Mesure de patterns de rayonnement pour plusieurs phonèmes discrets (effectuée en nov-2005) Pattern de rayonnement Phonème : « m » Pattern de rayonnement Phonème : « i »

Animation et Rendu visuel Assistance à l’interaction Animation et Rendu visuel Ch Jacquemin (AMI) Tête parlante

Emotions Complexes & Spontanées Assistance à l’interaction Emotions Complexes & Spontanées Annotation multi-niveaux : Emotions, Multimodalité, Contexte ANVIL Nous sommes partenaires du réseau d’excellence HUMAINE qui étudie les émotions notamment dans les interactions homme-Machine. La plupart des études sur les émotions concerne des émotions de base (colère, peur, joie…) jouées par des acteurs. Nous avons collecté un corpus d’interview télévisés riche en émotions complexes par exemple des mélange de plusieurs émotions ou des masquage d’une émotion par une autre. Nous avons défini itérativement un schéma d’annotation multiniveau servant à annoter les émotions (labels, valence, …), les comportements multimodaux associés ou l’expressivité des mouvements. Ces annotations nous servent à construire des représentations sous la forme de profils émotionnels, multimodaux et expressifs. La validation de ces annotations est envisagée sous plusieurs angles, en intracodeur, en intercoder, par traitement d’image pour estimer la quantité de mouvement de manière automatique, ou par replay par un agent expressif du comportement annoté. Ce type d’étude exploratoire visant à mieux comprendre les relations entre multimodalité et émotions complexes, peut être utile à terme pour reconnaitre les états de l’utilisateur ou spécifier des personnages virtuels. ReX FP6 Humaine - Thèse S. Abrilian (co-dir. J.-C. Martin & L. Devillers)

Agents multimodaux : études perceptives Assistance à l’interaction Agents multimodaux : études perceptives Impact de la Redondance vs Complémentarité sur le rappel écrit et les évaluations des explications et des l’expressivité des agents H et F extravertis Redondance positive H introvertis Moins de différence entre redondance et complementarité F introverties Non influencées par redondance/complémentarité

Outils d’interaction pour l’autisme Assistance à l’interaction Outils d’interaction pour l’autisme Etude exploratoire : Lycée Domaines d’apprentissage Jeux de dialogue Planification spatiale (plus court chemin) Modalités : Synthèse, Image, Texte Expressions faciales Reconnaissance à partir d’images : oui Reconnaissance avec dialogues et ambiguités sémantiques : non Thèse O. Grynszpan (co-dir. J.C. Martin et J. Nadel CNRS Salpétrière)

Dialogue avec expressions faciales humaines Assistance à l’interaction Dialogue avec expressions faciales humaines Images réalisées avec Poser 5 d’après le codage de Ekman, 2003 Dialogue qui nécessite un raisonnement pragmatique L’expressions affichée correspond à la réplique sélectionnée Une des 3 affirmations correspond à une interprétation littérale incorrecte du dialogue

Pratiques Collectives Distribuées Assistance à l’interaction Pratiques Collectives Distribuées Quatre modes d’interaction Personne  document: une personne produit, supprime, modifie, annote, consulte ou traite un document; Personne  personne: l’envoi de messages par E-mails, groupes de discussion, forums, chat…) pour demander, informer, commander, (“actes de langage”) Document  personne: un document actif anticipe les besoins de l’usager (notification d’un événement, besoin d’information,…) Document  document: un document actif produit, supprime, modifie, annote, consulte ou traite un autre document. Bill Turner (AMI) - Financement UNESCO Numéro Spécial « Journal of Computer Supported Cooperative Work » (été 2006)

Objets de socio-informatique Assistance à l’interaction Objets de socio-informatique Objets produits lors d’un traitement automatique des données y compris linguistiques Destinés à augmenter la réflexivité de l’action collective et à faciliter les liens sociaux L’annotation de l’usage des objets informationnels est réalisée avec ANVIL Les objets dans le temps Les objets en contexte Les objets dans les textes Les classes d’objets