Assistance à l’interaction

Présentation au sujet: "Assistance à l’interaction"— Transcription de la présentation:

1 Assistance à l’interaction
Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet LIMSI-CNRS

2 Analyse et Modèles pour l’Interaction
Assistance à l’interaction Analyse et Modèles pour l’Interaction 1. Modèles et outils pour l’interaction Visualisation interactive d’information Plasticité des interactions Agents conversationnels animés 2. Analyse et modèles des interactions Analyse des comportements et des émotions Analyse sémantique des usages Analyse des traces pour la socio-informatique

3 Visualisation interactive d’information
Assistance à l’interaction Visualisation interactive d’information

4 Plasticité des interactions
Assistance à l’interaction Plasticité des interactions Interaction dynamique Interaction contextuelle Interaction multimodale Approches de conception Modèles d’architecture Représentations de connaissances Outils logiciels Tournez à droite

5 Agents Assistants : applications
Assistance à l’interaction Agents Assistants : applications Accueil Accueil des utilisateurs sur les applications et services en ligne Présentation de fonctionnalités et de procédures pour les applications et services en ligne Aide interactive Traitement de requêtes : questions sur la structure et le fonctionnement, commandes, contrôle à distance Médiation avec des apprenants : apprentissage humain, scolarisation, entrainement, aide aux handicaps Médiation sociale Dialogues : Chatbots, conversations artificielles de type Eliza Collectifs : Mondes mixtes humains/agents, avatars, jeux de rôles

6 Trois niveaux de personnages
Assistance à l’interaction Trois niveaux de personnages GRETA (Pélachaud Paris 8) STEVE (Rickel et al USC) VTE (Gratch et al USC) Têtes Parlantes Fixes Lip Synch Dialogue Emotions Agents Déictiques Fixes - bras mobiles Référence Extensionnelle Tutorat - Explications Emotes Agents In Situ Personnages mobiles Réalité Virtuelle et augmentée Training - Action

7 Agents : Dialogiques – Rationnels - Animés
Assistance à l’interaction Agents : Dialogiques – Rationnels - Animés Représentation Symbolique Usager novice Agent Assistant Composant

8 Assistants de composants Java
Assistance à l’interaction Assistants de composants Java

9 Assistants de sites web : GT ACA
Assistance à l’interaction Assistants de sites web : GT ACA

10 Action Incitative « Tête Parlante »
Assistance à l’interaction Action Incitative « Tête Parlante » Action incitative intergroupe : AMI-PS-LIR Application : Agent Assistant pour la Recherche d’Information Outil permettant des études perceptives : audio, graphique, émotions, … Audio 3D : synthèse sensible aux mouvements de tête Interpolation graphique entre expressions en temps-réel Poser 5

11 Texte  Parole 3D Texte à partir de RITEL (LIR)
Assistance à l’interaction Texte  Parole 3D Texte à partir de RITEL (LIR) « Bonjour et bienvenue »  bOZur" e bjIvny" Phonème  visème pour l’animation du visage Phonème  parole synthétisée Ajustement dynamique de la synthèse selon l’orientation de la tête (PS) Mesure de patterns de rayonnement pour plusieurs phonèmes discrets (effectuée en nov-2005) Pattern de rayonnement Phonème : « m » Pattern de rayonnement Phonème : « i »

12 Animation et Rendu visuel
Assistance à l’interaction Animation et Rendu visuel Ch Jacquemin (AMI) Tête parlante

13 Emotions Complexes & Spontanées
Assistance à l’interaction Emotions Complexes & Spontanées Annotation multi-niveaux : Emotions, Multimodalité, Contexte ANVIL Nous sommes partenaires du réseau d’excellence HUMAINE qui étudie les émotions notamment dans les interactions homme-Machine. La plupart des études sur les émotions concerne des émotions de base (colère, peur, joie…) jouées par des acteurs. Nous avons collecté un corpus d’interview télévisés riche en émotions complexes par exemple des mélange de plusieurs émotions ou des masquage d’une émotion par une autre. Nous avons défini itérativement un schéma d’annotation multiniveau servant à annoter les émotions (labels, valence, …), les comportements multimodaux associés ou l’expressivité des mouvements. Ces annotations nous servent à construire des représentations sous la forme de profils émotionnels, multimodaux et expressifs. La validation de ces annotations est envisagée sous plusieurs angles, en intracodeur, en intercoder, par traitement d’image pour estimer la quantité de mouvement de manière automatique, ou par replay par un agent expressif du comportement annoté. Ce type d’étude exploratoire visant à mieux comprendre les relations entre multimodalité et émotions complexes, peut être utile à terme pour reconnaitre les états de l’utilisateur ou spécifier des personnages virtuels. ReX FP6 Humaine - Thèse S. Abrilian (co-dir. J.-C. Martin & L. Devillers)

14 Agents multimodaux : études perceptives
Assistance à l’interaction Agents multimodaux : études perceptives Impact de la Redondance vs Complémentarité sur le rappel écrit et les évaluations des explications et des l’expressivité des agents H et F extravertis Redondance positive H introvertis Moins de différence entre redondance et complementarité F introverties Non influencées par redondance/complémentarité

15 Outils d’interaction pour l’autisme
Assistance à l’interaction Outils d’interaction pour l’autisme Etude exploratoire : Lycée Domaines d’apprentissage Jeux de dialogue Planification spatiale (plus court chemin) Modalités : Synthèse, Image, Texte Expressions faciales Reconnaissance à partir d’images : oui Reconnaissance avec dialogues et ambiguités sémantiques : non Thèse O. Grynszpan (co-dir. J.C. Martin et J. Nadel CNRS Salpétrière)

16 Dialogue avec expressions faciales humaines
Assistance à l’interaction Dialogue avec expressions faciales humaines Images réalisées avec Poser 5 d’après le codage de Ekman, 2003 Dialogue qui nécessite un raisonnement pragmatique L’expressions affichée correspond à la réplique sélectionnée Une des 3 affirmations correspond à une interprétation littérale incorrecte du dialogue

17 Pratiques Collectives Distribuées
Assistance à l’interaction Pratiques Collectives Distribuées Quatre modes d’interaction Personne  document: une personne produit, supprime, modifie, annote, consulte ou traite un document; Personne  personne: l’envoi de messages par s, groupes de discussion, forums, chat…) pour demander, informer, commander, (“actes de langage”) Document  personne: un document actif anticipe les besoins de l’usager (notification d’un événement, besoin d’information,…) Document  document: un document actif produit, supprime, modifie, annote, consulte ou traite un autre document. Bill Turner (AMI) - Financement UNESCO Numéro Spécial « Journal of Computer Supported Cooperative Work » (été 2006)

18 Objets de socio-informatique
Assistance à l’interaction Objets de socio-informatique Objets produits lors d’un traitement automatique des données y compris linguistiques Destinés à augmenter la réflexivité de l’action collective et à faciliter les liens sociaux L’annotation de l’usage des objets informationnels est réalisée avec ANVIL Les objets dans le temps Les objets en contexte Les objets dans les textes Les classes d’objets