UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 1 Une interface conversationnelle pour une aide intelligente.

Présentation au sujet: "UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 1 Une interface conversationnelle pour une aide intelligente."— Transcription de la présentation:

1 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 1 Une interface conversationnelle pour une aide intelligente Emerson Cabrera PARAISO Jean-Paul A. BARTHES

2 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 2 Sommaire Contexte du travail Lagent assistant et son interface Problématique LICAI Larchitecture de linterface Le rôle des ontologies Linteraction entre les agents Conclusions

3 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 3 Contexte du travail Agent gestion de documents Agent carnet dadresse Agent courriel Give me … Welcome to the Personal Ass… Agent assistant Agent dagenda Quelle interface pour lagent ? Plate-forme OMAS Plusieurs projets développés (surtout dans la gestion des connaissances)

4 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 4 Quest ce quun agent assistant personnel? Définition : –Du point de vue informatique, un agent assistant personnel est un agent qui joue le rôle dassistant et dont lobjectif est de diminuer la charge de travail de son maître pendant la réalisation des activités professionnelles qui demandent une interaction avec lordinateur ou un autre moyen informatique (F. ENEMBRECK, 2003). jouer le rôle dassistant diminuer la charge de travail + + faciliter linteraction =

5 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 5 Lapproche conversationnelle Amélioration de la qualité de laide par rapport à lapproche traditionnelle – WIMP (window, icon, menu, pointer)

6 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 6 Lagent assistant personnel et son interface acteurénoncéaction Utilisateur Please, open my email account.Ouvrir le client démail Utilisateur Locate and open the latest version of BUCKS.doc Envoyer la demande de document à lagent staff responsable Utilisateur List all meetings at my office for the next 3 days Envoyer la demande à lagent staff responsable Agent A new electronic message just came inAttendre la réponse de l'utilisateur Utilisateur Look for documents on references to Assistant Agents Suggérer des meilleurs critères ou envoyer la demande à l'agent staff de recherche Interface utilisateur Saisie et synthèse de la parole Gestion composants graphiques Communication ActionsOntologie Contrôle Tâches MondeSoi-mêmeMaître Traitement syntaxique et sémantique Gestionnaire de dialogue

7 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 7 Problématique Principaux défis : –conception dun mécanisme danalyse syntaxique, capable de traiter des énoncés parlés, pas forcément bien reconnus ; –conception dun analyseur sémantique, capable dinterpréter les énoncés, pas toujours liés au domaine de lapplication ; –conception dun gestionnaire de dialogue capable de gérer des conversations sur des domaines spécifiques, mais aussi de déclencher plusieurs tâches simultanément et de bien gérer larrivée de messages provenant de plusieurs sources différentes (dautres agents) ; –mise en place dune structure de mémoires, capable de fournir des informations à la gestion du contexte de la conversation ; –conception dune politique daffichage dinformations, gérée par lagent assistant, pour organiser la façon dinterrompre lutilisateur : pour lui poser des questions et pour lui présenter des informations diverses, comme des résultats dexécution des tâches ; –capacité dancrer le raisonnement de lagent sur les ontologies dont lagent dispose.

8 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 8 Interface conversationnelle pour une aide intelligente Définition : –Une ICAI est le résultat de lunion dun mécanisme conversationnel en langage naturel parlé et de la gestion intelligente de ce mécanisme, permettant le déroulement dun dialogue coopératif et capable de gérer le déclenchement de plusieurs tâches à la demande de lutilisateur, avec un minimum deffort de la part de ce dernier. Comment : –Interface conversationnelle, basée sur : la définition dun système de dialogue fondé sur les actes de langage directifs (ordre, question et réponse) ; ladoption dune stratégie coopérative pour le système de dialogue ; lancrage sémantique à travers les ontologies ; la séparation physique des connaissances de domaine et des tâches. –la mise en place dune politique daffichage dinformations, un premier pas vers une politique de présentation ; –une ontologie du domaine conçue pour la gestion de dialogues avec lagent assistant.

9 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 9 Linterface conversationnelle pour lagent assistant GUI Événements contrôle des boutons Sortie Multimodale synthèse souris clavier résultats à l'utilisateur Saisie de la parole énoncé phrase pour l'utilisateur Ontologies et Lexique exécution de la tâche événements externes (ex. alerte agenda) choix de fonction et ses arguments texte pour être synthétisé Synthèse de la sortie Exécution de la tâche audio identification d'événement stem X type Gestionnaire de dialogue Analyseur lexique et syntaxique énoncé non conforme Module GSUI Modules Linguistiques Modules de dialogue concepts Mémoires mots et concepts

10 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 10 Le traitement des entrées

11 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 11 Lanalyse syntaxique haveameetinginmyoffice VO DN [ ]withMike[]DoI S VP Aux Do NP Art a Noun meeting PP Prep in NP Pron my Noun office Prep with Propern Mike NP Pron I Verb have PP USR: Do I have a meeting with Mike in my office?

12 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 12 Linteraction avec lutilisateur : Actes de langage Une fois interprétées les entrées, « quoi faire » ? Chaque énoncé est compris comme une action voulue par son émetteur Les actes illocutoires : –Directif (requête, suggestion, invitation, avertissement) En classant les énoncés de lutilisateur on peut : –Guider linteraction (déclencher des tâches) –Comprendre son état émotionnel –Utiliser le même type de « discours » (parler la « langue » de lutilisateur)

13 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 13 Ontologie du domaine (extrait)

14 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 14 Concepts : –lutilisation des relations dhyponymie/hyperonymie (is-a) et de méronymie (has-a) Les attributs : –pour chaque attribut : type, liste de mots synonymes, cardinalité et la restriction de domaine appropriée (time, space, people et general) Les actions : –actions applicables à chaque concept doivent être explicitées Les tokens : –liste de mots synonymes pour chaque concept Les instance : –instanciation multiple Construction de lontologie du domaine reportsspreadsheets documentlist author name path office-docs locate articles conferencejournal subject

15 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 15 Construction de la représentation formelle (list (Meeting (:participant Mike) (:place office))) haveameetinginmyoffice VO DN [ ]withMike[]DoI examcourse date place appointment list duration description meeting participant time examcourse date place appointment list duration description meeting participant time ::= ( 1* 1*) ::= ::= ( 0* 0*( ) ::= ::= 0* ::= ::= ( : ) ::= | nil ::= string

16 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 16 Ancrage sémantique à laide des ontologies USER: Do I have a meeting with Mike in my office tomorrow? (Meeting(:date 27-03-2005) (:time nil) (:placeoffice) (:duration nil) (:participantMike) (:description nil)) examcourse date place appointment list duration description meeting participant time examcourse date place appointment list duration description meeting participant time (list (Meeting(:placeoffice) (:participantMike) )) (:date 27-03-2005 )

17 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 17 Contexte et référence (Meeting (:date 17-05-2005) (:time 14-00) (:place office) (:duration 1-00) (:participant Mike) (:description nil)) USR (1): What is the starting time of the meeting with Mike? AP (2) : Starting time is: 14:00. USR (3): Where is it planned to be? (E-Message (:receiver Mary) (:subject nil) (:content nil)) (list (address (AddressBook (:name Mary)))) USR (1): What is the email address of Mary? AP (2) : The email is: mary@company.com. USR (3): Send an email to her.

18 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 18 Le modèle des tâches USER: List all conditions to receive an RMI ActionAttributObject (Allowance (:conditions nil) … ) (list (conditions (Allowance)))

19 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 19 Remplissage des paramètres user request call-for-bid propose accept-proposal inform 1: Start a RMI application What is your age? :PA 2: 26 How many children do you have? 3: None What is your monthly income? 4: 300 euros Where do you live? 5: In Paris :SA 1 :SA n USER: Start an RMI application (RMI (:coutryOfResidence nil) (:minimumAgeValue nil) (:numberOfChildsValue nil) (:RMIValue nil) (:conditions nil)) (start (RMI))

20 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 20 Distribution des tâches « Assistant Facilitateur » « Centre de Services » Agent de service Agent assistant Mémoires Ontologies

21 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 21 Interactions - Assistant Facilitateur Staff/Service Agent Personal Assistant Memories Ontologies :utilisateur request call-for-bid propose accept-proposal inform 1: Start a RMI application What is your age? :AP 2: 26 How many dependent children? 3: None What is your monthly income? 4: 300 euros Where do you live? 5: In Paris :AS 1 :AS n

22 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 22 Interactions - Centre de services :utilisateur TASK-REQUEST (send :sender: …) propose accept-proposal TASK-FORMAT ( description de la tâche) TASK-CONFIRMATION (conf… msg-id) 1: Send an email to Mike What is subject? :AP :AS 1 :AS n call-for-bid (TASK-SEARCH script msg-id) 2:New project… What is content? 3: Dear all,… call-for-bid (member :name Mike) inform (:email mike@…) call-for-bid (TASK-SEARCH script msg-id) Agents de service Agent assistant Mémoires Ontologies

23 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 23 Langage de contenu – gestion des agents TASK-FORMAT task-description msg-id TASK-SEARCH script msg-id INFO-REQUESTED msg-id content REQUEST-INFO question-description msg-id INFO content TASK-CONFIRMATION msg-id content TASK-RESULT msg-id response content TASK-REQUEST script msg-id

24 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 24 Lévaluation de linterface conversationnelle 11594 3.454.053.834.63 7454 2110 20.6715.1419.8613.86 9887 1000 82647846 1613249 Testeur 4Testeur 3Testeur 2Testeur 1 Nombre dentrées refusées Nombre moyen de mots dits par entrée Nombre de mots non reconnues Nombre doffres daide spontanée Temps moyen pour le déclenchement dune tâche (en secondes) Nombre de tâches déclenchées Nombre dentrées hors sujets acceptées Nombre déchanges (turn-takings) Durée de la session en minutes Données relevées

25 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 25 Conclusions et travaux futures Deux prototypes réalisés –larchitecture proposée se montre adéquate –linterface est prévisible –lévolution du modèle générique de lagent assistant Les travaux futures et les voies de recherche –amélioration des prototypes –application réelle –conception et mise en place dune politique de présentation –étude de limpact de la mobilité de lutilisateur –approfondissement de létude du rôle des ontologies dans linterprétation et dans la personnalisation de linteraction entre lutilisateur et son agent assistant

26 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 26 Les travaux en cours – Groupe Agents Gilson SATO –Modélisation et implémentation d'un agent numérique pour le support des coordinateurs de Communautés de pratique distribuées qui participent dans le développement de produit Adriana VIVACQUA –Modélisation et implémentation numériques pour informer les personnes d'opportunités de collaboration Fathia BETTAHAR –Expressivité des formalismes de représentation des ontologies : application à l'orchestration dynamique de services dans le cadre d'e- Gouvernement Kejia CHEN –Structuration de la mémoire d'un agent assistant : applications aux EIAH Emerson PARAISO –Interface conversationnelle pour une aide intelligente

27 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 27 Fin Merci. emerson.paraiso@utc.fr

28 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 28 Task Search :utilisateur TASK-REQUEST (send :sender: …) propose accept-proposal TASK-FORMAT ( description de la tâche) TASK-CONFIRMATION (conf… msg-id) 1: Send an email to Mike What is subject? :AP :AS 1 :AS n call-for-bid (TASK-SEARCH script msg-id) 2:New project… What is content? 3: Dear all,… call-for-bid (member :name Mike) inform (:email mike@…) call-for-bid (TASK-SEARCH script msg-id) - call-for-bid: (TASK-SEARCH (list (address (AddressBook (:name Mike)))) 8)

29 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 29 Task Format (TASK-FORMAT ( RECEIVER receiver to Who is the receiver propern true vocal none SUBJECT subject about What is the subject text true vocal none CONTENT content text What is the content text true keyboard none @SENDEMAIL true ) 105)

30 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 30 Task Request TASK-REQUEST (script msg-id) TASK-RESULT ( msg-id response content) :AS :AP TASK-CONFIRMATION ( msg-id content) x (TASK-REQUEST (@SENDEMAIL (:receiver Marc) (:subject Setting a meeting…) (:content Dear Marc, Mrs. Mary Smith is working …)) 2)

31 UMR CNRS 6599 Heuristique et Diagnostic des Systèmes Complexes Emerson PARAISO – 06/06/2014 31 Mémoires de lagent Historique des instances des concepts Mémoire à court terme –liste des tâches en exécution Mémoire à moyen terme –liste des tâches déjà exécutées Mémoire à long terme –log (stockage physique) des tâches exécutées au cours dune session de dialogue Mémoire de conversation –liste des énoncés parlés par lutilisateur et par le système, pour chaque tâche.