Dialogue et apprentissage Le système ICPdraw CNRS - INPG - UJF Communication Langagière et Interaction Personne-Système GEOD Groupe dEtude sur lOral et.

Présentation au sujet: "Dialogue et apprentissage Le système ICPdraw CNRS - INPG - UJF Communication Langagière et Interaction Personne-Système GEOD Groupe dEtude sur lOral et."— Transcription de la présentation:

1 Dialogue et apprentissage Le système ICPdraw CNRS - INPG - UJF Communication Langagière et Interaction Personne-Système GEOD Groupe dEtude sur lOral et le Dialogue Jean Caelen

2 2 ProblématiqueObjectifs Modèle de dialogue proposé Lapprentissage de plansLapprentissage de plans La construction de connaissances communesLa construction de connaissances communes La coordination dactionsLa coordination dactions Réalisation dun système adaptatif : ICPdraw, un expert de dessin Conclusions et Perspectives Plan

3 Problématique Le dialogue… pour agir, mais souvent, en machine… connaissances statiques sur la tâcheconnaissances statiques sur la tâche connaissances statiques sur la langueconnaissances statiques sur la langue Le dialogue pour apprendre... connaissances dynamiques sur la tâcheconnaissances dynamiques sur la tâche connaissances dynamiques sur la langue (concepts, référents)connaissances dynamiques sur la langue (concepts, référents) 3

4 Exemple dacquisition de concept : U : il me faudrait un architecte M : quest-ce quun « architecte » ? U : cest un dessinateur de bâtiments M : quelle sorte de bâtiments ? U : essentiellement des maisons M : ah très bien, je peux devenir un dessinateur de maisons… /architecte/ = entité(dessiner(maisons)) M = sorte_de(entité) 4

5 Exemple dacquisition de savoir-faire : U : dessine une maison M : montre-moi comment faire U : voilà cest fini M : comment veux-tu que jappelle cette maison ? U : disons… un chalet M : ah très bien, je sais maintenant dessiner un chalet dessiner(chalet) = dessiner(chalet) = Chalet = sorte_de(maison) 5

6 Connaissances acquises Dessiner(chalet) = Dessiner(chalet) = Chalet = sorte_de(maison) Dessiner(maison) = ?? /Architecte/ = entité(dessiner(maison)) /Architecte/ = entité(dessiner(chalet)) U = sorte_de(entité), M = sorte_de(entité) Connaissances sur les interlocuteurs (performances) Connaissances sur les concepts (objets) Connaissances sur les plans (procédures) …à travers lactivité 6

7 7 Postulats Le dialogue finalisé est structuré par lactivité il se modélise bien par la théorie des actes de langage Lactivité est planifiée autour de la tâche elle est dirigée par le but Le dialogue a un double objectif la conduite interactive de la tâchela conduite interactive de la tâche lacquisition de connaissances pour adapter et améliorer le comportement de la machinelacquisition de connaissances pour adapter et améliorer le comportement de la machine

8 8 OBJECTIFS (1) Définir un modèle de tâche dynamique basé sur lapprentissage Définir une stratégie coopérative de dialogue pour lapprentissage dun comportement « expert » villasen: Intégrer une composante en langage naturel dans une interface multimodale villasen: Intégrer une composante en langage naturel dans une interface multimodale

9 9 OBJECTIFS (2) Réaliser un modèle de dialogue qui incorpore la gestion des échanges dialogiquesla gestion des échanges dialogiques la construction de connaissances communes à travers lacquisition et la structuration de tâchesla construction de connaissances communes à travers lacquisition et la structuration de tâches la coordination dactions à partir de la reconnaissance de plansla coordination dactions à partir de la reconnaissance de plans...Savoir faire en voyant faire

10 10 U: dessine une maison U: dessine une maison EXEMPLE : ICPdraw

11 11 U: dessine une maison U: dessine une maison M: montre-moi EXEMPLE

12 12 U: dessine une maison U: dessine une maison M: montre-moi U: dessine un carré rouge U: dessine un carré rouge M: M: EXEMPLE

13 13 U: dessine une maison U: dessine une maison M: montre-moi U: dessine un carré rouge U: dessine un carré rouge M: M: U: U: EXEMPLE

14 14 U: dessine une maison U: dessine une maison M: montre-moi U: dessine un carré rouge U: dessine un carré rouge M: M: U: U: EXEMPLE

15 15 U: dessine une maison U: dessine une maison M: montre-moi U: dessine un carré rouge U: dessine un carré rouge M: M: U: U: U: voilà une maison U: voilà une maison M: daccord la machine connaît maintenant les actions pour dessine une maison et le concept maison la machine connaît maintenant les actions pour dessine une maison et le concept maison EXEMPLE

16 16 ProblématiqueObjectif Modèle de dialogue proposé Lapprentissage de plansLapprentissage de plans La construction de connaissances communesLa construction de connaissances communes La coordination dactionsLa coordination dactions Réalisation dun système adaptatif Conclusions et Perspectives Plan

17 17 Linteraction H/M en conception tâches non routinières (évolutives)tâches non routinières (évolutives) mais la conception sappuie sur la réutilisation de tâches antérieures (ex. architecture, design)mais la conception sappuie sur la réutilisation de tâches antérieures (ex. architecture, design) Un dialogue à double fil la conduite interactive de la tâche - quoi fairela conduite interactive de la tâche - quoi faire lacquisition de connaissances - comment le fairelacquisition de connaissances - comment le faire La machine a un double rôle dassistant quand elle est suffisamment experte dans les tâches routinièresdassistant quand elle est suffisamment experte dans les tâches routinières dapprenti pour les tâches nouvellesdapprenti pour les tâches nouvelles Modèle général villasen: resumen entre la anterior y esta villasen: resumen entre la anterior y esta

18 18 Incorporation dactions langagières et non-langagières dans le même cadre actionnel Une logique de laction [Prendinger, 96; van der Hoek, 94] [ action ] proposition[ action ] proposition [ plan ] proposition[ plan ] proposition [ vérifier proposition1 ] proposition2[ vérifier proposition1 ] proposition2 [ dessiner-carré(O 1 ) ] O 1 : Carré(O 1 ) [ dessiner-triangle(O 2 ) ] O 2 : Triangle(O 1 ) [ vérifier au-dessous (O 1,O 2 )] maison (O 1,O 2 ) [ plan-maison ] = [ dessiner-carré dessiner-triangle vérifier au-dessous ] Une logique de laction villasen: resumen entre la anterior y esta villasen: resumen entre la anterior y esta

19 19 Laction dialogique Les actes de base F F faire-faire; F faire (changements dans le monde) F FS faire-faire-savoir; F S faire-savoir (échange de connaissances) Effets des actions dialogiquesEffets des actions dialogiques ex : [F F U a] effets ex : [F F U a] effets ­interlocuteur : U utilisateur, M machine ­effets (sur la tâche ou sur les objets ou sur linterlocuteur) est une proposition ­en réalité : effets = [F M a] proposition que lon abrège en [ F F U a] proposition

20 20 Temps / événement Logique dintervalles [Shoham, 87] La proposition p prend sa valeur de vérité pendant lintervalle de temps t 1 \t 2 HOLDS( t 1 \ t 2, p ) abrégé en ( t 1 \ t 2, p ) Logique dévénements Laction est considérée comme un événement (car seul son résultat importe) OCCURS( t 3, action ) abrégé en ( t 3, action )

21 21 Séquence dactions Notations [ t 0, F F U dessiner-carré(O 1 ) ] (t 1 \T, O 1 Carré(O 1,h(O 1 ))) [ t 2, F U dessiner-triangle(O 2 ) ] (t 2 \T, O 2 Triangle(O 2,h(O 2 ))) [ t 3, F S U maison(O 1,O 2 ) ] R R(O 1, O 2 ) [ F M vérifier au-dessous (O 1,O 2 )] (t 4 \T, maison (O 1,O 2 )) Avec : T = temps indéfini h(x) = paramètres de x (position, taille, etc.) R(x,y) = relation prédéfinie entre x et y (position, taille, etc.)

22 22 Le plan Plan dune tâche = séquence dactions orientée vers la réalisation dun but Plan (But) = [ F M vérifier(pré-conditions(But)) Plan (But) = [ F M vérifier(pré-conditions(But)) F M a 1 F M a 2 … F M a n F M a 1 F M a 2 … F M a n F M vérifier(post-conditions(But)) ] On suppose que les conditions préparatoires et les conditions de succès des actions a i sont remplies (en effet elles ont été apprises et validées au cours du dialogue) villasen: una tarea de concepcion se hace en el momento, lo que provoca, un gran numero de rectificaciones, asi que el primer paso es la eliminacion de acciones redundantes villasen: una tarea de concepcion se hace en el momento, lo que provoca, un gran numero de rectificaciones, asi que el primer paso es la eliminacion de acciones redundantes

23 23 Exemple Plan(Maison) Séquence observée : [ t 1, dessiner(carré1, p1) ] t 2, dessiner(triangle2, p2) ] [ t 3, déplacer(triangle2, p3) ] Création du plan : H1= [ dessiner(carré1, p1) ] dessiner(triangle2, p3) ] le déplacement nest pas pertinent (action fortuite) H2= [ dessiner(carré1, p1) ] dessiner(triangle2, p3) ] vérifier au-dessous (p1, p3) ] le déplacement est pertinent (action nécessaire) Validation de la solution : Par dialogue ou,Par dialogue ou, En généralisant à partir dautres exemplesEn généralisant à partir dautres exemples villasen: una tarea de concepcion se hace en el momento, lo que provoca, un gran numero de rectificaciones, asi que el primer paso es la eliminacion de acciones redundantes villasen: una tarea de concepcion se hace en el momento, lo que provoca, un gran numero de rectificaciones, asi que el primer paso es la eliminacion de acciones redundantes

24 24 Apprentissage de plan Règles de construction [ t 1 \ t 2, position(x, p 1 (x)) ] t 2, déplacer(x, p 2 (x)) ] [ t 1 \ t 2, position(x, p 1 (x)) ] t 2, déplacer(x, p 2 (x)) ] [ t 2 \ T, position(x, p 2 (x)) ] Etc. A partir des connaissances darrière-plan on déduit les relations R(x,y) = {au-dessus, à-droite, etc.} Règles de généralisation Maximisation du nombre des actions pertinentes Généralisation minimale villasen: una tarea de concepcion se hace en el momento, lo que provoca, un gran numero de rectificaciones, asi que el primer paso es la eliminacion de acciones redundantes villasen: una tarea de concepcion se hace en el momento, lo que provoca, un gran numero de rectificaciones, asi que el primer paso es la eliminacion de acciones redundantes

25 25 Exemple Maximisation des actions : H2 Généralisation minimale à partir de plusieurs exemples maison maison1 maison2 Actions observées Plan est-un généralise

26 26 Apprentissage de concepts La formation de concepts Les concepts sont des plans (et non des formes ou des propriétés) Les concepts sont des plans (et non des formes ou des propriétés) Formés à partir dexemples positifs Formés à partir dexemples positifs Plan(maison) Plan(fenêtre) Plan(chalet) Plan(balcon) On ne peut exprimer par des actions chalet = maison en bois Mais maison avec balcon (=chalet) ou maison sans fenêtre Deux relations : sorte-de, partie-de maison chalet maison fenêtre sorte-de partie-de balcon

27 27 Correspondance concept/plan Si y sorte-de x alors Plan(x) Plan(y) en dautres termes z : Plan(y) = Plan(x) Plan(z) Si y partie-de x alors Plan(y) Plan(x) Pour y x faire Plan(y) Plan(x) ( se lit « avec ») Pour y – x faire Plan(y) - Plan(x) (- se lit « sans ») Cela permet de factoriser les plans et de ramener les notions dhéritage à des notions ensemblistes

28 28 Modèle de dialogue Dirigé par le but [Caelen, 95; Vernant, 92] le dialogue est vu comme un processus de convergencele dialogue est vu comme un processus de convergence chaque acte de dialogue affecte ce processus de convergencechaque acte de dialogue affecte ce processus de convergence villasen: lévolution du but (de laction à réaliser) est décrite au cours du dialogue villasen: lévolution du but (de laction à réaliser) est décrite au cours du dialogue

29 29 Un échange Avancement vers lAccord Requêtes Répliques Mises en cause question OffresDemandes But DemandeurRépondeur Convergence Divergence daprès [Vernant, 92]

30 30 Gestion des échanges Le but ­but posé : par U ou M, initialise le début dun nouvel échange ­but atteint : léchange est marqué par un succès (au sens de la logique illocutoire) ­but abandonné : par suite derreur, dincompréhension, de changement dobjectif, etc. ­but satisfait : léchange est conclu par un accord (ne peut satisfaire un but que celui qui la posé)

31 31 Une logique dialogique but posé (par U) but posé (par U) [F F U a] (C M C U [F M a]p) ?[F M a]p Simplification décriture Gestion des échanges

32 32 Une logique dialogique but atteint but atteint ? [F M a]p [F M a]p +[F M a]p Gestion des échanges

33 33 Une logique dialogique but abandonné but abandonné ?[F M a]p ?[F M a]p ([F S U C U [F M a]p] q ([F S U C U [F M a]p] q ?[F U a]p) ?[F U a]p) explicite implicite Gestion des échanges @[F F U a]

34 34 Une logique dialogique but satisfait but satisfait +[F M a]p +[F M a]p ([F S U C U [F M a]p] q ([F S U C U [F M a]p] q ?[F U a]p) ?[F U a]p) explicite implicite Gestion des échanges ++[F F U a]

35 35 Aide à la tâche Acquisition des savoir-faire pour… réitération de la tâcheréitération de la tâche réutilisation de parties de la tâcheréutilisation de parties de la tâche anticipation sur la tâche en coursanticipation sur la tâche en cours Apprendre le plan dune tâche à chaque occurrence dun nouvel exemple de cette tâche à partir de peu dexemplesà partir de peu dexemples et seulement des exemples positifset seulement des exemples positifs

36 36 AXIOMES Comportement de la machine envers un but posé ?[F M a]p C M a [F M a]p ?[F M a]p C M a [F S M b]( ?[F U a] C M a ) M sait faire la tâche M ne sait pas faire la tâche …M demande quon lui montre

37 37 AXIOMES Si M sait faire la tâche… ?[F M a] C M plan(a) ?[F M a] C M plan(a) [ F M vérifier(précond a ) F M actions a, F M vérifier(postcond a ) ] [F M a] p

38 38 AXIOMES Si M sait continuer la tâche commencée… Détermination de lintention Confirmation de lintervention et exécution +[F U b] C M (b partie-de a) C M a ?[F M vérifier(C U [F U a])] C M C U [F U a] [F M a] p

39 39 AXIOMES Si M sait faire une partie de la tâche… Demande de montrer la suite Et apprend si U lui montre +[F M b] C M (b partie-de a) C M a [F S M a]( ?[F U a] C M a ) +[F U a] [C M a] p [F S M a]

40 40 AXIOMES Si M ne sait pas faire la tâche… Demande de montrer la tâche Et apprend si U lui montre ?[F M a] ( C M a) [F S M a]( ?[F U a] F S M a ) +[F U a] [C M a] p [F S M a]

41 41 Reconnaissance du plan maison Plan-maison Actes Est un processus dexplication hiérarchie de composition Etape 1 : activer les candidats Etape 2 : filtrer les hypothèses hiérarchie dabstraction

42 42 Reconnaissance du plan triangle Partie-de Explication Maison carré Partie-de Bus Partie-de ? Hypothèse unique temps Maison

43 43 ProblématiqueObjectif Modèle de dialogue proposé Lapprentissage de plansLapprentissage de plans La construction de connaissances communesLa construction de connaissances communes La coordination dactionsLa coordination dactions Réalisation dun système adaptatif Conclusions et Perspectives Plan

44 44 ICPdraw = Interacteur Collaboratif Parlé pour le dessin ICPdraw (interface multimodale adaptative pour le dessin) Un gestionnaire de dialogueUn gestionnaire de dialogue Les procédures dacquisition de tâche et de reconnaissanceLes procédures dacquisition de tâche et de reconnaissance (avec simplification dans la reconnaissance et la génération dactes de langage) (avec simplification dans la reconnaissance et la génération dactes de langage)

45 45 Linterface ICPdraw Fenêtre de dialogue

46 46 Modules du système ICPdraw Formation de concepts Reconnaissance de la tâche action langagière action directe nouvelle tâche acquise Répertoire de tâches action observée tâche reconnue Utilisateur séquence dactions de base action de base Gestionnaire du dialogue

47 47 RÉSULTATS Validation générale du système réalisé et des concepts théoriques Logiciel opérationnel (sur-couche en C++ et Prolog)Logiciel opérationnel (sur-couche en C++ et Prolog) Des utilisateurs ont manipulé le système...Des utilisateurs ont manipulé le système... villasen: de facon tres simple, no necesitamos aprender un nuevo lenguaje para enseniar al sistema villasen: de facon tres simple, no necesitamos aprender un nuevo lenguaje para enseniar al sistema

48 48 OBSERVATIONS : USAGE Lutilisateur devant lordinateur assistant doit : Shabituer au rôle de maîtreShabituer au rôle de maître Accepter des interruptions de la machineAccepter des interruptions de la machine Se souvenir des connaissances en machine dune session à la suivanteSe souvenir des connaissances en machine dune session à la suivante

49 49 OBSERVATIONS : APPRENTISSAGE Jugement sur la stratégie Acquisition des tâches : il y aurait aussi nécessité dacquérir une tâche de manière opportuniste ou a posterioriAcquisition des tâches : il y aurait aussi nécessité dacquérir une tâche de manière opportuniste ou a posteriori Pertinence des interventions de la machine :la machine nintervient pas toujours au bon moment dans la tâche et quelque fois trop tardPertinence des interventions de la machine : la machine nintervient pas toujours au bon moment dans la tâche et quelque fois trop tard

50 50 OBSERVATIONS : ROBUSTESSE Évaluation du pouvoir de généralisation du point de vue de lutilisateur si lutilisateur fait des généralisations très complexes, la machine a du mal à suivre, et ses résultats déconcertent lutilisateursi lutilisateur fait des généralisations très complexes, la machine a du mal à suivre, et ses résultats déconcertent lutilisateur pour arriver à un ensemble de concepts bien structuré pour la machine, lutilisateur doit faire des effortspour arriver à un ensemble de concepts bien structuré pour la machine, lutilisateur doit faire des efforts

51 51 OBSERVATIONS : ROBUSTESSE Évaluation du pouvoir de généralisation du côté de la machine le système de généralisation est perturbé dans le cas où les exemples dune tâche sont trop différents, et par lordre de présentation des exemples (la recherche dactions caractéristiques en dépend),le système de généralisation est perturbé dans le cas où les exemples dune tâche sont trop différents, et par lordre de présentation des exemples (la recherche dactions caractéristiques en dépend), larbre des concepts peut être « plat » (à la suite de généralisations triviales).larbre des concepts peut être « plat » (à la suite de généralisations triviales).

52 52 OBSERVATIONS : ERGONOMIE Pendant la reconnaissance de la tâche intervention souhaitée de lutilisateur dans lélaboration dune hypothèse (principe du contrôle partagé)intervention souhaitée de lutilisateur dans lélaboration dune hypothèse (principe du contrôle partagé) Après la reconnaissance de la tâche éviter les ruptures, par ex. finir le dessin avec les objets reconnus plutôt que refaire le dessin (principe de continuité alternée dans le fil de laction)éviter les ruptures, par ex. finir le dessin avec les objets reconnus plutôt que refaire le dessin (principe de continuité alternée dans le fil de laction)

53 53 CONCLUSIONS Apport théorique au modèle de dialogue : Le modèle permet dinteragir avec lutilisateur et détablir en dialoguant quoi faire et comment faire Le modèle permet dinteragir avec lutilisateur et détablir en dialoguant quoi faire et comment faire intégration sur le même cadre actionnel des interventions langagières et non-langagièresintégration sur le même cadre actionnel des interventions langagières et non-langagières prise en compte de tâches évolutivesprise en compte de tâches évolutives

54 54 CONCLUSIONS Exploration de solutions possibles pour la construction de connaissances communes Exploration de solutions possibles pour la construction de connaissances communes par représentation de la tâche, des actions par représentation de la tâche, des actions pour généraliser les concepts Mise au point dun processus dynamique pour la reconnaissance du plan Mise au point dun processus dynamique pour la reconnaissance du plan pour anticiper la réalisation dune tâche pour anticiper la réalisation dune tâche

55 55 CONCLUSIONS Apport pratique au modèle de dialogue : Réalisation dun démonstrateur autour de lapplication de dessin ICPdraw mais dutilisation délicate sur le plan de lergonomie...

56 56 PERSPECTIVES Nécessité dintégration des stratégies de négociation participation de lutilisateur dans le processus de formation de conceptsparticipation de lutilisateur dans le processus de formation de concepts Mettre à disposition de lutilisateur les résultats partiels de la reconnaissance de tâches pour déléguer, le plus tôt possible, le travail à la machinepour déléguer, le plus tôt possible, le travail à la machine

57 57 DEMONSTRATION

58 dessine un carré Voilà, jattends la commande suivante Je dessine un carré daccord, tu viens de dessiner un triangle dessine un cercle noir Tu sélectionnes triangle Tu effaces le triangle Je sélectionne triangle Tu dessines le triangle Tu sélectionnes destruction Je dessine un cercle noir dessine un cercle noir Je dessine un cercle noir Efface tout Voilà, jattends la commande suivante

59 dessine un cercle noir voilà tu dessines un(e) bus ? Je dessine le camion que jai appris Camion appris Voilà un camion. Veux-tu le compléter ? Je ne connais pas le concept « fenêtre » Dessine lobjet fenêtre (début dapprentissage) Fenêtre apprise Japprends Fin dapprentissage Faut-il lassocier à camion ? Je construis lobjet camion+fenêtre Voici le concept construit Comment lappelle-t-on ? Dessine un camion Oui, avec une fenêtre Voilà la fenêtreOui