Cécile Balkanski LIMSI Février 2003 Structure du discours et reconnaissance de plans dans le traitement du dialogue homme-machine Cécile Balkanski LIMSI Février 2003

Présentation de 4 articles "Intention, Attention and the Structure of Discourse", Grosz et Sidner, Computational Linguistics 1986 "Plans for discourse", Grosz et Sidner 1990 "Intentions in Communication", Cohen, Morgan et Pollack (eds) "Collaborative Plans for Group Activities", Grosz et Kraus, IJCAI-93 "Using Collaborative Plans to Model the Intentional Structure of Discourse", K. Lochbaum, Thèse Ph.D., Université d’Harvard,1994

Si assez de temps Deux applications COLLAGEN (for COLLaborative AGENt) Rich and Sidner, 1996 ) http://www.merl.com/projects/collagen/ "Cooperative requests and replies in a collaborative dialogue model" Balkanski et Hurault-Plantet, International Journal of Human-Computer Studies, vol 53, 2000

Prémisses Comprendre un énoncé exige de reconnaître les intentions et croyances de la personne qui a produit cet énoncé. Donc, plus globalement: participer à un dialogue de reconnaître les intentions et croyances des personnes qui participent à ce dialogue. Tout dialogue est structuré : D ≠ e1 + e2 + e3 + ... Un dialogue n’est pas juste une séquence d’énoncés. Donc, le sens d’un dialogue comprend plus que le sens de chaque énoncé La reconnaissance de cette structure est indispensable pour l'interprétation comme pour la génération. Mais … (voir transparent 7 et suite)

Dialogue de la boite à outils, Grosz, 1981. Utilisateur : La boîte à outils est fermée. Système : (Pourquoi me dit-il cela? Je sais déjà que la boîte à outils est fermée ... Je sais que l'utilisateur a besoin d'avoir accès au contenu de la boîte à outils. Peut-être me dit-il que la boîte à outils est fermée parce qu'il pense que je peux l'aider d'une manière ou d'une autre ... Pour ouvrir la boîte, il faut avoir une clef. L'utilisateur sait cela, et il sait que je le sais également. La clef est dans le classeur. Si l'utilisateur le savait, il ouvrirait simplement la boîte. Donc, c'est qu'il ne le sait pas. Je peux le lui faire savoir en disant : "La clef est dans le classeur". Mon rôle est de l'aider. Je vais donc le dire.) La clef est dans le classeur.

Autres exemples Contexte du réceptionniste : A: Connaissez vous le numéro de téléphone de Mr. Dupont? B: Non, mais son email est dupont@paris.fr Contexte de la cafétéria : A: T’as l’heure? B: T’en fais pas, la prof est toujours en retard. Contexte d’un système d’aide : A: Mon imprimante est en panne. B: D’accord, fait enregistré. Un client qui parle à un psychiatre lacanien : Client: May I ask you three questions? Psychiatrist: Yes, but that will cost you $1000 Client: Isn't that rather expensive? Psychiatrist: Yes. What's the third question?

Exemple de l’importance de la structure de dialogue: U: A fire's been reported near Lexington Reservoir. Show me the area east of there. S: [displays map] U: The fires are here [pointing with mouse] S: By the way, some of the equipment from Station 3 is being used for a kitchen fire in town. U: Can you tell me what equipment is left? S: All the big trucks, the water tank trucks, and the bulldozers U: OK. Then we're in good shape. The fire isn't too big yet. S: I suggest a firebreak here. [pointing with mouse] U: Isn't the area too steep?  

Questions : Sur quoi repose la structure d’un discours ? Comment la déterminer ? Quelles infos sont pertinentes ? Quelles sont les relations entre les segments de cette structure? Questions de fond : Quelle est la nature de la cohérence d'un discours? Comment expliquer le rôle d'un segment du discours par rapport au discours en entier?

Quelques approches Relations rhétoriques Cohérence du discours repose sur un ensemble fini de relations rhétoriques. Par ex. purpose, enablement, circumstance, background, motivation "discourse", "rhetorical", "coherence" relations Ex: Hobbs (79,83), Lehnert (81), Reichman (81), Mann et Thompson (86), McKeown (85) parmi les premiers Mais : choix et définition des relations? (comment sait-on qu'on les a toutes, et qu'elles sont toutes bonnes?) diversité des intentions sous-jacentes aux discours par opposition à un ensemble fini de relations

Quelques approches (suite) Grammaires Cohérence du discours repose sur un ensemble fini de règles de décomposition (grammaire; type d'information à la base des règles varie selon les modèles) ex : "story grammar", Rumelhart (1975) story  setting episodes setting  state-desc setting  state-desc setting episodes  episode episodes  episode episodes episode  events reactions events  event-desc events  event-desc events

Quelques approches (suite) Grammaires (suite) ex : « argument grammar", Reichman (1984) argument  claim support support  authority citation support  narrative support  proposition Mais : choix des règles? notion de structure correcte ou incorrecte? comment choisir quelle règle appliquer?

Approche de Grosz et Sidner Cohérence (structure) du discours repose sur un ensemble infini d'intentions et un petit ensemble de relations entre intentions "intentional relations are the root of discourse structure" (1986) “the natural segmentation of a discourse reflects intentional behavior" (1990) Problème subsidiaire : comment reconnaître les intentions  reconnaissance de plans

“Attention, Intentions and the Structure of Discourse” Grosz et Sidner (1986) Un modèle de dialogue en trois composantes interdépendantes : structure linguistique : segmentation du discours "linguistic structure" : discourse segments and an embedding relationship between them structure intentionnelle : intentions et relations "intentional structure": discourse segment purposes (DSPs) and the relationships of dominance and satisfaction-precedence état attentionnel : segments de discours, entités et intentions "attentional state " : an abstraction of the discourse participants' focus of attention as their discourse unfolds, containing the entities that are salient to the segment, as well as its DSPs.

Discourse Structures (GS86) linguistic intentional segments purposes focus spaces attentional Segmentation Focus of attention Plans underlying discourse

Structure linguistique Structure hiérarchique composée d'énoncés regroupés en segments ("discourse segments"), Interaction bidirectionnelle entre la structure linguistique et les énoncés: la structure linguistique permet de contraindre l'interprétation des énoncés (cf. la référence). les expressions linguistiques (intonation, "cue phrases", "tense shift") peuvent communiquer des informations concernant la structure linguistique "In essence, the OCP must judge for each utterance whether it start a new segment, ends the current one (and possible some of its embedding segments), or contributes to the current one."

Etat attentionnel Structure dynamique composée d'informations contextuelles concernant les objets, propriétés, relations et intentions qui sont les plus pertinents à un moment donné. Permet de limiter l'information contextuelle disponible pour l'interprétation et la génération d'énoncés (cf. référence)  Modélisation: une pile de "focus spaces", un par segment de discours encore ouvert, contenant, chacune, les entités mentionnées dans le segment correspondant (« quoi? ») et une représentation du "discourse segment purpose" (« pourquoi? ») "The focusing structure is the central repository for the contextual information needed to process utterances at each point in the discourse. It distinguishes those objects, properties, and relations that are most salient at that point and, moreover, has links to relevant parts of both the linguistic and intentional structures."

Structure intentionnelle Structure composée d'intentions ("discourse segment purpose", DSP), reliées entre elles par les relations de "dominance" et de "satisfaction-precedes". "Discourse segment purpose": (DSP) la raison pour laquelle les locuteurs engagent le segment de discours en question ne sont pas nécessairement explicitement formulés dans un énoncé n'existent pas en nombre fini doivent être reconnus "A rather straightforward property of discourse, namely, that they (or, more accurately, those who participate in them) have an overall purpose, turns out to play a fundamental role in the theory of discourse structure. In particular, some of the purposes that underlie discourse, and their component segments, provide the means of individuating discourses and of distinguishing discourse that are coherent form those that are not".

Structure intentionnelle (suite) Relations "dominance" : DSP1 domine DSP2 si DSP2 contribue une partie de la satisfaction de DSP1 "satisfaction-precedes": DSP1 "satisfaction-precedes" DSP2 si DSP1 doit être satisfaite avant DSP2 "These relations represent respectively, the fact that satisfaction of one intention contributes to the satisfaction of a second, and the fact that one intention needs to be satisfied before another. (...) Determination of discourse segment purposes depends in part on recognition of these relationships, in part on domain knowledge, and in part on other features of the discourse context."

Segments de discours, état attentionnel et structure intentionnelle Figure 1 p.181 Exemple : dialogue dirigé par la tâche Dialogue en fig.5 p.186 Structure linguistique sur même figure Etat attentionnel fig.7 p.191 Structure intentionnelle fig.6 p.187

Reconnaissance des DSPs "The OCP must identify both the intention that serves as the discourse segment purpose and its relationship to other discourse-level intentions." si l'énoncé débute un nouveau segment : " OCP must recognize the DSP of that segment, as well as its relationship to the other DSPs underlying the discourse and currently in focus." si l'énoncé termine le segment en cours : " OCP must come to believe that the DSP of that segment has been satisfied." si l'énoncé contribue segment en cours : " OCP must determine the effect of the utterance on the segment's DSP."

Reconnaissance des DSPs (suite) "Two issues that are central to the recognition problem are what information the OCP can utilize in effecting the recognition and at what point in the discourse that information becomes available." L'information disponible pour la reconnaissance des DSP inclut : des marqueurs linguistiques ( "cue phrases", par ex. "by the way"; intonation; changement de temps "tense shifts" ) les intentions an niveau des énoncés (les DSP peuvent combiner les intentions de plusieurs énoncés) les connaissances générales, partagées entre les interlocuteurs, sur les objets et les actions du domaine du discours    "It remains an open research question what inferences are needed and how complex it will be to compute supports and generates relationships if the dominance relationship is not directly indicated in a discourse."

Importance des marqueurs linguistiques « that reminds me » new discourse segment, that is embedded with respect to the previous one new DSP that is dominated by previous one new PS that is pushed onto the stack « First, … then » two discourse segments that follow each other two DSPs, with a «Satisfaction-Precede» relation between them one FS that is popped off the stack before the second is pushed onto it. « but anyway », « in any case » no new segment, nor FS, nor DSP FS : pop to some other space back in the stack return to an old DSP, no change in intentional structure

Importance de l’intonation Hirschberg & Litman (1987) I’m 58 now and [uh] they forced me off the job … [deictic] My husband retired and [uh] this is the first year, now what’s this about [uh] quarterly income tax … [cue phrase  new discourse segment] So in other words I will have to pay the full amount of the [of the uh] tax now what about PA state tax? [Mary told Jane she won the prize.]

Importance des intentions au niveau des énoncés Le DSP d’un segment peut être identique à l’intention au niveau de l’énoncé de l’un des énoncés du segment ou bien il peut combiner les intentions de plusieurs énoncés « I want you to arrange a trip for me to Palo Alto. It will be for two weeks. I only fly on TWA »  « the process can be quite complex »

Importance des connaissances sur le domaine Les relations qui existent entre les actions mentionnées dans le segments de discours peuvent permettre de dériver une relation entre les deux DSPs correspondants. Exemple : une relation de “génération” entre actions (Goldman 1970) peut induire une relation de dominance entre les DSPs correspondants. DSP1 : l’intention d’apprendre sa leçon (A1) DSP2 : l’intention de lire ses notes (A2) DSP3 : l’intention de lire les articles mentionnés (A3) génération((A2,A3), A1) Alors : dom(DSP1,DSP2) et dom(DSP1, DSP3)

Conclusion GS 86 Deux limitations principales structure intentionnelle peu développée pas de proposition de modèle de traitement ("computational mechanism") pour reconnaître la structure d’un discours (malgré la présentation d’infos utiles à cette reconnaissance) Grosz et Sidner 1990 (86-87): "Plans for Discourse" introduction du modèle des plans partagés ("Shared Plans", SP), dans le but de mieux spécifier la composante intentionnelle de la structure du discours. Lochbaum 1994 (thèse): "Using Collaborative Plans to Model Intentional Structure in Discourse" présentation d'un modèle de reconnaissance de la structure intentionnelle d'un discours et specification du rôle des SP dans ce processus.

"Plans for Discourse" Grosz et Sidner (1990) Prémisses Le dialogue est une instance de comportement collaboratif "Discourses are fundamentally examples of collaborative behavior. The participants in a discourse work together to satisfy various of their individual and joint needs." La collaboration ne peut pas être modélisée par la simple juxtaposition de plans individuels Les plans sont des attitudes mentales complexes plutôt que des structures de données abstraites 

Introduction Constat : Conséquence : cet article, qui Inadéquation des travaux existants dans le domaine de la planification et de la reconnaissance de plans pour le traitement du dialogue ("discourse situations") Conséquence : cet article, qui présente les caractéristiques de la "situation du discours" évalue et critique les travaux précédents sur la planification et la reconnaissance de plans dans le domaine du TAL propose un nouveau type de plans, et montre comment celui-ci peut servir à contraindre le processus de reconnaissance de plans.

Idée centrale Pour qu'une collaboration réussisse, les participants à un dialogue doivent avoir des croyances mutuelles concernant les buts à atteindre, les actions à exécuter, ainsi que les capacités, intentions, et engagements des participants. La représentation formelle de ces aspects des états mentaux des participants est appelé un plan partagé.

Le modèle des Plans Partagés : «Shared Plans» ensemble de croyances et d'intentions nécessaires à la collaboration (Pollack 1986) au départ : un plan partagé partiel, puis complété au fur et à mesure du dialogue, avec des intentions et croyances exprimées dans les énoncés. processus de compréhension et de génération : définis par rapport à la contribution de chaque énoncé au plan partagé partiel les interlocuteurs sont perçus comme cherchant à établir, à travers leurs énoncés, les attitudes mentales requises pour une collaboration.

Particularités des plans dans le domaine du discours La reconnaissance de plans repose sur des informations partielles Les plans ont pour but d'être reconnus (cf. Grice, 1969) Des marqueurs linguistiques fournissent des informations explicites au sujet des intentions Les participants à un dialogue sont à la fois acteurs et agents inferrants Ils ont des croyances privées, qui ne sont pas nécessairement complètes, ni parfaites, ni identiques "Thus, the plan recognition process for discourse entails incremental recognition on the basis of partial information, accomodation of uncertainty, and strategies for resolving inconsistencies in beliefs among participants."

Insuffisances des modèles de planification existants l'hypothèse du maître et de l'esclave ("the master/slave assumption" ) l'hypothèse de connaissances complètes et correctes (de l’agent inferrant) l'hypothèse d'un domaine limité à un seul agent (représentation des plans) formalismes de représentation de type STRIPS (difficultés à raisonner au sujet du temps, des actions multi-agents, de différentes relations entre actions; sémantique et utilisation variées)

Rappel : formalisme STRIPS (Fikes & Nilsson, 1971) Actions modélisées par des opérateurs États spécifiés par des conjonctions de formules atomiques Schéma d’opérateur : Entête (nom de l’action) Liste de préconditions Liste d’effets (« add and delete lists ») Corps (pas toujours) Exemple : actes de langage de Allen et Perrault 1980) INFORM(speaker, hearer, P) Precondition : KNOW(speaker, P) Effect : KNOW(hearer, P)

Pollack (1986, 1990) "There are plans and there are plans. There are the plans that an agent "knows": essentially recipes for performing particular actions or for achieving particular goal states. And there are the plans that an agent adopts and that subsequently guide his action. This distinction is between knowing that a plan for assassinating the president is shooting him, and actually planning to assassinate the president by shooting him." A: I want to talk to Kathy, so I need to find out the phone number of St. Eligius. B: St. Eligius closed last month. Kathy was at Boston General, but she's already been discharged. You can call her at home. Her number is 555-1238.

Qu’est-ce qu’un plan? Travaux antérieurs : Pollack : Une « recette » indiquant comment exécuter une action, ou bien comment atteindre un but. « I know that a way to assasinate the president is to shoot him. » Importance accordée aux données du plan. Pollack : L’état mental d’un agent (intentions et croyances) « John Hinckley intends to assasinate Reagan by shooting him » Importance accordée aux états mentaux associés à un plan. « The definition of a plan must account for the ways in which the intentions of the agent who is (about) to perform the actions and his beliefs about those actions affect the appropriateness and success of the plan ».

Les plans individuels «simples» (Pollack) Simple Plan(G, n, [1, …, n-1], t2, t1) Agent G has at time t1 a simple plan to do n,, consisting of doing the set of acts {1, …, n-1} at t2 BEL(G, EXEC(i,G, t2), t1), for i = 1, …, n  belief that the agent can perform each of the i BEL(G, GEN(i, i+1,G, t2), t1), for i = 1, …, n-1  belief that the performance of the set of i entails the performance of  INTEND(G, i, t1, t2), for i = 1, …, n  intentions to do each of the i INTEND(G, by(i, i+1) t2 , t1), for i = 1, …, n-1 intention to do A by doing the i

Les plans individuels (suite) Importance du rôle des intentions et croyances Croyances au sujet des relations entre actions Croyances au sujet de l’exécutabilité des actions Intentions concernant ces actions « mental state view of plans » « Pollack’s definitions of intentions and of the simple plan of an agent provide a much richer and cleaner model of an agent’s plan to achieve some desire on the basis of a simple action or sequence of actions. The richenesss originates with the addition of intentions, and beliefs about execution and generation among actions. Her model clearly distinguishes among believing that actions fit together in certain regular ways, believing that one can execute those actions, and actually intending to act. »

Que veut donc dire « avoir un plan » ? J’ai un plan qui consiste à obtenir une thèse (A) en étudiant le domaine associé (B1), développant une solution à un problème donné (B2), rédigeant un document (B3), et présentant mon travail devant un jury (B4). Croyances : Je crois que je peux exécuter B1, B2, B3 et B4. Je crois que l’exécution de B1, B2, B3 et B4 aboutira à l’obtention de ma thèse (A). Intentions : J’ai l’intention d’exécuter B1, B2, B3 et B4. J’ai l’intention d’obtenir ma thèse en exécutant de B1, B2, B3 et B4.

Les Plans Partagés : but un formalisme de représentation de plans multi-agents dans des situations de collaboration, utile pour le langage (actions et plans linguistiques) ainsi que pour d'autres formes de comportement collaboratif (actions et plans non-linguistiques). "In a more practical vein, the concept of shared plans provides a foundation for theories of collaborative behavior that could provide for more flexible and fluent interactions between computer systems and users undertaking joint problem-solving activities."

Les Plans Partagés : définition Shared Plan(G1, G2, A) Agents G1 and G2 have a shared plan to do A ,consisting of doing the set of acts {1, …, n} MB(G1, G2, EXEC(i,Gi), for i = 1, …, n  MB(G1, G2, contr(i,A)), for i = 1, …, n-1  MB(G1, G2, INTEND(Gi, i )), for i = 1, …, n  MB(G1, G2, INTEND(Gi, by(i, A))), for i = 1, …, n INTEND(Gi, i )), for i = 1, …, n  INTEND(Gi, by(i, A))), for i = 1, …, n

Les Plans Partagés : définition (suite) la croyance mutuelle que l'agent de i peut effectuer I (pour tous les i) la croyance mutuelle que l'exécution de l'ensemble des i entraîne l'exécution de A la croyance mutuelle que l'agent de i a l'intention d’exécuter i (pour tous les i) la croyance mutuelle que l'agent de i a l'intention d’exécuter i dans le but d’exécuter A (pour tous les i) l'intention individuelle de l'agent de i d’exécuter i (pour tous les i) l'intention individuelle de l'agent de i d’exécuter i dans le but d’exécuter A (pour tous les i)

Les Plans Partagés : utilisation Croyances mutuelles : "multiple agents cannot act with any assurance unless there is such mutual beliefs. Pertinence : les énoncés pertinents sont ceux qui contribuent aux intentions et croyances faisant partie du plan partagé. les plans partagés constituent donc un contexte essentiel pour le traitement de la langue, permettant de guider le dialogue à la fois pour l'interprétation : les énoncés produits contribuent des intentions et croyances au plan partagé et la génération : les énoncés à produire doivent adresser les croyances et intentions "manquantes"

Démarrage d’un plan partagé : CDR1 Les participants d'un dialogue viennent à démarrer un plan partagé par le biais d'une règle conversationnelle par défaut similaire aux principes conversationnels de Grice. CDR1 : If the participants believe that one of them, say G1, has a particular desire, say to achieve a state in which P holds (or to perform action A) and they are cooperative and they are communicating about the desire to achieve P (perform A) Then they mutually believe that G1 has a desire for them to construct a SharedPlan to achieve P (or perform A)

Du plan partagé partiel (PSP) au plan partagé CDR1 est une règle par défaut, n'établissant que la croyance mutuelle du désir de l'un d'entre eux (G1) d'accomplir un plan partagé Pour démarrer ce plan, les autres agents doivent acquiescer, explicitement ou implicitement, au désir du premier. Quand l'ensemble des agents ont le désir d'accomplir le plan partagé, mais n'ont pas encore établi ce plan, on dit qu'ils ont un plan partagé partiel La reconnaissance de plans consiste alors à « remplir » ce PSP, chaque énoncé contribuant des intentions et croyances nécessaires à l’élaboration du plan partagé complet

Exemple : actions simultanées S1. I want to lift the piano. S2. OK. I will pick up this [deictic to keyboard] end. S1. OK. I will pick up this [deictic to foot] end. S2. OK. Ready? S1. Ready.

Exemple : analyse Hypothèse: une analyse comme celle de Perrault's, utilisant des règles par défaut pour déterminer les conséquences immédiates de chaque énoncé. (1’) MB(S1, S2, Desire(S1, lift(piano))) à partir de (1’), CDR1 et des hypothèses de coopération MB(S1, S2, Desire (S1, Achieve (SP (S1, S2, lift(piano))))) (2) S2 exprime le fait qu’il est d’accord MB(S1, S2, Desire (S1, S2, Achieve (SP (S1, S2, lift(piano))))) (3’) MB(S1, S2, INT(S2, lift(keyboard-end))) expression des intentions mentionnées dans clauses (3) et (5) du SP pour l’un des i implicite: la croyance (individuelle) de S2 que S2 peut exécuter l’action qu’il a l’intention de faire (une partie de clause (1) du SP pour l’un des i)

Exemple : analyse (suite) (4) S1 exprime le fait qu’il est d’accord croyance mutuelle de l’exécutabilité : clause (1) du SP pour l’un des i croyance mutuelle des intentions : clauses (3) et (5) du SP pour l’un des i croyance mutuelle de la contribution de cette action par rapport l’action souhaitée: clause (4) du SP pour l’un des i (5) MB(S1, S2, INT(S1, lift(foot-end))) Analogue à (3) : expression des intentions mentionnées dans clauses (3) et (5) du SP pour l’autre i implicite: la croyance (individuelle) de S1 que S1 peut exécuter l’action qu’il a l’intention de faire (une partie de clause (1) du SP pour l’autre i)

Exemple : analyse (suite) (6) S2 exprime le fait qu’il est d’accord croyance mutuelle de l’exécutabilité : clause (1) du SP pour l’autre i croyance mutuelle des intentions : clauses (3) et (5) du SP pour l’autre i croyance mutuelle de la contribution de cette action par rapport l’action souhaitée: clause (4) du SP pour l’autre I (7) et (8) confirmation croyance mutuelle que les actions prévues sont suffisantes pour réaliser leur but : clause (2) du SP

Exemple : analyse (suite) SharedPlan(S1, S2, lift(piano)) MB(S1, S2, EXEC(lift(foot-end), S1) & EXEC(lift(kb-end), S2)) MB(S1, S2, GEN-simult(lift(foot-end) & lift(kb-end), lift(piano))) MB(S1, S2, INT(S1, lift(foot-end))) & MB(S1, S2, INT(S2, lift(kb-end))) MB(S1, S2, INT(S1, BY(lift(foot-end), lift(piano)))) & MB(S1, S2, INT(S2, BY(lift(kb-end), lift(piano))) ) INT(S1, lift(foot-end)) & INT(S2, lift(kb-end)) INT(S1, BY(lift(foot-end), lift(piano))) & INT(S2, BY(lift(kb-end), lift(piano)))

Plan Partagé : remarque Problèmes avec l’opérateur INT (Grosz et Kraus 1993) intention d’exécuter une action : INT-TO intention qu’une proposition tienne : INT-THAT Rectification définition SP : MB(S1, S2, EXEC(lift(foot-end), S1) & EXEC(lift(kb-end), S2)) MB(S1, S2, GEN-simult(lift(foot-end) & lift(kb-end), lift(piano))) MB(S1, S2, INT-TO(S1, lift(foot-end))) & MB(S1, S2, INT-TO(S2, lift(kb-end))) MB(S1, S2, INT-THAT(S1, contr(lift(foot-end), lift(piano)))) & MB(S1, S2, INT-THAT(S2, contr(lift(kb-end), lift(piano))) ) INT-TO(S1, lift(foot-end)) & INT-TO(S2, lift(kb-end)) INT-THAT(S1, contr(lift(foot-end), lift(piano))) & INT-THAT(S2, contr(lift(kb-end), lift(piano)))

Reconnaissance de plans : en résumé "The recognition process for SPs as sketched in this paper proceeds essentially as follows: the initial utterances put on the table a proposal that there be a SP developed and carried out to satisfy the initiating conversational participant's desire; the subsequent utterances must somehow address this proposal, either accepting or denying it; assuming the proposal is accepted, subsequent utterances can provide information about any of the beliefs or intentions embedded in the definition of a SP." Travail futur spécification de relations plus complexes entre actions détails sur le processus de reconnaissance 

"Collaborative Plans for Group Activities" Grosz et Kraus, 1993   Revised and expanded version of SP: 1990 version of SP: accommodates actions involving treated only actions which directly groups of agents as well as complex decomposed into actions by single actions that decompose into multi-agent agents   actions allows for contracting out certain situation not accounted for actions describes the mental states of agents did not specify in any detail the notion who do not know a complete recipe for of a partial SharedPlan which was accomplishing their joint action intended to represent this kind of partiality

Comparaison (suite)   Revised and expanded version of SP : 1990 version of SP : provides a model with the features for ex.: did not account for the required in Bratman's account of commitment of an agent to the success shared cooperative activity (1992). of a collaborative partner's actions. presents a reformulation of the model of individual plans that corresponds to the definition of SPs.  Remarque: important débat philosophique sous-jacent : existe-il une notion "d'intention mutuelle" comme on a des croyances mutuelles?

Grosz et Kraus : Formalisme Intention and belief INT.TO and INT-TH BEL and MB Executability CBA (can bring about) and BCBA (belief that one can bring about) individual plans (IP) PIP (partial) and FIP (full) shared plans (SP) PSP (partial ) and FSP (full)  Axioms and/or theorems for all of the above

FSP(GR, , Tp, T, R, C) A group of agents GR have a full shared plan at time Tp to perform act  at time T using recipe R in context C GR has a recipe for  For each single-agent constituent act i of the recipe, there is an agent Gi  GR, such that Gi intends to perform i and there’s a recipe Ri for i such that Gi believes that it can perform i according to the recipe Gi has a FIP for i according to the recipe The group GR mutually believe (2a) The group GR is committed to GI’s success For each multi-agent constituent act i of the recipe, there is a subgroup of agents GRi  GR such that There is a recipe Ri for i such that GRi mutually believe that they can perform i according to the recipe GRi has a FSP for i according to the recipe The group GR mutually believe (3a) The group GR is committed to GRI’s success

Travail futur « interesting new problems » The need to develop more flexible methods for reasoning about resources and resource conflicts in the context of collaborative activity, and to examine the tradeoffs among them. The need to develop more complex methods for groups to construct and agree on recipes. The need to understand more fully the ways in which communication supports collaboration and to develop a more complete set of communication axioms. Fuller specification of certain aspects of the formalization Reasoning mechanisms that individual agents utilize for elaborating partial shared plans Axioms for the attitude of intending-that Mechanisms for reconciling intentions Formalism of commitment

“A Collaborative planning model of intentional structure”, Lochbaum 1994, 1998 (C.L.) Bases théoriques model du discours : Grosz and Sidner 1986 mais pas de proposition de modèle de traitement du modèle de structure proposé planification : Shared Plans (Grosz/Sidner 1990, Grosz/Kraus 1993) mais n'indique pas de connection entre SP et la structure du discours Contribution principale de ce travail: un modèle de reconnaissance de la structure intentionnelle d'un discours reposant sur les plans partagés. Ces plans sont utilisés pour représenter les composantes de la structure intentionelle pour raisonner au sujet de cette structure intentionnelle lors de l'interprétation et la génération d'énoncés. de plus : un travail sur la formalisation des "préconditions de connaissance » 

Idées principales Chaque segment du discours est modélisé en utilisant un plan partagé. Le but de chaque segment (DSP) est interprété comme une intention (tenue par l'initiateur du segment) des interlocuteurs à former ce plan Les énoncés faisant partie du segment sont interprétés à travers leur contribution au plan partagé correspondant. Les interlocuteurs sont donc perçus comme cherchant à établir, à travers leurs énoncés, les attitudes mentales requises pour une collaboration. Les relations entre les DSP reposent sur des relations subsidiaires entre les plans partagés correspondants. (Un plan, SP1, est subsidiaire à un autre, SP2, si la réalisation de SP1 contribue à la réalisation de SP2, c’est à dire, si SP1 établit une des croyances ou intentions nécessaires à l’établissement de SP2.)

Interprétation G1 interprète les énoncés de G2 par le biais de la contribution de ces énoncés à leur PSP. Cette interprétation peut prendre une des 3 possibilités suivantes : indication de l'initiation d'un SP subsidiaire de la fin du SP courant ou d'une contribution au SP courant. Ces trois cas correspondent au problème de déterminer si un énoncé débute un nouveau segment de discours, complète le segment courant, ou bien y contribue. Dans chaque cas, G1 commence par attribuer une attitude mentale à G2 à partir de son énoncé, puis raisonne au sujet de la pertinence de cette attitude mentale par rapport à leur PSP.

Génération Les croyances et intentions de G1 et G2 nécessaires à l’établissement de leur SP, mais manquantes à leur PSP sont maintenues dans un "agenda". Les énoncés de G1 sont formés à partir de cet agenda, et peuvent à leur tour, résulter en de nouvelles croyances ajoutées à l'agenda. Chez Lochbaum, l'organisation de cet agenda, ainsi que la procédure de sélection d'un élément de l'agenda à poursuivre, ne sont pas traitées. La mise en oeuvre fait appel à un "oracle" .

Le «R-Graph»: arbre de planification une représentation dynamique résultant de la composition et de l'instantiation de recettes représentation concrète de croyances mutuelles et intentions faisant partie du plan partagé des interlocuteurs et concernant les actions mentionnées dans le dialogue utilisée pour la modélisation du processus de raisonnement par lequel l'agent détermine la contribution d'un énoncé (interprétation ou génération) au plan partagé partiel des interlocuteurs. construit par le "Rgraph construction algorithm"

Préconditions de connaissance Pour pouvoir exécuter une action, l’agent doit satisfaire à la fois les préconditions physiques (par ex. la main du robot doit être vide pour qu’il puisse ramasser un objet) et les préconditions de connaissance (le robot doit savoir comment ramasser un objet) Révision des opérateurs de «capabilité » de Grosz et Kraus

Balkanski et Hurault-Plantet (2000) A computational model of dialogue which supports the representation of, reasoning about and execution of communicative and non-communicative actions. and allows for cooperative human-machine communication in written dialogues Theoretical fondations  Grosz and Sidner's theory of collaborative discourse + Shared Plans  Lochbaum's computational model for discourse processing Research objective : modelling cooperative behavior To allow the agent being modelled to interpret and manifest a type of cooperative behaviour which follows Grosz and Kraus’s formalization of the commitment of each collaborative agent towards the actions of the other collaborative agents.

Diagramme schématique du modèle de dialogue

Exemple de recette talkToPerson recipe

Exemple de mise à jour du graphe de planification

Etude de corpus Corpus Exemple de dialogue Transcription of human-human task-oriented dialogues (Castaing 1993) setting: telephone switchboard in an industrial setting Exemple de dialogue L : <appel> S: CNRS L: bonjour Mme euh je voudrais le Mr A svp S: Mr A. $oui$$ quel est son poste L: c'est euh il travaille avec Mme Muzeu S: Mme L: MUZEU S: A. j'connais pas Muzeu ça m'dit vous savez où elle se trouve dans quel… L: hou la la la la c'est au LEI mais $ah oui effectivement$$ S: 22-26 j'vous la passe hein

Exemples de recettes establishCommunication recipe

establishCommByIntermediary recipe Recettes (suite) establishCommByIntermediary recipe

transferPerson recipe Recettes (suite) constraint G3  Entities   transferPerson recipe

Actions communicatives achieveHaveValueByRequest achieveHaveValueByConfirm recipe recipe

Exemple de dialogue <telephone call> System: Hello. User: Hello. I would like to speak to Mr. B. System: Mr. B? User: No, Mr. D. System: OK, here he is.

Planification Graph: Action statuses the agents have not discussed the act, but the system believes that it will be part of their joint recipe (action projetée) the agents have discussed the act and agree that it is an element of their joint recipe the act is basic and the agents have agreed to its performance the act is complex and the agents have agreed to a particular recipe for the act the act has been performed

Planification Graph after the interpretation of the phone call in (1) (1) phone call (2) "Hello"   (3) "Hello, I would like to speak to Mr.B"

Partial view of the Planification Graph after the interpretation of utterance (3)

(suite)

Partial view of the Planification Graph before the generation of utterance (4) (4) "Mr.B?" (5) "No, Mr.D"

Conclusion A model for interpreting and generating both communicative and non-communicative actions in the context of task-oriented dialogues ; Interpretation and Task Advancement algorithms allowing for cooperative human-machine communication in written dialogues ; cooperative behaviour of the agent being modelled rests on the use of communicative actions allowing agents to share additional knowledge and assist each other in performing their actions Extensions to Lochbaum’s work Interpretation algorithm that allows for a more extensive search through the Rgraph, and for the treatment of a wider range of dialogues, algorithm of Task Advancement that allows for the interleaving of execution and planning, and that handles generation

COLLAGEN Rich et Sidner (1997) Goal:   allow a human user and an artificial agent to collaborate on a task following the rules and conventions of human discourse. Theoretical foundations discourse structure: Grosz and Sidner 86 collaboration: SharedPans: Grosz/Sidner 90, Grosz/Kraus 93, Lochbaum 93 Important note: no natural language understanding (!) practical point of view: difficult problem in its own right theoretical point of view: "discourse theory addresses the content of collaborative communicationt a very fundamental level, regardless of what language is used". language used:  an artificial language developped by Sidner (AAAI'94) communication between agent and user is by English sentences,generated from this artificial language using simple string templates

Implementation a prototype toolkit called Collagen (for Collaborative Agent) application-independent component: underlying discourse structures and processing application-specific component: domain specific knowledge an air travel application using it direct-manipulation interface to an airline schedule database, and a simple constraint checker. typical problem to be solved: "You are a Boston-based sales representative planning a trip to visit  customers in Dallas, Denver, and San Francisco next week. You would prefer to leave on Wednesday morning, but can leave on Tuesday night if necessary. Your customer in Denver is only available between 11a.m. and 3p.m. on Thursday. You would prefer to fly as much as possible on American Airlines, as you have almost enough frequent-flyer miles to qualify for a free trip this summer. You absolutely must be home by 5p.m. on Friday in order to attend you son's piano recital.

Agent's internal discourse state Focus Stack: contains open segments mutually believed info  Recipe Tree: a concrete representation of some of the mutual beliefs in SPs mutually believed info (Fig 4, IUI'97) composed of alternating act and recipe nodes, each having associated bindings and constraints   History List: contains toplevel segments that have been popped off the stack

Algorithmes Discourse interpretation algorithm :  reimplementation of Lochbaum's rgraph augmentation algorithm Discourse generation algorith     the inverse of the interpretation algorithm

System: 3-way interaction: Communication between user and agent : via home-window agent to user: printing English text in the agent's home window user to agent: by the user selecting from a dynamically-changing"user communication menu", appearing in user's home page [more below]  Observation between user and agent user observes agent's actions by watching the agent's cursor agent observes user's actions by virtue of a layer in the application  Interaction between user/agent and shared application user and agent both have a cursor, and can both use the same graphical interface to modify the state of the application note: state of the application may also be queried and modified using the application's programming interface