Anne Xuereb et Jean Caelen Laboratoire Clips-Imag

Présentation au sujet: "Anne Xuereb et Jean Caelen Laboratoire Clips-Imag"— Transcription de la présentation:

1 Anne Xuereb et Jean Caelen Laboratoire Clips-Imag
Un modèle d’interprétation pragmatique en dialogue homme-machine basé sur la SDRT (Segmented Discourse Representation Theory) Anne Xuereb et Jean Caelen Laboratoire Clips-Imag Nos travaux de recherche portent sur la modélisation de l’interprétation pragmatique en DHM, en utilisant la SDRT. Je remercie mes relecteurs. Leurs remarques détaillées m’ont fait considérablement progresser dans mon travail.

2 Plan Le cadre applicatif : portail vocal
Le cadre formel : adaptation de la SDRT Les relations rhétoriques retenues Règles de mise-à-jour de la SDRS Exemples de résolution Anaphore propositionnelle et pronominale Présupposition Bilan et perspectives Après avoir exposé le projet dans lequel s’insèrent ces travaux, je présenterai les outils formels : la manière dont nous adaptons la SDRT. J’illustrerai ensuite par des exemples les principes du traitement pragmatique : résolution des anaphores propositionnelles et pronominales, traitement des présuppositions Je terminerai par un bilan.

3 Cadre du projet : Agent conversationnel interactif
Projet PVE : Portail vocal d’entreprise Domaine = services de l’entreprise Modes d’accès = langage naturel, parole Dialogue homme-machine Assistant virtuel coopératif Multi-sessions et multi-partenaires  Interpréteur pragmatique : intègre l’interprétation de l’énoncé au contexte et à l’historique. Le cadre de nos travaux est le projet de recherche PVE : Portail vocal d’entreprise. L’objectif de ce projet est la conception et la réalisation d’une application complète jouant le rôle d’un assistant virtuel. Les usagers dialoguent en LN avec un agent conversationnel pour faire réaliser des tâches courantes dans l’entreprise comme la gestion d’agenda, l’organisation de réunions, la prise de rendez-vous … La réalisation complète d’un tâche se fait généralement en plusieurs sessions et peut faire intervenir plusieurs partenaires. L’objectif scientifique est la conception d’un modèle générique de dialogue. On cherche à minimiser la dépendance par rapport à la tâche. Dans ce modèle, je travaille sur l’interpréteur pragmatique : il intègre l’interprétation de l’énoncé au contexte de la communication et à l’historique du dialogue.

4 Exemple de dialogue A : Ici Luc Blanc, je voudrais réserver la salle Lafayette pour demain M : Désolé Monsieur Blanc, la salle est prise par Monsieur Durand, mais je peux tenter de lui demander de permuter A : D’accord, je reste en ligne M : Allô, Monsieur Durand ? B : Oui c’est moi M : Monsieur Blanc vous demande si vous pouvez repousser votre réunion de demain ou changer de salle B : etc. Voici un exemple de dialogue traité par le système.

5 Agent conversationnel : architecture générale
Enoncé oral Modèles Acoustiques Reconnaissance Modèle de Langage Morpho-syntaxe Chaîne orthographique Référents Tâches Concepts Compréhension Plan Historique Schéma sémantique Acte de langage Objets Gestion de la tâche Interprétation Connaissances Gestion du dialogue Contexte tâche But Stratégies Situation de communication Architecture générale du système de dialogue. Reco, compréhension. L’interpréteur pragmatique complète l’interprétation de l’énoncé en intégrant le schéma sémantique dans le contexte de communication et l’historique du dialogue. Il construit la structure logique du dialogue en s’appuyant sur la SDRT. Le gestionnaire de dialogue contrôle le dialogue en choisissant la stratégie la plus adaptée à la réalisation des buts dialogiques. Ces buts dialogiques sont construits à partir des informations provenant de l’interpréteur pragmatique et du gestionnaire de tâches. Le système produit alors la réponse : actions sur la monde et synthèse vocale. Génération Buts dialogiques Action sur le monde Synthèse TTS Enoncé oral 5

6 L’interpréteur pragmatique : les fonctions attendues
Contribution au calcul de l’acte de langage Intégration du contexte au dialogue Interprétation des déictiques dans le contexte de la situation Résolution des anaphores (co-référence) et les ellipses Appariement des questions et réponses Traitement des présuppositions et des implicatures Calcul de l’acte de langage : traitement coopératif des différents modules : analyse de marqueurs pragmatiques de l’énoncé Et prédiction de l’acte attendu le plus probable : certains actes posent des attentes.

7 Étude de corpus Transcription de dialogues téléphoniques + corpus « magicien d’Oz » Échanges courts mais énoncés complexes sur le plan linguistique  Propriétés observées Beaucoup d’ellipses, anaphores Phénomènes liés à la parole spontanée Expressions familières Enchaînements complexes de questions (questions de clarification, demande de confirmation …) Nous avons étudié plusieurs corpus de dialogue finalisé : Dialogues téléphoniques réels : secrétaires d’université, notaires, brancardiers dans des services d’urgence à l’hôpital, cadres de grandes entreprises. Corpus magicien d’Oz : simule la communication avec agent conversationnel en entreprise. Phénomènes liés à la parole spontanée : reprises, auto-corrections, … Données chiffrées sur corpus étudiés : Enregistrement de 800 dialogues réels 44 dialogues transcrits magicien d’Oz : 87 dialogues recueillis 12 dialogues analysés de manière approfondie

8 La SDRT en dialogue homme-machine finalisé : attendus
Modéliser les enchaînements complexes de questions/réponses Résoudre les anaphores propositionnelles (Q/R) Résoudre les anaphores pronominales Modéliser les présuppositions sémantiques La SDRT en DHM finalisé doit nous permettre de … La réponse est interprétée en accédant au contenu propositionnel de la question.

9 La SDRS du dialogue SDRS : structure hiérarchique
Relations subordonnantes/coordonnantes Règles structurelles pour la construction du dialogue Sites d’attachement disponibles Règle de la frontière droite Contraintes sur l’accessibilité des référents Au fur et à mesure de l’avancement du dialogue, nous construisons de manière incrémentale la SDRS globale du dialogue. La structure du dialogue est hiérarchique. Les relations rhétoriques relient deux actes de langage. Un nouveau segment ne peut être attaché qu’au dernier segment analysé ou aux segments qui dominent hiérarchiquement ce dernier. La construction de la structure hiérarchique doit mettre en évidence les contraintes sur l’accessibilité des référents. Hypothèses de travail en DHM finalisé : interlocuteurs coopératifs, énoncés pertinents, monde d’arrière-plan clos Dialogue oral spontané : pas d’analyse syntaxique et sémantique suffisamment fine pour exploiter des indices linguistiuqes élaborés Force illocutoire de l’acte de langage, + concepts véhiculés par prédicats et arguments. Nous adaptons la SDRT à ce contexte spécifique : nous avons identifié 6 relations spécifiques nous regroupons sous une même relation rhétorique les enchaînements qui ont même conséquences sur la structure hiérarchique et sur les résolutions de sous-spécifications.

10 Les six relations rhétoriques retenues
QAP (, ) paire Question-Réponse Complète (a) Quel est votre nom ? (b) Luc Blanc PQAP (, ) paire Question-Réponse Partielle (a) Pour quelle date voulez-vous réserver ? (b) Avant la fin du mois. IQAP (, ) paire Question-Réponse Indirecte (a) assisterez-vous au conseil de labo ? (b) je serai en mission. Q-ELAB (, ) Élaboration de Question (a) Pouvons-nous nous voir la semaine prochaine ? (b) Etes-vous libre mardi ? Arrière-Plan (, ) Arrière-plan du dialogue (a) Bonjour, Luc Blanc à l’appareil. Je voudrais réserver une salle. Coordination (, ) relation par défaut (a) J’ai enregistré votre demande. Je vous rappelle demain. et  sont des étiquettes d’actes de langage. QAP : réponse directe et complète  est une question  est une assertion  : réponse directe et complète PQAP :  est une réponse incomplete qui réduit l’ensemble des réponse possibles à . IQAP :  ne résout pas directement mais déclenche les inférences qui fournissent la réponse complète. Q-Elab :  est une question,  est une question dont la réponse constituera la réponse ( complète ou partielle) à  Arrière-plan :  représente un état. Nous définissons AP comme AP du dialogue entier : ce sont les conditions initiales du dialogue. Par cette relation nous intégrons l’historique d’une session précédente. Coordination : relation par défaut : simple succession de segments. Par ex nouvelle question après une séquence QAP, .. Mis à part Coordination, les autres relations sont subordonnantes. LA SDRT exploite l’hypothèse que toute réponse peut être réfutée ou complétée : la relation QAP est subordonnante et le nœud question reste ouvert.

11 La représentation logico-sémantique (DRS)
Énoncé : conjonction d’actes de langage F(p) force illocutoire F + contenu propositionnel p Forces FA , FF, FS, FFS, FD, FP P : marqueurs de référence ; prédicats ; équations Sous-spécifications U : Luc Blanc à l’appareil 1 : [FS ; a1 : personne ; identité+annonce(a1) ; a1.NomComplet =  "Luc Blanc"] Les 6 forces illocutoires : FA faire une action sur le monde ( acte déclaratif) FF : faire faire une action (ordonner) FS : faire savoir une information sur le monde ( asserter) FFS : faire faire savoir : poser une question FD : faire devoir (donner une obligation) FP : faire pouvoir( proposer un choix.) Contenu propositionnel est constitué de marqueurs de référence : variables avec type sémantique. Sous spécif : des éléments qui ne peuvent être interprétés par la compréhension sémantique

12 Règles d’inférence : QAP(1, 2)
Règles de déclenchement FFS(1)  FF(1) , FS (2) SatQR (K1, K2) Conditions de satisfaction Q/R : K 1 : ? x.Q(x) K2 :  p : p = (x.Q(x))  p  ( y p Q(y))  p    y Q(y)  Soit Q à polarité et K2  {Vrai, Faux, Q, Q } Soit K2 contient autant de référents que le nombre de lambda-termes de K1 (+ unification types sémantiques) Effets sémantiques de QAP x = y ; ()Q(y) ; nœud Q potentiellement résolu Les actes FFS et FS sont des actes qui attendent une réponse : Q Kp1 et Kp2 obéissent à la condition de satisfaction des Q/R : Question : lambda-expression sur laquelle est appliquée la formule sémantique du segment réponse. Réponse : ens des segments  tels que , en appliquant  sur la lambda expression de Q on obtienne une prop p vraie dans le monde. Ainsi oui , non satisfont cette condition. QAP : questions à a polarité ( oui/non questions) Ou Questions portant sur des constituants : Réponse contient autant de référents que le nombre de lambda-termes de la question. Hypothèse de coopérativité : si p est cohérent il est considéré vrai.

13 Règles d’inférence : PQAP(1, 2)
Règles de déclenchement FFS(1)  FF(1) , FS (2) SatQR (K1, K2) Conditions de satisfaction Q/R Soit K2 contient moins de constituants que les lambda-termes de K1 Soit les référents de K2 s’unifient avec les lambda-termes de K1 mais spécifient une opération de restriction et non une valeur exacte. Effets sémantiques de PQAP Q(y) ; x = y ; le nœud Question est partiellement résolu. PQAP : le segment R spécifie une opération de restriction sur les valeurs des éléments questionnés : plage de valeur et non une valeur exacte.

14 Règles d’inférence : IQAP(1, 2)
Règles de déclenchement FFS(1)  FF(1) , FS (2) K 1 : ? x.Q(x) K 2 : P tel que P  R  ( PQAP(1, R)  QAP(1, R) ) Effets sémantiques de QAP Assertion de R(K 1) ; nœud Question potentiellement résolu. La réponse exacte se déduit par inférence à partir de K2 Par exple : K2 contient des références anaphoriques ou déictiques, qui, après résolution, conduisent à la réponse exacte Quelle salle voulez-vous réserver ? La même que la semaine dernière. La détection de IQAP ne peut se faire qu’après résolution des sous-spécifications de K2.

15 Règles d’inférence : Q-Elab(1, 2)
Règles de déclenchement FFS(1)  FF(1) , FFS (2) Thème de K2 = sous-thème de K1 Effets sémantiques Nœuds Question 1 et 2 sont ouverts et non résolus. Le nœud Question 1 sera résolu par la réponse R à 2 Nous nous éloignons de la définitions de Q-Elab en SDRT standard, qui fait intervenir la notion d’élaboration de plan.. En effet nous ne gérons pas le niveau cognitif dans l’interpréteur, et appliquons pour Q-Elab la relation de sous-thème, notion codée dans l’ontologie de concepts ( thème du prédicat + champ sémantique des référents). Par exemple pour le thème réservation, salle, horaire, nb de personnes sont des sous-thèmes Pour le thème convocation, le moyen de communication est un sous-thème.

16 Arrière-plan et Coordination
Informations d’état Début de dialogue Coordination Relation par défaut

17 Exemples de structures Q/R
PQAP Insertion nœud topique t1 R1 R2 PQAP Q1 topique autre segment Q1 Q2 R1 Q-Elab QAP Insertion nœud topique t1 Q1 Q2 Q-Elab QAP R1 autre segment topique (2) Après insertion de Q2, Q1 reste non résolu. IL sera résolu par R1 si R1 résout Q2. 17

18 Résolution des questions : anaphore propositionnelle
U: Bonjour, est-ce que la salle Lafayette est disponible demain ? 1 M : Non 2 1 : [FFS ; s1: salle, d: date, e1: booléen ; Agenda+demande(s1, d1, e1) s1= Salle Lafayette; d1 = DateJour +1, e1 = 0 ] 2 : [FS ; p:proposition, negation(p); p= ?] QAP(1 , 2)  2 = négation(1) e1 = 1 la salle Lafayette est réservée demain Je vais maintenant présenter 3 exemples de traitements : 1: anaphore propositionnelle 2 anaphore pronominale 3 présupposition

19 Anaphore pronominale U: Bonjour, Luc Blanc à l’appareil. 1
Est-ce que la salle Lafayette est disponible la semaine prochaine ? 2 M : Elle est disponible jeudi et vendredi. 3 U : Bon et bien réservez-la moi 4 M : Quel jour ? Jeudi ou vendredi ? 5 U : disons vendredi 6 Identité en début de dialogue : Arrière-plan (1 , ?) Déterminer le type de Q/R (2 , 3)

20 1 :[ FS ; a1: personne; Identité+annonce(a1); a1
1 :[ FS ; a1: personne; Identité+annonce(a1); a1.NomComplet= Luc Blanc] Arrière-plan (1 , ?), a1 = U utilisateur 2 :[ FFS ; s2: salle ; d2: ensemble_date, e2: booléen ; Agenda+demande(s2, d2, e2); s2= Salle Lafayette d2= semaineCourante+1, e2=0 ] 3 :[ FS ; v: indéfini ; d3, d4: date ; e3, e4: booléen; Agenda+annonce(v, d3, e3) ; Agenda+annonce(v, d4, e4) ; v = ? e3=0, e4=0, d3= jeudi, d4= vendredi]  IQAP (2 , 3) v = ? Recherche dans 2  v = s2 ; v : salle FFS et FS ; Correspondance exacte des prédicats demande et annonce, Reponse attendue : disponibilité pour la semaine prochaine Principe de cohérence : on fait l’inférence que jeudi et vendredi font partie de la semaine prochaine  Relation IQAP Résolution de v : contrainte sur le type sémantique attendu par prédicat Agenda+annonce ( salle ou matèriel) s2 défini et de type compatible 4 s’attache sur le résultat résolu de (2 , 3) 20

21 Workshop SDRT, TALN 04, Fès, 22 avril 2004 21
Le graphe 1 Luc Blanc Arrière-plan coordination réservation disponibilité t1 t2 4 2 Q-Elab IQAP 5 Le nœud topique t1 contient le résultat de la résolution IQAP(p2, p3) . C’est sur ce nœud que vient s’attacher le segment suivant = établissement du fond commun d’information établi par les participants au cours du dialogue. 3 QAP 6 Workshop SDRT, TALN 04, Fès, 22 avril

22 Présuppositions U: Bonjour, je voudrais reporter une réunion 1
M : Quel est votre nom ? 2 U : Luc Blanc 3 M : En effet, vous avez une réunion vendredi à 10h en salle Aquarium. 4 U : C’est cela. Je voudrais la reporter d’une semaine. 5 Reporter une réunion : rectifier une réservation, co-référence aux données de la réservation initiale. Je détaillerai seulement la représentation des énoncés 4 et  5

23 Workshop SDRT, TALN 04, Fès, 22 avril 2004 23
4 :[ FS ; a4: personne; s4:salle, d4: date, h4 : heure, reserv+annonce(a4, s4, d4, h4); a4 = U, s4 = Aquarium, d4 = vendredi, h4=10h] 5 :[ FFS ; s5 : salle ; d5, d6 : date ; reserv+rectification(s5, d6) d6= d5 + 1 semaine, d5 = ? s5 = ? ] 5 introduit dans le contexte s5 et d5, qui doivent être résolus par liage.  Coord(4 , 5) d5 = ? s5 = ? Recherche dans 4  s5 = s4 ; d5 = d4 Mécanisme d’accommodation (Van der Sandt, 1992) : si le liage des référents présupposés avec des éléments du contexte est impossible, alors ils sont introduits dans le contexte. Van der Sandt : présupposition  anaphore essai de liage si impossible alors accommodation Workshop SDRT, TALN 04, Fès, 22 avril

24 Bilan et perspectives Modèle dérivé de la SDRT adapté au dialogue homme-machine Spécificités du dialogue H-M finalisé Utilisateur : pas d’argumentation, ni de justification, ni d’énoncés de type rituel, peu d’enchâssements Agent : pas d’enchâssements But de l’analyse :  Construire la structure logique : contraindre les résolutions d’anaphores  Déclencher les effets sémantiques propres aux relations entre segments. Validation manuelle sur corpus Spécifications d’un prototype informatique Logique monotone Raisonnement hypothétique limité à un seul tour de parole. Nous avons établi un modèle dérivé de la SDRT pour le cadre spécifique du dialogue h-m finalisé. Les spécificités de ce cadre : Nous ne nous intéressons pas à la sémantique des liens d’explication, de causalité, justification. Agent automatique : pour une meilleure efficacité : enchaînements simples (non similaire à une communication humaine). Nous utilisons la SDRT pour structurer l’information établie par les enchaînements Question/Réponse. Nous avons ainsi simplifié les relations monologiques (seulement coordination) En revanche, les enchaînements de Q/R peuvent être complexes, et il faut modéliser ces attachements et déterminer lorsqu’un nœud Q complètement résolu. Structure logique : guidé par le principe de maximisation de la cohérence. Dialogue oral : pas d’indices linguistiques très fins. On se limite à des critères calculables. Nous avons analysé manuellement un échantillon représentatif du corpus. Nous avons vérifié que ce modèle permet de résoudre l’appariement des questions/réponses, en particulier les réponses partielles et inférentielles. Nous avons aussi vérifié la résolution des anaphores. Traitement des présuppositions est juste esquissé : nous travaillons sur leur formalisation ainsi que sur la modélisation des implicatures conversationnelles.

25 Workshop SDRT, TALN 04, Fès, 22 avril 2004 25
Algorithme Pour chaque acte de langage calculer les sites d’attachement disponibles Tant_que (résolution non terminée) et (nb hypothèses à évaluer > 0) poser une hypothèse de relation déclencher les inférences tenter toutes les résolutions Si (échec) Alors réfuter l’hypothèse ; mettre à jour (hypothèse à évaluer) Sinon mettre à jour la SDRS ; résolution terminée Fin_si Fin_tant_que Si (résolution non terminée) appliquer relations par défaut /* PQAP ou coordination */ /* certaines sous-spécifications ne sont pas résolues */ Fin d’évaluation des hypothèses : si aucune hypothèse n’a permis de résoudre  relation par défaut et maintien des sous-spécifications. Rel par défaut Q/R : PQAP Sinon: coordination sur dernier segment énoncé Fin_pour Workshop SDRT, TALN 04, Fès, 22 avril