Introduction à l'informatique linguistique

Présentation au sujet: "Introduction à l'informatique linguistique"— Transcription de la présentation:

1 Introduction à l'informatique linguistique
Mathieu Constant, Eric Laporte Licence d'informatique 3 Université de Marne-la-Vallée IGM

2 Cours 12 Dialogue

3 Dialogue Applications liées à la simulation d'un dialogue
- réservation de voyages - réponse à des questions - interface téléphonique pour courrier électronique - génération de comptes-rendus de réunions La plupart de ces applications nécessitent la reconnaissance de la parole de l'utilisateur

4 Reconnaissance de la parole
Entrée Un signal de parole capté par un micro Sortie Du texte écrit Difficultés Interruptions Il me faudrait le... vous avez le suivant ? Répétitions Il me faudrait le... il me faudrait le suivant Chevauchements A que[lle heure ?] - [Pardon], le 7 mai Ambiguïtés Qu'elle freine ? Quel frêne ? Euh A quelle heure ? - Euh, à, euh, 18 heures Prosodie Qu'elle freine ? Quel frêne ?

5 Reconnaissance de la parole
Prosodie Exemple : comparer et Intonation : hauteur du son Volume ou énergie : force du son Durée de chaque voyelle ou consonne Phonétique Exemple : comparer 4 22 et 80 2 [katxvndø] [katxøvdø] ~ ~

6 Tour de parole Chacun parle à son tour
Après la fin d'un tour de parole, ne pas laisser de pause avant de répondre S'il y a une pause, l'interlocuteur pense qu'on n'a pas compris Si l'utilisateur laisse une pause, il faut le relancer A Il y a quelque chose qui vous gêne ou non ? B (pause 1 s) A Oui ou non ? B (pause 1,5 s) A Allô ? B Non.

7 Signes de compréhension
Chacun signale régulièrement s'il comprend - réponse cohérente avec le tour de parole précédent A quelle heure ? - A 18 heures. - mot de continuation : m-hm, oui, bon, OK, et... Il part à 16 h m-hm. - et il arrive à 18 h 55. Je vais à Lisbonne. - Et vous voulez partir quand ? - reformulation : Il arrive à 18 h h 55. - compléter la phrase de l'interlocuteur Il y a un autre vol après celui de... - de 16 h 25 ? - demande de réparation A quel taux ? - Comment ?

8 Inférence - Quel jour vous voulez partir ?
- J'ai une réunion le 12 mai au matin. L'interlocuteur devine la date du voyage : le 11 au soir ou le 12 au matin - Vous pouvez me répéter les horaires ? L'interlocuteur devine que la question ne porte pas sur la possibilité de répéter, mais plutôt sur les horaires

9 Simulation d'un dialogue
Le système contrôle le dialogue et demande une information à la fois quelle ville de départ ? réponseville réponseville réponse=ville donnez le nom d'une ville réponse=ville où allez-vous ? réponseville réponseville réponse=ville donnez le nom d'une ville réponse=ville etc.

10 Simulation d'un dialogue
Le système remplit des formulaires (templates, frames) prédéfinis Formulaire Vol aéroport de départ aéroport d'arrivée heure de départ heure d'arrivée classe de tarif compagnie aller simple/aller-retour Si l'utilisateur donne plusieurs informations en une seule phrase, le système les retrouve et les sauvegarde dans le formulaire

11 Classification des actes de dialogue
1. En fonction des actes futurs Affirmation Demande d'informations Demande de confirmation Influence sur l'interlocuteur Options Ordre Influence sur soi-même Offre Engagement Conventionnel Ouverture Fermeture Remerciements

12 Classification des actes de dialogue
2. En fonction des actes passés Réponse à offre Acceptation Acceptation partielle Peut-être Refus partiel Refus Mise en attente Réponse à question Compréhension Avis non-compréhension Avis compréhension OK Répétition Complétion

13 Exemple affirm B Je dois voyager en mai.
dem d'inf, OK A Et quel jour vous voulez voyager ? affirm, rép B Alors, euh, j'ai des réunions là-bas du 12 au 15. dem d'inf, OK A Et vous allez où ? affirm, rép B A Lisbonne. dem d'inf, OK A Et à quelle heure vous voulez quitter Paris ? dem conf, att B Ben euh, je crois qu'il n'y a pas tellement le choix. accept, OK A Effectivement. affirm Il y a trois vols directs aujourd'hui. dem d'inf B A quelle heure ?

14 Exemple affirm, opt A Le premier part de Roissy à 10 h et arrive à Lisbonne à 12 h 05, heure locale. Le deuxième vol part de Roissy à 17 h 55 et arrive à Lisbonne à 20 h. Et le dernier part de Roissy à 20 h 15 et arrive à Lisbonne à 22 h 30. accept, OK B Bon, alors je prends le vol de 17 h et quelques, la veille, le 11. dem conf, OK A Le 11 ? affirm, OK D'accord. Départ 17 h 55, arrivée à Lisbonne 20 h, par le vol QI 115. OK B D'accord.

15 Reconnaissance des types d'actes de dialogue
Utilisation de la syntaxe des phrases affirm B Je dois voyager en mai. dem d'inf, OK A Et quel jour vous voulez voyager ? Même syntaxe, actes différents ordre B Est-ce que vous pouvez me donner les horaires ? dem d'inf B Est-ce qu'on sert à manger sur ce vol ? (est-ce que vous pouvez : souvent un ordre) dem confirm B Vous dites qu'il y a un troisième vol ? affirm B J'ai une carte de fidélité avec cette compagnie (prosodie différente)

16 Reconnaissance des types d'actes de dialogue
Par des mots et des constructions syntaxiques Est-ce que vous pouvez... ordre Par quel dem d'inf D'accord OK Par la prosodie intonation montante dem d'inf, dem confirm... Oui avec intonation montante OK Oui avec intonation stable accept Par la structure du dialogue Oui après affirm OK Oui après offre accept

17 Reconnaissance des types d'actes de dialogue
Observations disponibles sur le dialogue : O Séquence d'actes de dialogue : D P(D|O) probabilité que la séquence d'actes soit D connaissant O On recherche argmaxD P(D|O) = argmaxD P(O|D)P(D)/P(O) = argmaxD P(O|D)P(D)  argmaxD P(M|D)P(P|D)P(D) où M est l'ensemble des observations sur les mots et constructions et P sur la prosodie (on suppose M et P indépendants : approximation)

18 Reconnaissance des types d'actes de dialogue
On suppose que m et p pour chaque tour de parole sont indépendants des autres tours de parole (approximation) P(M|D) = P(m1|d1)P(m2|d2)...P(mn|dn) P(P|D) = P(p1|d1)P(p2|d2)...P(pn|dn) On marque à la main les actes de dialogue dans un corpus d'apprentissage P(m|d) : pour chaque type d'acte de dialogue on entraîne un modèle de Markov dont les états sont les mots P(p|d) : on sélectionne quelques caractéristiques prosodiques et on entraîne un arbre de classification dont les feuilles donnent P(d|p) P(D) : on entraîne un modèle de Markov des séquences d'actes de dialogue

19 Séquences d'actes de dialogue
Modèle de Markov des séquences d'actes de dialogue ouverture 0,76 0,23 0,99 suggest contrainte 0,63 0,36 0,18 0,19 0,77 0,22 0,18 accept refus 0,46 fermeture

20 Reconnaissance des types d'actes de dialogue
argmaxD P(M|D)P(P|D)P(D) On combine les modèles pour ces 3 probabilités dans un modèle de Markov caché - Etats : les actes de dialogue d1 d2...dn - Observations : m1 m2...mn et p1 p2...pn Utilisation - à l'exécution : interpréter un tour de parole de l'utilisateur - pour l'apprentissage : interpréter des dialogues enregistrés servant de corpus d'apprentissage - génération automatique de comptes-rendus de réunions