La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Introduction à l'informatique linguistique Mathieu Constant, Eric Laporte Licence d'informatique 3 Université de Marne-la-Vallée IGM.

Présentations similaires


Présentation au sujet: "Introduction à l'informatique linguistique Mathieu Constant, Eric Laporte Licence d'informatique 3 Université de Marne-la-Vallée IGM."— Transcription de la présentation:

1 Introduction à l'informatique linguistique Mathieu Constant, Eric Laporte Licence d'informatique 3 Université de Marne-la-Vallée IGM

2 Cours 12 Dialogue

3 Applications liées à la simulation d'un dialogue - réservation de voyages - réponse à des questions - interface téléphonique pour courrier électronique - génération de comptes-rendus de réunions La plupart de ces applications nécessitent la reconnaissance de la parole de l'utilisateur

4 Reconnaissance de la parole Entrée Un signal de parole capté par un micro Sortie Du texte écrit Difficultés InterruptionsIl me faudrait le... vous avez le suivant ? Répétitions Il me faudrait le... il me faudrait le suivant ChevauchementsA que[lle heure ?] - [Pardon], le 7 mai AmbiguïtésQu'elle freine ?Quel frêne ? EuhA quelle heure ? - Euh, à, euh, 18 heures ProsodieQu'elle freine ? Quel frêne ?

5 Reconnaissance de la parole Prosodie Exemple : comparer et Intonation : hauteur du son Volume ou énergie : force du son Durée de chaque voyelle ou consonne Phonétique Exemple : comparer 4 22 et 80 2 [katxv ndø][katxøv dø] ~~

6 Tour de parole Chacun parle à son tour Après la fin d'un tour de parole, ne pas laisser de pause avant de répondre S'il y a une pause, l'interlocuteur pense qu'on n'a pas compris Si l'utilisateur laisse une pause, il faut le relancer AIl y a quelque chose qui vous gêne ou non ? B(pause 1 s) AOui ou non ? B(pause 1,5 s) AAllô ? BNon.

7 Signes de compréhension Chacun signale régulièrement s'il comprend - réponse cohérente avec le tour de parole précédent A quelle heure ? - A 18 heures. - mot de continuation : m-hm, oui, bon, OK, et... Il part à 16 h 25 - m-hm.- et il arrive à 18 h 55. Je vais à Lisbonne. - Et vous voulez partir quand ? - reformulation :Il arrive à 18 h h compléter la phrase de l'interlocuteur Il y a un autre vol après celui de...- de 16 h 25 ? - demande de réparation A quel taux ? - Comment ?

8 Inférence - Quel jour vous voulez partir ? - J'ai une réunion le 12 mai au matin. L'interlocuteur devine la date du voyage : le 11 au soir ou le 12 au matin - Vous pouvez me répéter les horaires ? L'interlocuteur devine que la question ne porte pas sur la possibilité de répéter, mais plutôt sur les horaires

9 Simulation d'un dialogue Le système contrôle le dialogue et demande une information à la fois quelle ville de départ ? donnez le nom d'une ville où allez-vous ? etc. réponse=ville réponse ville réponse=ville réponse ville donnez le nom d'une ville réponse ville

10 Simulation d'un dialogue Le système remplit des formulaires (templates, frames) prédéfinis Formulaire Volaéroport de départ aéroport d'arrivée heure de départ heure d'arrivée classe de tarif compagnie aller simple/aller-retour Si l'utilisateur donne plusieurs informations en une seule phrase, le système les retrouve et les sauvegarde dans le formulaire

11 Classification des actes de dialogue 1. En fonction des actes futurs Affirmation Demande d'informations Demande de confirmation Influence sur l'interlocuteur Options Ordre Influence sur soi-même Offre Engagement Conventionnel Ouverture Fermeture Remerciements

12 Classification des actes de dialogue 2. En fonction des actes passés Réponse à offre Acceptation Acceptation partielle Peut-être Refus partiel Refus Mise en attente Réponse à question Compréhension Avis non-compréhension Avis compréhension OK Répétition Complétion

13 Exemple affirmBJe dois voyager en mai. dem d'inf, OKAEt quel jour vous voulez voyager ? affirm, répBAlors, euh, j'ai des réunions là-bas du 12 au 15. dem d'inf, OKAEt vous allez où ? affirm, rép BA Lisbonne. dem d'inf, OK AEt à quelle heure vous voulez quitter Paris ? dem conf, attBBen euh, je crois qu'il n'y a pas tellement le choix. accept, OKAEffectivement. affirmIl y a trois vols directs aujourd'hui. dem d'infBA quelle heure ?

14 Exemple affirm, optALe premier part de Roissy à 10 h et arrive à Lisbonne à 12 h 05, heure locale. Le deuxième vol part de Roissy à 17 h 55 et arrive à Lisbonne à 20 h. Et le dernier part de Roissy à 20 h 15 et arrive à Lisbonne à 22 h 30. accept, OKBBon, alors je prends le vol de 17 h et quelques, la veille, le 11. dem conf, OKALe 11 ? affirm, OKD'accord. Départ 17 h 55, arrivée à Lisbonne 20 h, par le vol QI 115. OKBD'accord.

15 Reconnaissance des types d'actes de dialogue Utilisation de la syntaxe des phrases affirmBJe dois voyager en mai. dem d'inf, OKAEt quel jour vous voulez voyager ? Même syntaxe, actes différents ordreBEst-ce que vous pouvez me donner les horaires ? dem d'infBEst-ce qu'on sert à manger sur ce vol ? (est-ce que vous pouvez : souvent un ordre) dem confirmBVous dites qu'il y a un troisième vol ? affirmBJ'ai une carte de fidélité avec cette compagnie (prosodie différente)

16 Reconnaissance des types d'actes de dialogue Par des mots et des constructions syntaxiques Est-ce que vous pouvez... ordre Par quel... dem d'inf D'accord OK Par la prosodie intonation montantedem d'inf, dem confirm... Oui avec intonation montanteOK Oui avec intonation stableaccept Par la structure du dialogue Oui après affirmOK Oui après offreaccept

17 Reconnaissance des types d'actes de dialogue Observations disponibles sur le dialogue : O Séquence d'actes de dialogue : D P(D|O) probabilité que la séquence d'actes soit D connaissant O On recherche argmax D P(D|O) = argmax D P(O|D)P(D)/P(O) = argmax D P(O|D)P(D) argmax D P(M|D)P(P|D)P(D) où M est l'ensemble des observations sur les mots et constructions et P sur la prosodie (on suppose M et P indépendants : approximation)

18 Reconnaissance des types d'actes de dialogue On suppose que m et p pour chaque tour de parole sont indépendants des autres tours de parole (approximation) P(M|D) = P(m 1 |d 1 )P(m 2 |d 2 )...P(m n |d n ) P(P|D) = P(p 1 |d 1 )P(p 2 |d 2 )...P(p n |d n ) On marque à la main les actes de dialogue dans un corpus d'apprentissage P(m|d) : pour chaque type d'acte de dialogue on entraîne un modèle de Markov dont les états sont les mots P(p|d) : on sélectionne quelques caractéristiques prosodiques et on entraîne un arbre de classification dont les feuilles donnent P(d|p) P(D) : on entraîne un modèle de Markov des séquences d'actes de dialogue

19 Séquences d'actes de dialogue Modèle de Markov des séquences d'actes de dialogue ouverture refus contraintesuggest accept fermeture 0,18 0,36 0,46 0,18 0,77 0,76 0,23 0,99 0,63 0,22 0,19

20 Reconnaissance des types d'actes de dialogue argmax D P(M|D)P(P|D)P(D) On combine les modèles pour ces 3 probabilités dans un modèle de Markov caché - Etats : les actes de dialogue d 1 d 2...d n - Observations : m 1 m 2...m n et p 1 p 2...p n Utilisation - à l'exécution : interpréter un tour de parole de l'utilisateur - pour l'apprentissage : interpréter des dialogues enregistrés servant de corpus d'apprentissage - génération automatique de comptes-rendus de réunions


Télécharger ppt "Introduction à l'informatique linguistique Mathieu Constant, Eric Laporte Licence d'informatique 3 Université de Marne-la-Vallée IGM."

Présentations similaires


Annonces Google