La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Analyse, modélisation, et détection automatique des disfluences dans le dialogue oral spontané contraint : le cas du Contrôle Aérien Jean-Léon Bouraoui.

Présentations similaires


Présentation au sujet: "Analyse, modélisation, et détection automatique des disfluences dans le dialogue oral spontané contraint : le cas du Contrôle Aérien Jean-Léon Bouraoui."— Transcription de la présentation:

1

2 Analyse, modélisation, et détection automatique des disfluences dans le dialogue oral spontané contraint : le cas du Contrôle Aérien Jean-Léon Bouraoui Directrices de thèse : N. Vigouroux R. André-Obrecht Soutenance de thèse en vue de lobtention du doctorat dinformatique

3 Soutenance de thèse Jean-Léon Bouraoui2 Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

4 Soutenance de thèse Jean-Léon Bouraoui3 Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

5 Soutenance de thèse Jean-Léon Bouraoui4 Problématiques Linguistiques : Un phénomène de loral spontané est-il dépendant du contexte linguistique dans lequel il apparaît ? Si oui, quelles sont les caractéristiques résultantes ? Cognitives : Influence dune tâche particulière sur les performances cognitives dun opérateur Que nous apprennent les disfluences sur létat mental de lopérateur ? Interaction : Améliorer la robustesse de tout dispositif oral sensible aux disfluences Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

6 Soutenance de thèse Jean-Léon Bouraoui5 Le contrôle de trafic aérien Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

7 Soutenance de thèse Jean-Léon Bouraoui6 La phraséologie du contrôle aérien Définition : lensemble des mots et des règles que doit respecter la production dun message Rôle : permettre une communication rapide, intelligible, et non-ambiguë Caractéristiques (Falzon, 1982, 1989) : Lexique restreint, finalisé à lapplication Fréquences disparates dutilisation Langage restreint Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

8 Soutenance de thèse Jean-Léon Bouraoui7 Pilote : « ENAC Cotam 203 bonjour le niveau 180 route Balon » Contrôleur : « Cotam 203 bonjour maintenez 180 route Balon Poitiers Absis Nantes euh rappelez Poitiers » Pilote : « 180 Balon Poitiers Absis Nantes je vous rappelle à Poitiers Cotam 203 » Exemple de dialogue Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

9 Soutenance de thèse Jean-Léon Bouraoui8 Définition(s) des disfluences (1) Première définition : tout phénomène qui altère la fluence (préfixe grec : dys) Différentes classifications et terminologies selon les auteurs Sources des différences : Cause des disfluences Type de manifestation Unités affectées, etc. Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

10 Soutenance de thèse Jean-Léon Bouraoui9 AuteursShriberg (1994)Candea (2004)Henry et Pallaud (2002, ) Kurdi (2003) Nature du corpus 3 corpus avec des situations variées de dialogues oraux spontanés Histoires racontées oralement par des enfants Corpaix : dialogues oraux spontanés (différentes situations) Négociations de transport de marchandises Phénomènes étudiés/ termi- nologie employée Répétitions Pauses pleines Termes explicites dédition Marqueurs du discours Fragments de mots Insertions Suppressions Substitutions Pauses silencieuses « euh » dits dhésitation Allongements vocaliques Répétitions Autocorrection Répétitions Pauses Fragments de mots (ou amorces) : o Inachevés o Complétés o Modifiés Extragrammaticalit- és lexicales : o Pauses o Mots oraux o Mots incomplets, amalgames. Extragrammaticalit- és Supralexicales : o Répétitions o Auto-corrections o Faux-départ o Incomplétudes. Définition(s) des disfluences (2) Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

11 Soutenance de thèse Jean-Léon Bouraoui10 Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

12 Soutenance de thèse Jean-Léon Bouraoui11 Méthodologie Objectif : identifier les différents types de disfluences, leur distribution, et leurs mode de manifestations Démarche : Méthodologie de transcription Analyse linguistique de deux corpus du domaine de tâche Comparaison des résultats avec des études sur des corpus non contraints Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

13 Soutenance de thèse Jean-Léon Bouraoui12 Répétition : un mot ou groupe de mots apparaît plus dune fois consécutivement. Uniquement les mots « complets » pas des fragments de mots ou des hésitations par exemple. station station calling euh repeat your callsign Hésitation : le « euh » dhésitation maintenons niveau Poitiers Amboise euh Lacan Amorce : la production dun mot sarrête avant la fin TAT G I [mont] euh montez niveau Terminologie adoptée (1) Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

14 Soutenance de thèse Jean-Léon Bouraoui13 Terminologie adoptée (2) Fragment de mot : un ou plusieurs phonèmes inidentifiables, contrairement aux amorces due to [ou] due traffic euh descend level 9 0 Allongement : allongement dune unité phonétique, > 0,2 sec D [allongement] I K C C good bye sir thank you Pause longue : pause > 0,2 sec. Britair 510 B X contactez euh [...] ENAC 123 décimale 8 (Auto)-correction : le locuteur saperçoit que lénoncé quil est en train de produire (ou un de ses énoncés précédents) comporte une erreur, et cherche à rectifier celle-ci Euh Air Littoral euh euh euh correction Air Littoral euh [vingtr ] euh 231 O M montez euh descendez niveau vitesse 200 Kts minimum Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

15 Soutenance de thèse Jean-Léon Bouraoui14 Corpus détude (1) Nombre moyen de mots par énoncé Durée totale des dialogues Nombre d'énoncés Nombre de mots Pourcentage d'énoncés en anglais Pourcentage d'énoncés en français 6,6736h50mns %52% Contexte denregistrement : dialogues de «pseudo pilotage » Entraînement et évaluation des contrôleurs aériens en formation Dispositif: Le contrôleur est dans un environnement similaire à celui de son futur travail Les avions virtuels (jusquà 30) sont simulés par une seule personne: le « pseudo-pilote » Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

16 Soutenance de thèse Jean-Léon Bouraoui15 Corpus détude (2) Nombre moyen de mots par énoncé Durée totale des dialogues Nombre d'énoncés Nombre de mots Pourcentage d'énoncés en anglais Pourcentage d'énoncés en français 9,5660 h %43% Contexte denregistrement : dialogues en situation « réelle » de contrôle aérien : dialogues «en route » Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

17 Soutenance de thèse Jean-Léon Bouraoui16 Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives RépétitionsHésitationsAmorces et Fragment de mots AllongementPause longue (Auto)- correction Nombre / % (par rapport au nombre total de mots) 0,03%3.38%0.47%0.9%1.08%2,46% Distributions des principaux types de disfluences (1)

18 Soutenance de thèse Jean-Léon Bouraoui17 Distributions des principaux types de disfluences (2) Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

19 Soutenance de thèse Jean-Léon Bouraoui18 Un sujet détude particulier: les corrections et auto-corrections Corrections et auto-corrections marqueurs de lerreur, utiles dans le contrôle du trafic aérien Etude primordiale pour le design des stratégies de dialogue dans un système interactif Indices sur la manière dont un locuteur peut intervenir sur le discours de lautre, ou sur son propre discours Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

20 Soutenance de thèse Jean-Léon Bouraoui19 Typologie des erreurs Erreur sur un « mot » : Une donnée alpha-numérique ; par exemple lindicatif dun avion (« Britair 452 »), une position (« 9 0 »), une ville (« Paris »), etc. Une commande, telle quun ordre, comme « grimpez », « demande », etc., France Air France contact ENAC décimale 8. Erreur sur lorganisation de lénoncé : un mot ou un groupe de mots noccupe pas sa position correcte dans lénoncé. [poi] Absie Poitiers Balon Reson Britair B X Erreur sur la langue utilisée : le locuteur remarque (ou bien on lui fait remarquer) quil na pas parlé dans la langue appropriée : français à la place de langlais ou vice versa. Air Vendée 333 K Q euh speed maximum vitesse maximum 210 Kts Erreur de prononciation : comme son nom lindique… cest le [lio] Littoral Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

21 Soutenance de thèse Jean-Léon Bouraoui20 Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Typologie des erreurs: distribution

22 Soutenance de thèse Jean-Léon Bouraoui21 Bilan de lanalyse linguistique Grandes différences entre les disfluences de nos corpus et celles de corpus non contraints : Niveau quantitatif : distribution très faible Niveau qualitatif : modes de manifestation différents (par exemple, simplicité de la structure des répétitions, cf. Henry, 2002, 2004) Hypothèses explicatives : Attention accrue de lopérateur sur la tâche La contrainte de la tâche facilite le processus de planification de la production orale (cf. Oviatt, 1995) Au niveau interactionnel, les indices lexico-syntaxiques ne suffisent pas à identifier les disfluences Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

23 Soutenance de thèse Jean-Léon Bouraoui22 Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

24 Traitement automatique des disfluences : quel intérêt dans le contrôle aérien? Objectif : améliorer la robustesse dapplications existantes : Agent de pseudo-pilotage : comprendre les ordres donnés par le contrôleur en formation - faire évoluer les avions simulés selon ces ordres soulager le pseudo-pilote Signal dune instruction mal comprise : dispositif basé sur un système de compréhension automatique (cf. Projet Escale – Eurocontrol 2005) Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

25 Soutenance de thèse Jean-Léon Bouraoui24 Modélisation : quel formalisme? (1) Cahier des charges : Adaptation à lobjet détude Capacité dexpression et de représentation Modularisation selon les besoins de lutilisateur Deux courants : Approches conceptuelles: prise en compte du sens véhiculé par un (ou plusieurs) élément lexical (Minker, 1999, Pérénou Bousquet, 1998, 2002) Approches syntaxiques: catégorisation syntaxique de chaque élément lexical définition de relations, et de groupes déléments (Abney, 1991) Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

26 Soutenance de thèse Jean-Léon Bouraoui25 Formalisme dannotation par patrons (Bear, Dowding, Shriberg 1992) : Objectif principal : modéliser les phénomènes de loral spontané (disfluences, problèmes structuraux, etc.) Méthode : définition dun système de notation Exemple : Id like Id like to stop in Washington M 1 M 2 | M 1 M 2 Où M n = répétition dun mot Modélisation: quel formalisme? (2) Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

27 Soutenance de thèse Jean-Léon Bouraoui26 Modélisation: application au corpus Nécessité dadapter le formalisme pour prendre en compte les spécificités de notre étude et de la phraséologie Ajouts de symboles pour affiner la représentation des disfluences et de leur contexte: pauses, excuses, etc. Représentation des disfluences dans les indicatifs et niveaux Exemple: I contact ENAC euh 129 R 1 R 2 R 3 FP | R 1 ^R 2 ^R 3 Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

28 Soutenance de thèse Jean-Léon Bouraoui27 Bilan de la modélisation Les patrons observés dans le corpus sont : Peu variés : 67% des disfluences sont représentées par 3 catégories différentes de patrons3 catégories différentes de patrons De petite taille : 79,17% comportent 4 éléments ou moins Simples : 57,50 % ne comportent que des répétitions ou des corrections Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

29 Soutenance de thèse Jean-Léon Bouraoui28 Description générale du module Principes de fonctionnement : Recherche de patrons caractéristiques des disfluences Prise en compte dun niveau « sémantico- pragmatique » pour augmenter la précision 1 élément de lénoncé 1 paire attribut-valeur (classe de mots-mot) montez niveau 200 verbe_Niveau=montez mot_Niveau=niveau chiffre=200 Règles de prise en compte des cas particuliers : indicatif, niveau, etc. Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

30 Soutenance de thèse Jean-Léon Bouraoui29 Identifier une disfluence Tous les patrons observés montrent quil y a toujours une symétrie de part et dautre du point de réparation. Exemples : nous avons sommes en vue du PA 31 R1 | R1 niveau 130 route Amboise direct Amboise pardon R1 M1 | R1 M1 2 types de répétitions : Répétition exacte dun mot ou groupe de mots Répétition dune classe de mot, le contenu étant modifié (exemple: montez descendez) auto-correction Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

31 Soutenance de thèse Jean-Léon Bouraoui30 Délimiter la zone disfluente Parcourir chaque énoncé, avec une fenêtre glissante de 10 éléments A chaque item est associé une classe de mots (par exemple, « ordre », ou « indicatif ») Si au cours du parcours, on détecte une répétition, de classe et/ou contenu : 1 er test: sagit-il dun cas particulier ? 2 ème test: sagit-il dune répétition disfluente ? Si les deux tests échouent, alors on a affaire à une auto-correction Identifier : Lélément corrigé La correction Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

32 Soutenance de thèse Jean-Léon Bouraoui31 Intégration dans VOICE Historique des ordres Agent SRA Agent de reconnaissance vocale Grammaire Context-Free chargée dynamiquement ( Middleware ) émet lordre reconnu émet les données des aéronefs Avions actifs Données de lexercice (REJEU) émet n alternatives Compréhe -nsion Reconnaissance disfluences identifie les disfluences dans les n alternatives Génère une grammaire Context-free auto-Gram connaissances génériques : Alphabet Compagnies Balises Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

33 Soutenance de thèse Jean-Léon Bouraoui32 Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

34 Soutenance de thèse Jean-Léon Bouraoui33 Objectifs : mesurer la pertinence et lefficacité du module proposé Moyens : Constitution dun corpus de 400 énoncés Traitement de la chaîne orthographique de ces énoncés Principaux paramètres : Taux de précision : Taux de rappel : Validation (1) Nbre de détections correctes Nbre total de disfluences Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Nbre de détections correctes Nbre total de détections

35 Soutenance de thèse Jean-Léon Bouraoui34 Validation (2) Composition du corpus : Enoncés dérivés selon la méthode dévaluation « par défi » à partir de : Patrons observés sur notre corpus (153 énoncés) Patrons observés sur des corpus non contraints (153 énoncés) Enoncés non disfluents (51 énoncés) Enoncés disfluents du corpus B (43 énoncés) Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

36 Soutenance de thèse Jean-Léon Bouraoui35 Validation (3) Résultats obtenus : Temps dexécution très rapide (temps max 5 ms) Relation avérée entre le temps dexécution et le nombre de mots par énoncés Performances globales bonnes voire très bonnes selon le corpus : Taux de précision Є [84%-95%] Taux de rappel Є [56%-93%] Comparaison avec les performances dautres systèmes : se situe dans la moyenne supérieure Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

37 Soutenance de thèse Jean-Léon Bouraoui36 Conclusion (1) Analyse linguistique fine de corpus de contrôle aérien Différence avérée (fréquence, manifestation) entre les disfluences dans ce type de dialogues, et dautres Les disfluences apparaissent plus fréquemment dans le contexte des valeurs numériques (indicatifs, etc.) Prise en compte des aspects psycholinguistiques et cognitifs Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

38 Soutenance de thèse Jean-Léon Bouraoui37 Conclusion (2) Conception et implémentation dun module de détection automatique des disfluences Méthode par détection de patrons + règles Intégration à un système de compréhension automatique de la parole Validation du module Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

39 Soutenance de thèse Jean-Léon Bouraoui38 Perspectives (1) Evaluation du module : Recueil de corpus en situation « réelle » Prise en compte des sorties de la reconnaissance vocale Amélioration du module : prise en compte des amorces Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

40 Soutenance de thèse Jean-Léon Bouraoui39 Perspectives (2) Interaction Homme-Machine : intégration du module à une interface de pseudo-pilotage Sciences cognitives : Mesurer les effets de cette intégration sur les processus cognitifs de lopérateur, et sur son efficience Utiliser les disfluences comme indicateur de fatigue ou de surcharge cognitive ? Linguistique : Prise en compte de paramètres prosodiques Ce travail est-il généralisable à tout type de langage contraint ? Projection aux erreurs de lécrit Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives

41 Soutenance de thèse Jean-Léon Bouraoui40

42 Soutenance de thèse Jean-Léon Bouraoui41 3 catégories de patrons R1 | R1 France Air Force contactez ENAC 123 décimale 8 M1 R1 |M1 R1 niveau route Lacan route Amboise R1 M1 | R1 M feet euh above us crossing for descending for your level Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives


Télécharger ppt "Analyse, modélisation, et détection automatique des disfluences dans le dialogue oral spontané contraint : le cas du Contrôle Aérien Jean-Léon Bouraoui."

Présentations similaires


Annonces Google