Analyse, modélisation, et détection automatique des disfluences dans le dialogue oral spontané contraint : le cas du Contrôle Aérien Jean-Léon.

Présentation au sujet: "            Analyse, modélisation, et détection automatique des disfluences dans le dialogue oral spontané contraint : le cas du Contrôle Aérien Jean-Léon."— Transcription de la présentation:

1 Analyse, modélisation, et détection automatique des disfluences dans le dialogue oral spontané contraint : le cas du Contrôle Aérien Jean-Léon Bouraoui Directrices de thèse : N. Vigouroux R. André-Obrecht Soutenance de thèse en vue de l’obtention du doctorat d’informatique

2 Plan de la présentation
Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Dire pourquoi ce travail a été fait Soutenance de thèse ― Jean-Léon Bouraoui

3 Plan de la présentation
Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Dire pourquoi ce travail a été fait Soutenance de thèse ― Jean-Léon Bouraoui

4 Soutenance de thèse ― Jean-Léon Bouraoui
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Problématiques Linguistiques : Un phénomène de l’oral spontané est-il dépendant du contexte linguistique dans lequel il apparaît ? Si oui, quelles sont les caractéristiques résultantes ? Cognitives : Influence d’une tâche particulière sur les performances cognitives d’un opérateur Que nous apprennent les disfluences sur l’état mental de l’opérateur ? Interaction : Améliorer la robustesse de tout dispositif oral sensible aux disfluences Soutenance de thèse ― Jean-Léon Bouraoui

5 Le contrôle de trafic aérien
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Le contrôle de trafic aérien Caractéristiques de la tâche: Communiquer des informations aux pilotes Gérer les vols dans une zone donnée Spécificités: Contexte critique Utilisation d’un langage particulier: la phraséologie Soutenance de thèse ― Jean-Léon Bouraoui

6 La phraséologie du contrôle aérien
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives La phraséologie du contrôle aérien Définition : l’ensemble des mots et des règles que doit respecter la production d’un message Rôle : permettre une communication rapide, intelligible, et non-ambiguë Caractéristiques (Falzon, 1982, 1989) : Lexique restreint, finalisé à l’application Fréquences disparates d’utilisation Langage restreint 714 mots différents (1500 à 1700 en français) Soutenance de thèse ― Jean-Léon Bouraoui

7 Soutenance de thèse ― Jean-Léon Bouraoui
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Exemple de dialogue Pilote : « ENAC Cotam 203 bonjour le niveau 180 route Balon » Contrôleur : « Cotam 203 bonjour maintenez 180 route Balon Poitiers Absis Nantes euh rappelez Poitiers » Pilote : « 180 Balon Poitiers Absis Nantes je vous rappelle à Poitiers Cotam 203 » Soutenance de thèse ― Jean-Léon Bouraoui

8 Définition(s) des disfluences (1)
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Définition(s) des disfluences (1) Première définition : tout phénomène qui altère la fluence (préfixe grec : dys) Différentes classifications et terminologies selon les auteurs Sources des différences : Cause des disfluences Type de manifestation Unités affectées, etc. Soutenance de thèse ― Jean-Léon Bouraoui

9 Définition(s) des disfluences (2)
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Définition(s) des disfluences (2) Auteurs Shriberg (1994) Candea (2004) Henry et Pallaud (2002, ) Kurdi (2003) Nature du corpus 3 corpus avec des situations variées de dialogues oraux spontanés Histoires racontées oralement par des enfants Corpaix : dialogues oraux spontanés (différentes situations) Négociations de transport de marchandises Phénomènes étudiés/ termi-nologie employée Répétitions Pauses pleines Termes explicites d’édition Marqueurs du discours Fragments de mots Insertions Suppressions Substitutions Pauses silencieuses « euh » dits d’hésitation  Allongements vocaliques Autocorrection Pauses Fragments de mots (ou amorces) : Inachevés Complétés Modifiés Extragrammaticalit-és lexicales : Mots oraux Mots incomplets, amalgames. Extragrammaticalit-és Supralexicales : Auto-corrections Faux-départ Incomplétudes. Il y a des granularité de description différentes: en jaune Il y a des phénomènes identiques qui sont désignés par des termes différents: en rouge Il y a des termes identiques qui correspondent à des phénomènes différents: en bleu Soutenance de thèse ― Jean-Léon Bouraoui

10 Plan de la présentation
Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Dire pourquoi ce travail a été fait Soutenance de thèse ― Jean-Léon Bouraoui

11 Soutenance de thèse ― Jean-Léon Bouraoui
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Méthodologie Objectif : identifier les différents types de disfluences, leur distribution, et leurs mode de manifestations Démarche : Méthodologie de transcription Analyse linguistique de deux corpus du domaine de tâche Comparaison des résultats avec des études sur des corpus non contraints Soutenance de thèse ― Jean-Léon Bouraoui

12 Terminologie adoptée (1)
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Terminologie adoptée (1) Répétition : un mot ou groupe de mots apparaît plus d’une fois consécutivement. Uniquement les mots « complets »  pas des fragments de mots ou des hésitations par exemple. station station calling euh repeat your callsign Hésitation : le « euh » d’hésitation maintenons niveau Poitiers Amboise euh Lacan Amorce : la production d’un mot s’arrête avant la fin TAT G I [mont] euh montez niveau 1 7 0 Bien dire qu’ils s’agit de disfluences Avec une bonne connaissance du corpus, il est très facile de reconaitre les mots inachevés, sutout qu’ils sont courts Hésitations=Rentre dans la catégorie des « pauses remplies » (Henry, 2004b). Soutenance de thèse ― Jean-Léon Bouraoui

13 Terminologie adoptée (2)
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Terminologie adoptée (2) Fragment de mot : un ou plusieurs phonèmes inidentifiables, contrairement aux amorces due to [ou] due traffic euh descend level 9 0 Allongement : allongement d’une unité phonétique, > 0,2 sec. D [allongement] I K C C good bye sir thank you Pause longue : pause > 0,2 sec. Britair 510 B X contactez euh [...] ENAC 123 décimale 8 (Auto)-correction : le locuteur s’aperçoit que l’énoncé qu’il est en train de produire (ou un de ses énoncés précédents) comporte une erreur, et cherche à rectifier celle-ci Euh Air Littoral euh euh euh correction Air Littoral euh [vingtr] euh 231 O M montez euh descendez niveau vitesse 200 Kts minimum Soutenance de thèse ― Jean-Léon Bouraoui

14 Plan de la présentation
Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Corpus d’étude (1) Contexte d’enregistrement : dialogues de «pseudo pilotage » Entraînement et évaluation des contrôleurs aériens en formation Dispositif: Le contrôleur est dans un environnement similaire à celui de son futur travail Les avions virtuels (jusqu’à 30) sont simulés par une seule personne: le « pseudo-pilote » Annotation en chaine orthographique, et prise en compte de parametres de traitement du signal Nombre moyen de mots par énoncé Durée totale des dialogues Nombre d'énoncés Nombre de mots Pourcentage d'énoncés en anglais Pourcentage d'énoncés en français 6,67 36h50mns 11 427 76 306 48% 52% Soutenance de thèse ― Jean-Léon Bouraoui

15 Plan de la présentation
Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Corpus d’étude (2) Contexte d’enregistrement : dialogues en situation « réelle » de contrôle aérien : dialogues «en route » Cette spontanéité est due à la dynamique du contexte ds lequel se situe le controleur et le pilote (pas planifié à l’oral) Nombre moyen de mots par énoncé Durée totale des dialogues Nombre d'énoncés Nombre de mots Pourcentage d'énoncés en anglais Pourcentage d'énoncés en français 9,56 60 h 12 546 57% 43% Soutenance de thèse ― Jean-Léon Bouraoui

16 Distributions des principaux types de disfluences (1)
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Distributions des principaux types de disfluences (1) Répétitions Hésitations Amorces et Fragment de mots Allongement Pause longue (Auto)-correction Nombre / % (par rapport au nombre total de mots) 0,03% 3.38% 0.47% 0.9% 1.08% 2,46% Corpus A L’ensemble représente 8.32 % Soutenance de thèse ― Jean-Léon Bouraoui

17 Distributions des principaux types de disfluences (2)
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Distributions des principaux types de disfluences (2) Les répéts : bocoup moins ke dans Henry (17/1000mots, JEP2004) Problème de scrpt perl mais explique pas tout. Peut etre que c’est évitable à cause des ambiguités provoquées Dire ici pourkoi on s’intéresse aux amorces : souvent étudiés dans la littérature ( Soutenance de thèse ― Jean-Léon Bouraoui

18 Un sujet d’étude particulier: les corrections et auto-corrections
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Un sujet d’étude particulier: les corrections et auto-corrections Corrections et auto-corrections  marqueurs de l’erreur, utiles dans le contrôle du trafic aérien Etude primordiale pour le design des stratégies de dialogue dans un système interactif Indices sur la manière dont un locuteur peut intervenir sur le discours de l’autre, ou sur son propre discours Robustesse Recherche fondamentale Soutenance de thèse ― Jean-Léon Bouraoui

19 Plan de la présentation
Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Typologie des erreurs Erreur sur un « mot » : Une donnée alpha-numérique ; par exemple l’indicatif d’un avion (« Britair 452 »), une position (« 9 0 »), une ville (« Paris »), etc. Une commande, telle qu’un ordre, comme « grimpez », « demande », etc., France Air France contact ENAC décimale 8 . Erreur sur l’organisation de l’énoncé : un mot ou un groupe de mots n’occupe pas sa position correcte dans l’énoncé. [poi] Absie Poitiers Balon Reson Britair B X Erreur sur la langue utilisée : le locuteur remarque (ou bien on lui fait remarquer) qu’il n’a pas parlé dans la langue appropriée : français à la place de l’anglais ou vice versa. Air Vendée 333 K Q euh speed maximum vitesse maximum 210 Kts Erreur de prononciation : comme son nom l’indique… c’est le [lio] Littoral Soutenance de thèse ― Jean-Léon Bouraoui

20 Typologie des erreurs: distribution
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Typologie des erreurs: distribution Soutenance de thèse ― Jean-Léon Bouraoui

21 Bilan de l’analyse linguistique
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Bilan de l’analyse linguistique Grandes différences entre les disfluences de nos corpus et celles de corpus non contraints : Niveau quantitatif : distribution très faible Niveau qualitatif : modes de manifestation différents (par exemple, simplicité de la structure des répétitions, cf. Henry, 2002, 2004) Hypothèses explicatives : Attention accrue de l’opérateur sur la tâche La contrainte de la tâche facilite le processus de planification de la production orale (cf. Oviatt, 1995) Au niveau interactionnel, les indices lexico-syntaxiques ne suffisent pas à identifier les disfluences Pr passer au tal, faut modéliser Soutenance de thèse ― Jean-Léon Bouraoui

22 Plan de la présentation
Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Dire pourquoi ce travail a été fait Soutenance de thèse ― Jean-Léon Bouraoui

23 Plan de la présentation
Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Traitement automatique des disfluences : quel intérêt dans le contrôle aérien? Objectif : améliorer la robustesse d’applications existantes : Agent de pseudo-pilotage : comprendre les ordres donnés par le contrôleur en formation - faire évoluer les avions simulés selon ces ordres  soulager le pseudo-pilote Signal d’une instruction mal comprise : dispositif basé sur un système de compréhension automatique (cf. Projet Escale – Eurocontrol 2005) Le 2 = étude prospective

24 Modélisation : quel formalisme? (1)
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Modélisation : quel formalisme? (1) Cahier des charges : Adaptation à l’objet d’étude Capacité d’expression et de représentation Modularisation selon les besoins de l’utilisateur Deux courants : Approches conceptuelles: prise en compte du sens véhiculé par un (ou plusieurs) élément lexical (Minker, 1999, Pérénou Bousquet, 1998, 2002) Approches syntaxiques: catégorisation syntaxique de chaque élément lexical ― définition de relations, et de groupes d’éléments (Abney, 1991) Soutenance de thèse ― Jean-Léon Bouraoui

25 Modélisation: quel formalisme? (2)
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Modélisation: quel formalisme? (2) Formalisme d’annotation par patrons (Bear, Dowding, Shriberg 1992) : Objectif principal : modéliser les phénomènes de l’oral spontané (disfluences, problèmes structuraux, etc.) Méthode : définition d’un système de notation Exemple : I’d like I’d like to stop in Washington M1 M2 | M1 M2 Où Mn = répétition d’un mot Soutenance de thèse ― Jean-Léon Bouraoui

26 Modélisation: application au corpus
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Modélisation: application au corpus Nécessité d’adapter le formalisme pour prendre en compte les spécificités de notre étude et de la phraséologie Ajouts de symboles pour affiner la représentation des disfluences et de leur contexte: pauses, excuses, etc. Représentation des disfluences dans les indicatifs et niveaux Exemple: I contact ENAC euh R1 R2 R3 FP | R1^R2^R3 Soutenance de thèse ― Jean-Léon Bouraoui

27 Bilan de la modélisation
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Bilan de la modélisation Les patrons observés dans le corpus sont : Peu variés : 67% des disfluences sont représentées par 3 catégories différentes de patrons De petite taille : 79,17% comportent 4 éléments ou moins Simples : 57,50 % ne comportent que des répétitions ou des corrections Soutenance de thèse ― Jean-Léon Bouraoui

28 Description générale du module
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Description générale du module Principes de fonctionnement : Recherche de patrons caractéristiques des disfluences Prise en compte d’un niveau « sémantico-pragmatique » pour augmenter la précision 1 élément de l’énoncé  1 paire attribut-valeur (classe de mots-mot) montez niveau 200  verbe_Niveau=montez mot_Niveau=niveau chiffre=200 Règles de prise en compte des cas particuliers : indicatif, niveau, etc. Deux objectifs : Identifier une disfluence Délimiter la zone disfluente ̶ baliser les éléments Entree: chaine exacte de graphemes Soutenance de thèse ― Jean-Léon Bouraoui

29 Identifier une disfluence
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Identifier une disfluence Tous les patrons observés montrent qu’il y a toujours une symétrie de part et d’autre du point de réparation. Exemples : nous avons sommes en vue du PA 31 R1 | R1 niveau 130 route Amboise direct Amboise pardon R M1 | R M1 2 types de répétitions : Répétition exacte d’un mot ou groupe de mots Répétition d’une classe de mot, le contenu étant modifié (exemple: montezdescendez) auto-correction Soutenance de thèse ― Jean-Léon Bouraoui

30 Délimiter la zone disfluente
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Délimiter la zone disfluente Parcourir chaque énoncé, avec une fenêtre glissante de 10 éléments A chaque item est associé une classe de mots (par exemple, « ordre », ou « indicatif ») Si au cours du parcours, on détecte une répétition, de classe et/ou contenu : 1er test: s’agit-il d’un cas particulier ? 2ème test: s’agit-il d’une répétition disfluente ? Si les deux tests échouent, alors on a affaire à une auto-correction  Identifier : L’élément corrigé La correction Soutenance de thèse ― Jean-Léon Bouraoui

31 Intégration dans VOICE
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Intégration dans VOICE Agent SRA Agent de reconnaissance vocale Grammaire “Context-Free” chargée dynamiquement (Middleware ) Génère une grammaire Context-free auto-Gram émet n alternatives connaissances “génériques” : Alphabet Compagnies Balises Reconnaissance disfluences identifie les disfluences dans les n alternatives Historique des ordres Avions “actifs” Données de l’exercice (REJEU) Compréhe-nsion émet l’ordre reconnu émet les données des aéronefs Soutenance de thèse ― Jean-Léon Bouraoui

32 Plan de la présentation
Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Dire pourquoi ce travail a été fait Soutenance de thèse ― Jean-Léon Bouraoui

33 Plan de la présentation
Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Validation (1) Objectifs : mesurer la pertinence et l’efficacité du module proposé Moyens : Constitution d’un corpus de 400 énoncés Traitement de la chaîne orthographique de ces énoncés Principaux paramètres : Taux de précision : Taux de rappel : Nbre de détections correctes Nbre total de détections Nbre de détections correctes Nbre total de disfluences Soutenance de thèse ― Jean-Léon Bouraoui

34 Soutenance de thèse ― Jean-Léon Bouraoui
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Validation (2) Composition du corpus : Enoncés dérivés selon la méthode d’évaluation « par défi » à partir de : Patrons observés sur notre corpus (153 énoncés) Patrons observés sur des corpus non contraints (153 énoncés) Enoncés non disfluents (51 énoncés) Enoncés disfluents du corpus B (43 énoncés) Soutenance de thèse ― Jean-Léon Bouraoui

35 Soutenance de thèse ― Jean-Léon Bouraoui
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Validation (3) Résultats obtenus : Temps d’exécution très rapide (temps max ≈ 5 ms) Relation avérée entre le temps d’exécution et le nombre de mots par énoncés Performances globales bonnes voire très bonnes selon le corpus : Taux de précision Є [84%-95%] Taux de rappel Є [56%-93%] Comparaison avec les performances d’autres systèmes : se situe dans la moyenne supérieure Soutenance de thèse ― Jean-Léon Bouraoui

36 Soutenance de thèse ― Jean-Léon Bouraoui
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Conclusion (1) Analyse linguistique fine de corpus de contrôle aérien  Différence avérée (fréquence, manifestation) entre les disfluences dans ce type de dialogues, et d’autres  Les disfluences apparaissent plus fréquemment dans le contexte des valeurs numériques (indicatifs, etc.) Prise en compte des aspects psycholinguistiques et cognitifs Soutenance de thèse ― Jean-Léon Bouraoui

37 Soutenance de thèse ― Jean-Léon Bouraoui
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Conclusion (2) Conception et implémentation d’un module de détection automatique des disfluences Méthode par détection de patrons + règles Intégration à un système de compréhension automatique de la parole Validation du module Soutenance de thèse ― Jean-Léon Bouraoui

38 Soutenance de thèse ― Jean-Léon Bouraoui
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Perspectives (1) Evaluation du module : Recueil de corpus en situation « réelle » Prise en compte des sorties de la reconnaissance vocale Amélioration du module : prise en compte des amorces Soutenance de thèse ― Jean-Léon Bouraoui

39 Soutenance de thèse ― Jean-Léon Bouraoui
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives Perspectives (2) Interaction Homme-Machine : intégration du module à une interface de pseudo-pilotage Sciences cognitives : Mesurer les effets de cette intégration sur les processus cognitifs de l’opérateur, et sur son efficience Utiliser les disfluences comme indicateur de fatigue ou de surcharge cognitive ? Linguistique : Prise en compte de paramètres prosodiques Ce travail est-il généralisable à tout type de langage contraint ? Projection aux erreurs de l’écrit Soutenance de thèse ― Jean-Léon Bouraoui

40 Soutenance de thèse ― Jean-Léon Bouraoui
MERCI Soutenance de thèse ― Jean-Léon Bouraoui

41 3 catégories de patrons R1 | R1
Plan de la présentation Problématique et contexte Analyse linguistique Modélisation et reconnaissance automatique des disfluences Validation Conclusion Perspectives 3 catégories de patrons R1 | R1 France Air Force contactez ENAC 123 décimale 8 M1 R1 |M1 R1 niveau route Lacan route Amboise R1 M1 | R1 M1 feet euh above us crossing for descending for your level Différencier les éléments corrigés des éléments qui vont être corrigés Soutenance de thèse ― Jean-Léon Bouraoui