La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Caroline Bouzon, Cyril Auran & Daniel Hirst Laboratoire.

Présentations similaires


Présentation au sujet: "Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Caroline Bouzon, Cyril Auran & Daniel Hirst Laboratoire."— Transcription de la présentation:

1

2 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Caroline Bouzon, Cyril Auran & Daniel Hirst Laboratoire Parole et Langage, UMR 6057 CNRS INTO 01 : Intonation, Notation et Transcription de lOral Disponible sur le site:

3 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglaisIntroduction Problématique Alignement / Association dactualité dans les études sur lintonation (Session Spéciale de SP2002) Segmentation au niveau phonétique Recherches actuelles en linguistique et en phonétique souvent fondées sur lanalyse de corpus oraux Intérêt particulier pour les corpus oraux phonétisés et alignés au niveau des phonèmes Méthodologie Aix-MARSEC INTO 01 : Intonation, Notation et Transcription de lOral

4 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglaisPlan La méthodologie Aix-MARSEC Phonétisation brute Optimisation de la phonétisation Alignement automatique Autres niveaux danalyse Perspectives et Conclusion Aix-MARSEC : les origines INTO 01 : Intonation, Notation et Transcription de lOral

5 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglaisAix-MARSEC Les origines INTO 01 : Intonation, Notation et Transcription de lOral

6 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Aix-MARSEC : les origines SEC MARSEC Spoken English CorpusMAchine Readable SEC INTO 01 : Intonation, Notation et Transcription de lOral

7 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Aix-MARSEC : les origines mots, 339 min. et 18 sec. Archives de la BBC (années 1980) 11 styles de parole Parole naturelle 53 locuteurs (17 locutrices et 36 locuteurs) Transcription orthographique Annotation prosodique: 14 symboles de type tonetic stress marks Spoken English Corpus INTO 01 : Intonation, Notation et Transcription de lOral

8 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Aix-MARSEC : les origines Annotation prosodique: les 14 symboles utilisés pour le SEC sont remplacés par 14 symboles ASCII (G. Knowles & B. Williams) tonetic stress marks MAchine Readable Spoken English Corpus Alignement temporel au niveau du mot et de lunité intonative (mineure & majeure) INTO 01 : Intonation, Notation et Transcription de lOral

9 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Aix-MARSEC : les origines 14 symboles ASCII pour lannotation prosodique : _low level ~high level step-up /(high) rise-fall /high \high fall fall-rise /high rise,low rise low fall,\(low rise-fall – not used) \,low fall-rise *stressed but unaccented |minor intonation unit boundary ||major intonation unit boundary (Roach, 1994) INTO 01 : Intonation, Notation et Transcription de lOral

10 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Aix-MARSEC : les origines Pré-traitements et homogénéisation du corpus Suppression des fichiers son défectueux ou étiquettes manquantes Conversion des fichiers étiquettes au format textgrid (Praat) Vérification et correction des étiquettes de mot avec Praat (fenêtre minimale de correction: 50ms) Modification détiquettes dans 82 fichiers Marquage des fichiers modifiés par ajout de mod dans le nom INTO 01 : Intonation, Notation et Transcription de lOral

11 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Aix-MARSEC : les origines Pré-traitements: prédiction de la durée des phonèmes Campbell (1992) INTO 01 : Intonation, Notation et Transcription de lOral

12 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglaisMéthodologieAix-MARSEC INTO 01 : Intonation, Notation et Transcription de lOral

13 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Méthodologie Aix-MARSEC 1.Phonétisation brute 2.Optimisation de la phonétisation 3.Alignement automatique 4.Autres niveaux danalyse INTO 01 : Intonation, Notation et Transcription de lOral

14 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Méthodologie Aix-MARSEC : Phonétisation brute INTO 01 : Intonation, Notation et Transcription de lOral

15 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Phonétisation brute Méthode par dictionnaires Fonctionnement général : Recherche automatique dans le dictionnaire de prononciation (Advanced Learners Dictionary, Oxford University Press): mots en entrée Conversion en SAMPA (exemples des voyelles simples) I - e - e { - Q - V - U - A: - : O: - : 3: - - i: - i: u: - : INTO 01 : Intonation, Notation et Transcription de lOral

16 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Phonétisation brute Chiffres et combinaisons de lettres + chiffres Suites de majuscules (abréviations) Génitifs et les formes contractées Pluriel/3ème pers. sing. & part. passé/prétérit réguliers Fonctions PERL traitant : INTO 01 : Intonation, Notation et Transcription de lOral

17 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Phonétisation brute Utilisation de quatre dictionnaires différents Dictionnaire "général" Advanced Learners Dictionary (formes phonologiques sous-jacentes) Dictionnaire "mots inconnus" (700 mots transcrits manuellement) Dictionnaire "formes problématiques" (hésitations, coupures) Dictionnaire "formes réduites" INTO 01 : Intonation, Notation et Transcription de lOral

18 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Phonétisation brute Traitement des formes réduites Création dun dictionnaire des formes réduites en anglais à partir de OConnor (1967) et Faure (1975) Condition de réduction: absence de marque prosodique (TSM) Exemple: précédé dune TSM, /and -> transcrit /{nd/ non précédé dune TSM, and -> transcrit (dictionnaire de formes réduites) But: améliorer la phonétisation INTO 01 : Intonation, Notation et Transcription de lOral

19 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Phonétisation brute Problèmes non résolus 1.Doublons (mots avec deux entrées dans le dictionnaire) Exemples: object, wind Aucune solution automatique (pas daccent lexical, 1 er cas)… … mais possibilité de différenciation avec un système de reconnaissance 2. Dates (chiffres entre 1000 et 1999 traités comme des dates) Système de reconnaissance INTO 01 : Intonation, Notation et Transcription de lOral

20 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Méthodologie Aix-MARSEC : Optimisation de la phonétisation INTO 01 : Intonation, Notation et Transcription de lOral

21 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Optimisation de la phonétisation 1) Méthode "brute" fondée sur lextraction de lexique Récupération de formes phonologiques (« citation forms ») 2) Loral est caractérisé par certains phénomènes de production (élisions, réductions, assimilations, métathèses, …) Nécessité de modéliser ces phénomènes pour générer une phonétisation plus proche du signal : optimisation de la phonétisation « phonologique » INTO 01 : Intonation, Notation et Transcription de lOral

22 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Optimisation de la phonétisation Utilisation de règles contraintes : Paramètres intonatifs Paramètres temporels Paramètres phonotactiques INTO 01 : Intonation, Notation et Transcription de lOral

23 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais 2. Paramètres temporels Seuil minimal: 5ms Seuils pour certains phonèmes (Klatt, 1979) /t – d/= 55ms; 55ms; /T/= 110ms Transformé z: z < 0 élision z 0 pas délision 3. Paramètres phonotactiques Optimisation de la phonétisation 1. Paramètres intonatifs: présence / absence de TSM INTO 01 : Intonation, Notation et Transcription de lOral

24 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Optimisation de la phonétisation Paramètres phonotactiques : règles délision de phonèmes Littérature : Jones (1990), Wells (1990) et Gimson (réédité par Cruttenden, 1997) Observation dun échantillon des données du corpus 15 règles délision INTO 01 : Intonation, Notation et Transcription de lOral

25 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Optimisation de la phonétisation Règles délision de phonèmes (1) Règle n°1: élision du phonème /d/ dans and Si z < 0, alors: Règle n°5 : élision de /d/ dans le contexte /d/ # /t-d/, hors terminaison -ed /Id/ Règle n°4 : élision de /t/ dans le contexte /t/ # /t-d/ (seuil) Règle n°3: élision de /h/ dans la forme her (mêmes conditions) Règle n°2: élision de /h/ dans les formes he, hed, hell, hes, his, him (position non-initiale dUI; TSM) INTO 01 : Intonation, Notation et Transcription de lOral

26 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Optimisation de la phonétisation Règles délision de phonèmes (2) Règle n°6 : élision de /t/ et /d/ dans le contexte C 1 + /t-d/ # C 2 -/hj/ Règle n°7 : élision de /p/ dans le contexte /mp/ (#) + C -/r-l-j/ Règle n°8 : élision de /k/ dans le contexte /Nk/ (#) [ptksSTf] Règle n°9 : élision de /l/ dans le contexte /O:/ + /l/ (#) + C Règle n°10 : élision du phonème /T/ dans le contexte C + /T/ (#) + /s/ (seuil) Règle n°11 : élision dans le contexte /s/ + /p - t - k/ (#) + /s/ INTO 01 : Intonation, Notation et Transcription de lOral

27 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Optimisation de la phonétisation Règles délision de phonèmes (3) Règle n°12 : élision du schwa dans le contexte + /l - r/ + voyelle réduite /I (seuil) mais évitement denchaînement /rl/ et simplification des séquences /rr/ et /ll/ Règle n°13 : élision du schwa dans en position initiale (seuil) Règle n°14 : élision du schwa dans lauxiliaire de modalité can (seuil) Règle n°15 : élision du schwa dans le contexte /k-p/ + + /n/ # (seuil) INTO 01 : Intonation, Notation et Transcription de lOral

28 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Optimisation de la phonétisation Évaluation des règles délision de phonèmes (comparaison avec fichiers observés) 4083 phonèmes élidés sur les du corpus ( 2 %) INTO 01 : Intonation, Notation et Transcription de lOral

29 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Méthodologie Aix-MARSEC : Alignement automatique INTO 01 : Intonation, Notation et Transcription de lOral

30 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Alignement automatique On considère généralement (Di Cristo et Hirst, 1997) quil faut 16 h pour transcrire et aligner 1 minute de parole au niveau phonématique Soit 5280 heures pour les 5h30 du corpus (plus de 1 an et demi à raison de 10h par jour 7 jours par semaine) INTO 01 : Intonation, Notation et Transcription de lOral

31 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Alignement automatique Méthode Modèles de Markov Cachés (HMMs) entraînés sur le corpus TIMIT Alignement par application de lalgorithme Viterbi contraint par la phonétisation (« force Viterbi ») Alignement réalisé par Christophe Lévy et Pascal Nocéra du Laboratoire dInformatique dAvignon (cf. Nocéra et al., 2000) INTO 01 : Intonation, Notation et Transcription de lOral

32 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Alignement automatique Évaluation (1) Absence de biais lié aux élisions lors de la phase dalignement (Tests de Wilcoxon et de Kolmogorov-Smirnov sous R) P valeurs Wilcoxon Kolmogorov-Smirnov1 INTO 01 : Intonation, Notation et Transcription de lOral

33 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Alignement automatique Évaluation (2) Seuil % de décalages inférieurs au seuil 64 ms % 32 ms % 20 ms % 16 ms % 15 ms % 10 ms % 5 ms % INTO 01 : Intonation, Notation et Transcription de lOral

34 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Méthodologie Aix-MARSEC : Autres niveaux danalyse INTO 01 : Intonation, Notation et Transcription de lOral

35 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Autres niveaux danalyse Regroupements et alignements automatiques Syllabes (Principe dAttaque Maximale; Pulgram, 1970) Constituants syllabiques (Attaque, Noyau et Coda) Pieds Accentuels (Abercrombie, 1967) Unités rythmiques (Jassem, 1952) Mots Unités intonatives (mineures & majeures) INTO 01 : Intonation, Notation et Transcription de lOral

36 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Autres niveaux danalyse Autres traitements (cf. Présentation D. Hirst, 22 mai 2003) Application de lalgorithme MOMEL Codage des points cibles par lalgorithme INTSINT Éléments pour le traitement de la problématique alignement / association sur parole naturelle INTO 01 : Intonation, Notation et Transcription de lOral

37 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglaisPerspectives&conclusion INTO 01 : Intonation, Notation et Transcription de lOral

38 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Perspectives et Conclusion Amélioration de la phonétisation : Nouvelles règles (exemple: the) Affinement des contraintes Suppression fondée sur lalignement automatique INTO 01 : Intonation, Notation et Transcription de lOral

39 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Perspectives et Conclusion Amélioration de lalignement : Utilisation de modèles phonétiques plus adaptés Application itérative dun algorithme de programmation dynamique (DTW) (cf. Di Cristo & Hirst, 1997) INTO 01 : Intonation, Notation et Transcription de lOral

40 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Perspectives et Conclusion Aix-MARSEC : une méthodologie … Un système de phonétisation fiable (94,79 % de phonèmes prédits correctement) INTO 01 : Intonation, Notation et Transcription de lOral Un ensemble doutils de génération de granularités variables (regroupements automatiques à divers niveaux) Un système portable (scripts multi-plateformes en langage Perl, dictionnaires modulaires)

41 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Perspectives et Conclusion … et un corpus : - 5h30 de parole continue - 52 locuteurs - 11 styles de parole phonèmes, syllabes, mots - alignement aux niveaux du phonème, constituant syllabique, syllabe, mot, pied, unité rythmique, cibles MOMEL/INTSINT, unité intonative (mineure / majeure) INTO 01 : Intonation, Notation et Transcription de lOral

42 Illustration

43 Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Merci de votre attention INTO 01 : Intonation, Notation et Transcription de lOral


Télécharger ppt "Rouen, le 24 mai 2003 Phonétisation, alignement et association dans les grands corpus oraux en anglais Caroline Bouzon, Cyril Auran & Daniel Hirst Laboratoire."

Présentations similaires


Annonces Google