La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Primitives sonores des langues : techniques et finalités de la phonétique de corpus Martine Toda IRCOM et LPP, UMR 7018

Présentations similaires


Présentation au sujet: "Primitives sonores des langues : techniques et finalités de la phonétique de corpus Martine Toda IRCOM et LPP, UMR 7018"— Transcription de la présentation:

1

2 Primitives sonores des langues : techniques et finalités de la phonétique de corpus Martine Toda IRCOM et LPP, UMR 7018

3 Plan I. Primitives phonétiques : les unités sonores de la parole – Phonèmes, traits – Indices contrastifs des fricatives sibilantes Plusieurs corrélats articulatoires Stratégies spécifiques aux locuteurs Pertinence des indices acoustiques en fonction des langues – Conclusion partielle Convergence phonétique, changement historique, émergence des systèmes phonologiques II. Vers une approche ascendante de la diversité sonore des langues – Principes – Etat de lart des ressources linguistiques et outils disponibles Archives linguistiques Outils : transcription automatique, alignement automatique, annotation automatique, concordanciers, fouille – Méthodes non supervisées dextraction dinformation III. Conclusion et perspectives 222/05/2012Séminaire IPS - Strasbourg

4 I. Primitives phonétiques : les unités sonores de la parole Etude de cas des fricatives sibilantes

5 Phonèmes, traits 4 français s ʃ japonais s s j antérieur / postérieurnon-palatal / palatal Phonèmes Géométrie des traits (Clements, 1985) [C ORONAL ] [+ antérieur] … Lieu vocalique [+ arrière] … Trait vocalique (articulation secondaire) Trait consonantique Lieu /s/ fr /s/ jp [C ORONAL ] … [- antérieur] [+ arrondi] /ʃ//ʃ/ Trait de renforcement (Stevens et al. ) 22/05/2012Séminaire IPS - Strasbourg

6 Excursus : étude de corpus à laide de léchographie de la langue toda_poster_ICPhS_2011.pdf 522/05/2012Séminaire IPS - Strasbourg

7 Questions de fond Quelles sont les primitives qui composent la parole ? – Existe-t-il un ensemble fini ? – Les traits permettent-ils une bonne représentation des systèmes sonores des langues, ou y aurait-il une meilleure représentation 622/05/2012Séminaire IPS - Strasbourg

8 Manœuvres articulatoires possibles et 2 pour les lèvres Analyse en composantes principales des mouvements du visage pendant la parole : Maeda et al. ICSLP 2002 ; Toda et al, ICPhS 2003 (n = 3) Forme plate bombée (Au moins) 2 degrés de liberté pour la langue Position antérieure postérieure Coupes sagittales IRM (chinois), Toda et Honda, ISSP 2003 s ɕ ʂ ( ʃ ) /r, u, w/ / ʃ / 722/05/2012Séminaire IPS - Strasbourg

9 Stratégies propres aux locuteurs En français (n = 7 ; production tenue, IRM) Pas de protrusion des lèvres pour / ʃ / en référence à /s/ chez certains locuteurs Recul de la langue pour / ʃ / Bombement du dos de la langue pour / ʃ / -> création dun chenal palatal long et étroit Toda, JEP 2006 ; thèse /05/2012Séminaire IPS - Strasbourg

10 /s/ frjp Type de contraste [+/- antérieur] [+/- arrière] les deux japonais chinois français lieu palatal/non-palatal français (7) et anglais (5)japonais (9)chinois (4), suédois (1) et polonais (2) Etude articulatoire (IRM), Toda et Honda, ISSP /05/2012Séminaire IPS - Strasbourg

11 10 Équivalence acoustique Hz lCA (mm) lCPal (mm) Fréquence de coupure des 104 combinaisons ʃ (déformation) ʃ (recul) Simulations acoustiques à laide de VTF_fric (Maeda, 1982), Toda et Maeda, ISSP 2006 Complémentarité entre cavité antérieure et chenal palatal : équivalence acoustique du spectre de bruit des deux types articulatoires de / ʃ / 22/05/2012Séminaire IPS - Strasbourg

12 Stratégies articulatoires : conséquences dynamiques pres\posterISSP2008.pdf Les articulations acoustiquement équivalentes sur le plan statique ne sont pas nécessairement équivalentes sur le plan dynamique (transition formantiques) – En raison de la morphologie du conduit vocal – En fonction de la combinaison de cibles articulatoires successives Simulation acoustique (VTCalcs), Toda et Maeda, ISSP /05/2012Séminaire IPS - Strasbourg

13 Pertinence des indices acoustiques en fonction des langues /s/, / ʃ / en français, dans les contextes /a_a/, /i_i/ et /u_u/ ; /s/ et /s j / en japonais, dans les contextes /a_a/ et /u_u/ ; – /u/ [ ɯ ] – Opposition neutralisée en contexte antérieur (sauf emprunts récents) Bruit de friction et fréquence des formants Estimation de la robustesse des contrastes (score de distinctivité) entre /s/-/ ʃ / et /s/-/s j / à laide de la formule du T de Student Etude acoustique, Toda, ICPhS 2007 (Hz) 1222/05/2012Séminaire IPS - Strasbourg

14 Bruit de friction (CoG) JapaneseFrench DS = ɯ Contraste plus robuste en français 1322/05/2012Séminaire IPS - Strasbourg

15 Score de distinctivité ContexteDs Jpa1.66* u1.41* Fra3.54* i3.80* u1.91* Centre de gravité du bruit de friction Fréquence normalisée des formants à la jonction FV (début de transition) Contexte Ds (F1) Ds (F2) Ds (F3) Ds (F4) Jpa * u * * Fra * * i u Calculé avec : * : différence significative (test T de rangs appariés de Wilcoxon, bilatéral, seuil de 0,05) |Ds| > 1,9 : moins de 10% |Ds| > 3,5 : moins de 1% de superposition dans la distribution du T de Student 1422/05/2012Séminaire IPS - Strasbourg

16 Contraste des sibilantes : résumé En français, langue où le bruit de friction constitue un indice robuste pour la distinction /s/-/ ʃ /, les locuteurs ont recours à des stratégies articulatoires exploitant léquivalence acoustique du bruit, Par opposition au japonais, langue où les transitions formantiques constituent un indice complémentaire. 1522/05/2012Séminaire IPS - Strasbourg

17 Conclusion partielle Les oppositions phonémiques (dun point de vue statique) se réalisent différemment en fonction des systèmes phonologiques des langues A lintérieur dune même langue, plusieurs solutions articulatoires peuvent être mises en œuvre, qui permettent toutes de répondre aux besoins de la communication – Boucle production-perception-production (Ohala 1981) – Convergence phonétique (cf. Pardo 2006) – Isolats (changements historiques) La recherche dune représentation unique du système phonético- phonologique dune langue à un instant t est un problème mal posé – On peut toutefois décrire quantitativement des tendances régulières, ou la robustesse des indices contrastifs 1622/05/2012Séminaire IPS - Strasbourg

18 II. Vers une approche ascendante de la diversité sonore des langues Prospection

19 Principes Il existe des régularités dans les systèmes sonores des langues (principes phonologiques, universaux). – La phonétique vise à expliquer ces mécanismes en termes causaux, objectifs et quantitatifs – Il serait intéressant de pouvoir décrire ces phénomènes de manière plus générale, dans une perspective typologique Si les appareils phonatoire, auditif et cognitif humains sont fonctionnellement communs à tous les individus, – Alors, on devrait pouvoir isoler un nombre assez restreint de variables (primitives), découlant de contraintes et propriétés physiques, qui permettent de composer le code de la parole dans toute sa variété – Il sagirait de faire une typologie fonctionnelle plutôt quune typologie génétique (apparentement linguistique) Quelle méthode ? 1822/05/2012Séminaire IPS - Strasbourg

20 Ressources et techniques émergentes Linguistique et phonétique de corpus – Ressources linguistiques de plus en plus nombreuses et plus exhaustives – Outils de traitement Techniques dextraction et de fusion de linformation sur des données massives – Exploitation des ressources secondaires produites par des humains – Utilisation de méthodes semi- ou non- supervisées 1922/05/2012Séminaire IPS - Strasbourg

21 Ressources linguistiques orales Archives et corpus linguistiques – OLAC (Open Language Archive Community archives.org/) ressources, couvrant la moitié des langues du monde. Il ne sagit pas dun centre unique qui stocke les données, mais dun réseau avec un protocole : les ressources documentées avec des métadonnées OLACmétadonnées OLAC – Archives du LACITO : transcriptions phonétiques alignées au niveau de la phrase + autres annotations (>1300 ressources, dont principalement des récits) – DoBeS (MPI) : ressources (audio, vidéo, texte, photos) sur les langues en danger (deux tiers des quelques 6500 langues du monde seraient vouées à la disparition au cours 21 ème siècle), métadonnées IMDI – AILLA (Archive of the Indigenous Languages of Latin America), BNC (British National Corpus mots), CGN (Corpus Gesproken Nederlands mots), ESTER 1 (100 h transcrites)… – CRDO-Paris et SLDR (ex-CRDO-Aix) : entrepôts OLAC ; archivage institutionnel en France 2022/05/2012Séminaire IPS - Strasbourg

22 Ressources secondaires (annotations) produites par des humains Avantages – Permet dencoder de linformation linguistique complexe (compréhension du code) – Taux derreur faible Inconvénients – Formats disparates Conventions variables Standards variables (cf. TEI, ISOcat) A priori théoriques Formats variables dus à des logiciels divers (Transcriber, Praat, Exmaralda, Elan…) – coûteux x 10 ou x 100 le temps réel 2122/05/2012Séminaire IPS - Strasbourg

23 Outils de traitement automatique dans une perspective linguistique Alignement automatique – Alignement phonétique à partir de transcription phonétique phrase par phrase – Easyalign (extension de Praat), Sailalign, système du LIA… – Détournement pour les langues non prévues (via transphonologisation) Calcul dindices phonétiques (acoustiques, articulatoires, physiologiques) – Approche phonétique à creuser – Grille de calcul ou « Grille de services » TGE-Adonis ? 2222/05/2012Séminaire IPS - Strasbourg

24 Discrétisation de linformation contenue dans le signal de parole Etude articulatoire (EMA) ; implémentation des points critiques dAnanthakrishnan et Engwall, Toda, LabPhon 2010 Trajectoire de la pointe de la langue durant la production dun énoncé Points critiques désynchronisés dun articulateur à un autre Dos de la langue Pointe de la langue Mâchoire 2322/05/2012Séminaire IPS - Strasbourg

25 Outils de fouille, de visualisation et danalyse Nombreux outils pour la langue écrite – Segmentation morphologique automatique – Annotation automatique en parties du discours (Part Of Speech tagging) et en arbres syntaxiques – Concordanciers Statistiques cooccurrences, distributions complémentaires En phonétique, on aurait besoin, en plus, de pouvoir visualiser le signal (ex. logiciel en cours de développement au LORIA, Jconc cf. ouvertes.fr/docs/00/52/33/97/PDF/Pratiques_TCOFMVE C2010.pdf) 2422/05/2012Séminaire IPS - Strasbourg

26 Alternative à lannotation humaine : approches non supervisées Pas da priori – Pas de biais théorique – Même méthode applicable à toute ressource sans connaissance (ou enrichissement = annotation) préalable de la langue, c.-à-d. peu coûteuse en travail humain – Peut-être découvrirait-on des choses quon navait pas pensé à étudier auparavant ? Indexation et découverte de motifs Catégorisation automatique 2522/05/2012Séminaire IPS - Strasbourg

27 Représentation simplifiée, non (ou juste moins) redondante, de la parole Utilisation des coefficients MFCC (Mel Frequency Cepstral Coefficients) Utilisation possible dautres variables (ex. quantification spécifiques des voyelles – ex. Pellegrino 1998) Hz Mel 2622/05/2012Séminaire IPS - Strasbourg

28 Découverte de motifs / catégorisation non-supervisée Découverte de motifs audio : ex. Muscariello et al. 2009a et b – Technique utilisée dans létude du génome – Découverte non supervisée de mots (extraction de mots clefs…), malgré les variantes de production Comparaison de portions audio à laide de la programmation dynamique (dynamic time warping) Extrait du diaporama Classification automatique, F. Rossi a-mining/clustering.pdf x y 2722/05/2012Séminaire IPS - Strasbourg

29 Conclusion et perspectives

30 Révolution numérique => révolution scientifique ? Confronter les paradigmes scientifiques (cf. Kuhn, 1962) à une nouvelle face des données – Ex. OCP (Obligatory Contour Principle) et lieu consonantique dans les racines verbales en arabe (McCarthy, 1986) Nouvelles ressources, besoin de nouveaux outils (surtout en phonétique) – Exploitation (détournement) doutils existants Linguistique de lécrit en avance sur loral (dans le domaine de létude de corpus) « annotation » (discrétisation) à laide dindices phonétiques – Collaboration transdisciplinaires TAP : Traitement automatique de la parole (informatique - STIC) 2922/05/2012Séminaire IPS - Strasbourg

31 Phonétique de corpus Pour une meilleure compréhension de la diversité sonore des langues Investigation outillée – Utilisation dannotations manuelles ou dindices issus de connaissances linguistique et phonétique : ex. concordanciers Contextes doccurrence Fréquences doccurrence Variation inter-locuteurs, régularités intra-locuteurs… Robustesse des oppositions Relation entre événements phonétiques et fonctions linguistiques (transcriptions phonétiques) Co-occurrences ou distribution complémentaire entre événements phonétiques … – Recours à des méthodes non-supervisées Étude des phénomènes phonétiques à léchelle de grands corpus – Multilingues et multi-locuteurs, plus représentatifs de la réalité linguistique 3022/05/2012Séminaire IPS - Strasbourg

32 Références Clements, 1985, The geometry of phonological features, Phonology 2 : pp P. A. Keating: "Phonetic and phonological representation of stop consonant voicing", Language 60.2, , 1984 T. S. Kuhn, La structure des révolutions scientifiques, Flammarion 1983 (1962) McCarthy, John J OCP Effects: Gemination and Antigemination, Linguistic Inquiry 17, 207– 263. Muscariello, A., Gravier, G., Bimbot, F.: Variability tolerant audio motif discovery. Multimedia Modeling Muscariello, A., Gravier, G., Bimbot, F. : Audio keyword extraction by unsupervised word discovery, Interspeech 2009 Ohala, J. J The listener as a source of sound change. In: C. S. Masek, R. A. Hendrick, & M. F. Miller (eds.), Papers from the Parasession on Language and Behavior. Chicago: Chicago Ling. Soc Pellegrino, F., 1998, "Une approche phonétique en identification automatique des langues: la modélisation acoustique des systèmes vocaliques", Doctorat, 1998, Université Paul Sabatier, Toulouse J.S. Pardo. On phonetic convergence during conversational interaction. JASA 119 :2382–2393, Stevens, K.N. and Keyser, S.J Primary features and their enhancement in consonants. Language 65.1, /05/2012Séminaire IPS - Strasbourg

33 Bibliographie Articles et présentations en version intégrale : 3222/05/2012Séminaire IPS - Strasbourg

34 Bonus A quoi servent les lèvres dans /s/-/ ʃ /

35 34 Constrictions dentale et linguale Coupe sagittaleCoupes coronales Coupes sagittales et coronales IRM ( ʂ, polonais), Toda, thèse /05/2012Séminaire IPS - Strasbourg

36 35 ssssjsj s ʃʃ ɕ s ɕ Français (n=7) Anglais (n=5) Japonais (n=9) Chinois (n=4) Polonais (n=2) Aires de constriction linguale et dentale Constriction dentale entre 2 et 8 fois la constriction linguale Aire variable selon la sibilante et la langue 22/05/2012Séminaire IPS - Strasbourg

37 36 Structure du conduit vocal des sibilantes Constriction dentale Constriction linguale Cavité orale antérieure Cavité labiale « Cavité antérieure » Constriction Conception classique Cavité labiale distincte 22/05/2012Séminaire IPS - Strasbourg

38 37 Rapport daire COA/constriction dentale ssssjsj s ʃʃ ɕ s ɕ Français (n=7) Anglais (n=5) Japonais (n=9) Chinois (n=4) Polonais (n=2) Rapport = 22/05/2012Séminaire IPS - Strasbourg

39 38 Effet de la cavité labiale sur la fonction de transfert de / ʃ / « Normal »« Lèvres seulement »« Sans lèvres » Locuteur Fr1 (stratégie « recul ») Simulation acoustique 3D éléments finis ; cf. Toda et Kitamura, IEEE /05/2012Séminaire IPS - Strasbourg

40 39 Fonctions de transfert calculées (simulation 3D ; méthode des éléments finis) Spectre moyen du bruit réel Normal Lèvres seulement Sans lèvres Les lèvres donnent lieu à un formant labial Leur présence a également comme conséquence dabaisser la fréquence du pic principal affilié principalement à la cavité orale antérieure 22/05/2012Séminaire IPS - Strasbourg

41 40 Fréquence théorique de la première résonance labiale La protrusion (allongement) abaisse le formant labial Larrondissement (diminution de laire) na pas cet effet Le statut des lèvres diffère entre les sibilantes et les vocoïdes tels que [u, w, ɹ ] où les lèvres font partie intégrante dun résonateur de Helmholtz avec la cavité orale. 14 mm10 mm FR1 = c x 1 4 x l lèvres 1 cm 8750 Hz FR1 = c x 1 4 x l lèvres 1,4 cm 6250 Hz /s/ /ʃ//ʃ/ cm/s 22/05/2012Séminaire IPS - Strasbourg

42 41 +/- 1 /ʃ//ʃ/ /s//s/ Spectres moyens de tous les locuteurs - français (n = 7) 1,5 – 4 kHz 5 kHz et + Abaissement du formant labial par protrusion 22/05/2012Séminaire IPS - Strasbourg


Télécharger ppt "Primitives sonores des langues : techniques et finalités de la phonétique de corpus Martine Toda IRCOM et LPP, UMR 7018"

Présentations similaires


Annonces Google