Toulouse, les 4 et 5 juillet 2003 Intégration doutils danalyse de la prosodie dans PFC Cyril Auran Laboratoire Parole et Langage, UMR 6057 CNRS 5èmes Journées.

Présentation au sujet: "Toulouse, les 4 et 5 juillet 2003 Intégration doutils danalyse de la prosodie dans PFC Cyril Auran Laboratoire Parole et Langage, UMR 6057 CNRS 5èmes Journées."— Transcription de la présentation:

1 Toulouse, les 4 et 5 juillet 2003 Intégration doutils danalyse de la prosodie dans PFC Cyril Auran Laboratoire Parole et Langage, UMR 6057 CNRS 5èmes Journées PFC Disponible sur le site: http://www.lpl.univ-aix.fr/~auran/

2 Toulouse, les 4 et 5 juillet 2003 Avant-propos Intégration doutils dans PFC : Prise en compte dun cadre méthodologique particulier (type/format des données, outils et protocoles existants) 5èmes Journées PFC Quels outils pour PFC ? Niveau danalyse (orthographe, segments, prosodie, autres ?) Nature des outils (assistance à lanalyse, analyse à proprement parler) Prise en compte des finalités du projet (description de la variabilité) Pourquoi intégrer des outils ??

3 Toulouse, les 4 et 5 juillet 2003 Plan Remarques préliminaires XVIIIèmistes : De la motivation de lintégration doutils I)Outils non-prosodiques Niveau orthographique Niveau segmental II) Outils pour la prosodie Ordre tonal Ordre temporel Conclusions et perspectives 5èmes Journées PFC

4 Toulouse, les 4 et 5 juillet 2003 Remarques préliminaires (1) « […] C'est ainsi que, chaque partie étant pleine de vice Le tout était cependant un paradis. […] Voilà quels étaient les bonheurs de cet État ; Leurs crimes conspiraient à leur grandeur, Et la vertu, à qui la politique Avait enseigné mille ruses habiles, Nouait, grâce à leur heureuse influence, Amitié avec le vice. Et toujours depuis lors Les plus grandes canailles de toute la multitude Ont contribué au bien commun. » Bernard Mandeville (1714). La Fable des abeilles, ou les vices privés font le bien public 5èmes Journées PFC

5 Toulouse, les 4 et 5 juillet 2003 Remarques préliminaires (2) « […] en échafaudant n'importe quel système de gouvernement Il faut reconnaître en tout homme un fripon qui n'a d'autre fin, dans tous ses actes, que son intérêt privé. » David Hume (1741). « Of the Independence of Parliament » in Essays, Moral and Political, Volume I 5èmes Journées PFC « Ainsi, sans aucune intervention de la loi, les intérêts privés et les passions des hommes les amènent à diviser et à répartir le capital d'une société […] dans la proportion qui approche le plus possible de celle que demande l'intérêt général de la société. » Adam Smith (1776). The Wealth of Nations

6 Toulouse, les 4 et 5 juillet 2003 Remarques préliminaires (3) Motivations de lintégration : Gain de productivité Systématisation des traitements (et des erreurs) 5èmes Journées PFC

7 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques 5èmes Journées PFC

8 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (1) Pour linstant, deux niveaux danalyse : Niveau orthographique (Aisance dutilisation, base pour dautres traitements) Niveau segmental 5èmes Journées PFC

9 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (2) Niveau orthographique : Un idéal : alignement au niveau des mots Mais Espoirs variables en fonction des données PFC 5èmes Journées PFC Listes de lecture de mots : alignement « Nbre-Mot »

10 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (2) Niveau orthographique : Un idéal : alignement au niveau des mots Mais Espoirs variables en fonction des données PFC 5èmes Journées PFC Lecture de texte : alignement « Syntagme » ou « Phrase »

11 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (2) Niveau orthographique : Un idéal : alignement au niveau des mots Mais Espoirs variables en fonction des données PFC 5èmes Journées PFC Conversations : ?? (minimalement : tours de parole)

12 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (3) Niveau orthographique : Outils pour lannotation orthographique (semi-) automatique des listes de mots get_pauses.praat : segmentation automatique à seuil paramétrable, possibilité de vérification manuelle en cours de traitement, option de détection de « souffle ». add_labels.praat : transfert automatique des étiquettes avec conservation des remarques manuelles 5èmes Journées PFC

13 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (3) Illustration : Get_pauses 5èmes Journées PFC

14 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (4) Niveau orthographique : Outils pour lannotation orthographique (semi-) automatique des lectures de texte et des conversations Méthode semi-automatique envisageable (segmentation - paramètres prosodiques locaux - puis transfert détiquettes) Méthode automatique (reconnaissance vocale et alignement automatique) plus difficile à envisager de manière réaliste Pbm de la variabilité 5èmes Journées PFC

15 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (5) Niveau segmental : Préoccupation « originelle » du projet 2 aspects envisageables : Segmentation (identification de la nature et délimitation des frontières des phonèmes) Marquage (pointage dun type de phonème par exemple pour analyse formantique) 5èmes Journées PFC

16 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (6) Niveau segmental : Segmentation Méthodes : Phonétisation : manuelle ou automatique (dico ou reco) Alignement : automatique (fondé sur lutilisation de modèles phonétiques de type HMM) Pbm de la variabilité 5èmes Journées PFC

17 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (7) Niveau segmental : Segmentation Evaluation dun test préliminaire dalignement (Espesser, Ghio et Nguyen) 5èmes Journées PFC Unités évaluées : voyelles (111 items) 2 fichiers de lecture de mots (aal1 et agm1) Outil utilisé : Aligneur du LORIA

18 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (7) Niveau segmental : Segmentation Evaluation dun test préliminaire dalignement (Espesser, Ghio et Nguyen) 5èmes Journées PFC Ecarts frontière gauche : Moyenne absolue : 28 ms Moyenne : - 16 ms (aligneur après manuel) 63% < 20 ms 82 % < 40 ms

19 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (7) Niveau segmental : Segmentation Evaluation dun test préliminaire dalignement (Espesser, Ghio et Nguyen) 5èmes Journées PFC Ecarts frontière droite : Moyenne absolue : 58 ms Moyenne : - 45 ms (aligneur après manuel) 38% < 20 ms 46 % < 40 ms

20 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (7) Niveau segmental : Segmentation Evaluation dun test préliminaire dalignement (Espesser, Ghio et Nguyen) 5èmes Journées PFC Ecarts frontière droite : Effets contextuels (phonème suivant) Type A : activité vocalique Moyenne absolue : 47 ms 52 % < 20 ms / 60 % < 40 ms

21 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (7) Niveau segmental : Segmentation Evaluation dun test préliminaire dalignement (Espesser, Ghio et Nguyen) 5èmes Journées PFC Ecarts frontière droite : Effets contextuels (phonème suivant) Type S : silence ou closure sourde Moyenne absolue : 72 ms 58 % dans [60;120] ms

22 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (7) Niveau segmental : Segmentation Evaluation dun test préliminaire dalignement (Espesser, Ghio et Nguyen) 5èmes Journées PFC Conclusions : 1) Un alignement « décalé à droite » 2) Fiabilité insuffisante pour : -le type de phonème généralement le mieux détecté -Le type de parole le plus normatif (lecture de la liste de mots)

23 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (8) Niveau segmental : Marquage Méthodes : Fondée sur une reconnaissance-alignement (phase évaluée dans la section précédente ; source derreur supplémentaire) Fondée sur des modèles auto-regressifs gaussiens caractérisant des zones quasi-stationnaires du signal (puis détection de lactivité vocale et localisation des voyelles cf. Vocalis, développé à lIRIT qui implémente lalgorithme développé par R. André-Obrecht) 5èmes Journées PFC

24 Toulouse, les 4 et 5 juillet 2003 Outils non-prosodiques (9) Conclusions Solutions disponibles et/ou envisageables pour un alignement orthographique à différents niveaux ; Alignement automatique au niveau phonématique plus délicat : marquage plus envisageable que segmentation 5èmes Journées PFC

25 Toulouse, les 4 et 5 juillet 2003 Outils prosodiques 5èmes Journées PFC

26 Toulouse, les 4 et 5 juillet 2003 Outils prosodiques (1) Prosodie Intonation Prosodie = Système de systèmes 3 ordres structurels (Di Cristo, 2001) Ordre Tonal Ordre Temporel Ordre Métrique 5èmes Journées PFC

27 Toulouse, les 4 et 5 juillet 2003 Outils prosodiques (2) Ordre tonal Différents types de caractérisation (acoustique, phonétique, phonologique) Différentes conceptions (interprétation directe, modélisation holistique ou auto-segmentale) 5èmes Journées PFC

28 Toulouse, les 4 et 5 juillet 2003 Outils prosodiques (3) Ordre tonal : Momel et Intsint (Hirst, Di Cristo & Espesser, 2000) Caractérisation phonétique/phonologique fondée sur lanalyse automatique des données acoustiques Conception auto-segmentale Réversibilité 5èmes Journées PFC

29 Toulouse, les 4 et 5 juillet 2003 Outils prosodiques (3) Ordre tonal : Momel et Intsint Approche instrumentale modulaire Outil Momel disponible sous la forme dun exécutable Unix/Windows Outil Intsint disponible sous la forme dun script Perl multi-plateforme Pilotage global à partir de Praat 5èmes Journées PFC

30 Toulouse, les 4 et 5 juillet 2003 Outils prosodiques (3) Illustration : Momel-Intsint 5èmes Journées PFC

31 Toulouse, les 4 et 5 juillet 2003 Outils prosodiques (3) Illustration : Momel-Intsint 5èmes Journées PFC

32 Toulouse, les 4 et 5 juillet 2003 Outils prosodiques (4) Ordre temporel : Motemp (Auran & Di Cristo, 2003) 2 modalités pour la modélisation de la durée subjective: Semi-autonome : catégorisation automatique des unités préalablement isolées (paramètres : durée physique, proximité de silence, vélocité F0) Autonome : Identification de pseudo-syllabes (Farinas, 2002) et catégorisation automatique. 5èmes Journées PFC

33 Toulouse, les 4 et 5 juillet 2003 Outils prosodiques (4) Illustration : Motemp 5èmes Journées PFC

34 Toulouse, les 4 et 5 juillet 2003 Conclusion et perspectives (1) 5èmes Journées PFC Intégration doutils automatiques danalyse dans PFC : Niveau orthographique -> alignement de macro-unités pour les textes lus ; alignement plus fin envisageable pour la liste de mots ; Niveau segmental -> segmentation délicate mais marquage envisageable ; Niveau prosodique -> implémentation aisée dans les ordres tonal et temporel ; ladoption dun cadre danalyse unique constitue cependant un problème …

35 Toulouse, les 4 et 5 juillet 2003 Conclusion et perspectives (2) 5èmes Journées PFC Nécessité de délimitation précise : De normes concernant lacquisition des données (respect des normes denregistrement, consignes compatibles avec un traitement automatique) ; De la politique de gestion des ressources informatiques (problèmes de la diffusion des sources, des exécutables, …) De la place de lanalyse de la prosodie dans le cadre de PFC (caractère obligatoire ou optionnel, méthode unique ou pas, …)