Traitement automatique de la parole hiver

Présentation au sujet: "Traitement automatique de la parole hiver"— Transcription de la présentation:

1 Traitement automatique de la parole hiver 2003-2004
28 Janvier 2004 Synthèse de la parole Dr. Dijana Petrovska-Delacrétaz DIVA group, DIUF

2 Synthèse vocale à partir du texte ("Text to Speech-TTS")
Définitions Applications Situation actuelle AI et HI Composants Évaluation Des alternatives

3 Biblio Traitement de la parole, R.Boite… (chapitre 7)
Spoken Language Processing, X. Xuang…. (Part 4, chapitres )

4 1. Définitions Système de synthèse vocale à partir du texte ("text to speech -TTS« ) ? idéalement s'est une machine capable de synthétiser (lire) n'importe quel texte (même des mots nouveaux), imitant n'importe quel locuteur, de manière aussi fidèle que possible (intelligibilité, spontanéité) et en conservant toutes les informations présentes dans le message vocal. Provenance du texte: à partir d'un texte introduit sur un clavier, scanné, issu d'un système de reconnaissance optique des caractères ("Optical Character Recognition- OCR"), ou produit automatiquement par un système de dialogue homme-machine.

5 2. Applications prévues Ceci nous permettrait (dans le futur) d'attendre les buts suivants: d'atteindre des taux de compression élevés (utile p.ex. dans la transmission des messages parlés) d'avoir une grande flexibilité concernant le choix des voix de synthèse de préserver des informations extra-textuelles (stress, prosodie, vitesse d’élocution,…) d'avoir une méthode de représentation alternative aux documents textuels (utile plus pour les aveugles, ou pour des applications mains-libres ) de disposer d'un système complet et convivial de dialogue homme-machine

6 mais encore Aide à l’apprentissage (ou perfectionnement) de langues étrangères (système tonal du chinois ou les variations de Fo ont des signification différentes, traducteur multi-langues) Monde ludique des livres et jouets parlants Monitoring vocal pour des informations urgentes ou multiples (pilote d'avions) Améliorer nos connaissance théoriques sur la phonétique, compréhension de la parole, perception

7 3. Situation actuelle des synthétiseurs de parole à partir du texte
possible pour un très petit nombre de locuteurs (voix féminine ou masculine) pour un vocabulaire restreint pour des langues pour lesquelles des grosses bases de données existent, et dont la grammaire est bien étudié pour des nouvelle langues il faut tout recommencer Constatation: on est loin du but !

8 4. AI et « HI » Pour l'être humain c'est une tâche triviale:
qui n'est pas innée (comme la vision) l'homme en a l'exclusivité elle s'acquiert progressivement et d'une manière parfaite pour la langue maternelle, et un petit nombre d'autre langues… On ne connaît pas ou très peu les mécanismes impliqués => on n'a pas d’exemple à suivre

9 5. Modules et flux de données des systèmes TTS
texte Traitement du langage naturel (analyse morpho-synthaxique) Formalismes linguistiques Moteurs d'inférence Inférences logiques Traitement du signal numérique Modèles mathématiques Algorithmes Calculs numériques Phonèmes Prosodie

10 5.1 Module traitement du langage naturel
Pré-processeur: transforme le texte, de façon à identifier des séquences de caractères qui risquent de poser un problème (nombres, abréviations, acronymes, …) Analyseur morphologique: identifie les natures possibles pour chaque mot individuellement (nom, prénom, verbe,…) Analyseur contextuel : comme avant mais en contexte, donc permet de réduire la liste des natures possibles; Analyseur syntaxique-prosodique : affine les résultat de l'analyseur contextuel, et établit un découpage de texte en groupes de mots, pour leur associé une prosodie. Convertisseur graphème -phonème (phonétisation)

11 5.1.1 Prétraitement des données textuelles
détection des fins de phrases (les ponctuations ne sont pas toujours indicateurs de fins de phrases, , p.ex., Dr…. implique l'identifications des mots à problèmes Acronymes FDA = Food and Drug Administration; CO (carbon oxyde, Colorado, commanding officer..) MD (doctor of medicine or Maryland) Phrases ambigues At 8 am I ( At <time> eight am </time> or At 8 am I ( At <number> eight </number> am I dates Temps Monnaie Grand nombres (quelle suite de chiffres,p.ex pour les cartes de crédit)…… ……

12 5.1.2 Analyseur linguistique
principalement le parseur syntactique e t sémantique Peuvent utiliser les règles de NLP (Natural language Processing) si elles existent ( elles sont dérivés des grands corpus textuels) Sert a mettre des tags fonctionels sur des mots et a lever les ambiguités détectés dans le module de prétraitment les ambigités semantiques sont souvent difficiles a resoudre ( At 8 am I) Solution possible: utilisation des langages structurés (xml) avec des "tags" spécifiques

13 5.2 Phonétiseur automatique
Plus le vocabulaire est grand, plus on a des problèmes, et il n'existe pas de solution globale, car les problèmes sont très variés: homographes hétérophones i.e. des mots qui s'écrivent de la même façon mais se prononcent différemment (des os, un os) Coarticulation (dans un mot) liaisons phonétiques entre groupes de mots : deux à deux (liaison optionnelle) ou plat exquis (liaison interdite)… en français le e muet ( surtout dans le sud de la France..) nouveaux mots (acronymes y compris) Noms propres

14 5.3 Prosodie C'est la manière de prononciation qui est importante pour la compréhension (dénotation et co-notation); Elle comprend : les pauses le pitch (Fo) la vitesse de prononciation l'amplitude

15 5.4 Traitement du signal numérique
Transforme la suite de phonèmes et leur prosodie en signal sonore : c'est le module de synthèse Il existe deux familles de synthétiseurs : par règle par concaténation avec modification de la forme d'onde (prosodie) sans modification de la forme d'onde en domaine limité (enregistrement de phrases entières)

16 5.5 Qualité et couverture textuelle
Concaténation domaine limité Concaténation avec sans forme d'onde Bonne Concaténation avec modif. forme d'onde par règles Mauvaise elevé basse Couverture textuelle (pourcentage de phrases de qualité maximale)

17 5.6 Synthétiseurs par règle
Ave les Phonèmes +prosodie on utilise des => règles (Pitch, contour, formants,… 40 paramètres) avec modèles de production LPC) Laborieux et de mauvaise qualité

18 5.7 Synthétiseurs par concaténation
Concaténation de quelles unités: mots syllabes tri-phones di-phones Qualité qui augmente lorsque la taille des unités augmente (mais on besoin de bases de données plus grandes ) Problème de la couverture

19 6. Évaluation est un problème difficile, et pour le moment il n'existent pas de normes d'évaluation communes. Problème rencontrés: dépendance de la tâche (réservations de vols, lecture de s ) test au laboratoire différent des test réels évaluation automatique ou par des utilisateurs humains Si utilisateurs humains : préférence subjective vs efficacité

20 7. Des alternatives Utiliser plusieurs sources d'information pour lever les ambiguïtés, ou les problèmes dues au conditions difficiles … P.ex à la place des machines parlantes introduire des visages parlants