La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Cours parole du 2 Mars 2005 enseignants: Dr. Dijana Petrovska-Delacrétaz et Gérard Chollet Synthèse de la Parole 1.Introduction, Historique, Domaines.

Présentations similaires


Présentation au sujet: "1 Cours parole du 2 Mars 2005 enseignants: Dr. Dijana Petrovska-Delacrétaz et Gérard Chollet Synthèse de la Parole 1.Introduction, Historique, Domaines."— Transcription de la présentation:

1 1 Cours parole du 2 Mars 2005 enseignants: Dr. Dijana Petrovska-Delacrétaz et Gérard Chollet Synthèse de la Parole 1.Introduction, Historique, Domaines dapplications 2.Synthèse à partir dun texte / à partir de concepts 3.Traduction Graphèmes --> Phonèmes et Prosodèmes 4.Synthèse articulatoire / acoustique 5.Synthèse par concaténation 6.Modèles de langage 7.Evaluation 8.Conclusions

2 2 1.7 Domaines du Traitement Automatique de la Parole Identité PHONETIQUE RECONNAISSANCE GRAPHEMES VERS PHONEMES SYNTHESE ANALYSE STOCKAGERESTITUTION TRANSMISSION Bla-bla bla … Bla-bla LANGUE MESSAGE

3 3 Biblio Traitement de la parole, R.Boite… (chapitre 7) Presses Polytechniques et Universitaires Romandes (2000) Spoken Language Processing, X. Xuang…. (Part 4, chapitres ) Prentice Hall (2001)

4 4 1. Définitions Système de synthèse vocale à partir dun texte (« text to speech –TTS » ) ou à partir de concepts : Idéalement c'est une machine capable de synthétiser (lire) n'importe quel texte (même des mots nouveaux), imitant n'importe quel locuteur, de manière aussi fidèle que possible (intelligibilité, spontanéité) et en générant toutes les informations nécessaires dans un message vocal. Provenance du texte: à partir d'un texte introduit sur un clavier, scanné, issu d'un système de reconnaissance optique de caractères ("Optical Character Recognition- OCR"), ou produit automatiquement par un système de dialogue homme-machine (synthèse à partir de concepts).

5 5 La synthèse, pour quoi faire ? Services de télécommunications Rendre toute information écrite disponible via le téléphone (horaires de cinéma, horaires de train, informations routières, état dun compte en banque, dernière facture téléphonique, etc.) Applications en bureautique Terminaux parlants, lecture des s par la voix, etc. Applications dans les transports Information dans les automobiles, aide à lexploitation des trains, lecture de cadrans dans les avions, etc. Aide aux personnes handicapées Un handicapé peut sexprimer par le biais dun synthétiseur (cours du célèbre astrophysicien Stephen Hawking) Apprentissage des langues étrangères Dictionnaires électronique avec prononciation intégrée, logiciels dapprentissage des langues étrangères, traduction automatique, etc. Livres et jouets parlants À lusage des enfants en bas âge Communication naturelle avec la machine

6 6 2. Applications prévisibles Ceci nous permettrait (dans le futur) d'atteindre les buts suivants: d'atteindre des taux de compression élevés (utile p.ex. dans la transmission des messages parlés) d'avoir une grande flexibilité concernant le choix des voix de synthèse de préserver des informations extra-textuelles (stress, prosodie, vitesse délocution,…) d'avoir une méthode de représentation alternative aux documents textuels (utile plus pour les aveugles, ou pour des applications mains-libres ) de disposer d'un système complet et convivial de dialogue homme- machine

7 7 mais encore Aide à lapprentissage (ou perfectionnement) de langues étrangères (système tonal du chinois ou les variations de Fo ont des signification différentes, traducteur multi-langues) Monde ludique des livres et jouets parlants Monitoring vocal pour des informations urgentes ou multiples (pilote d'avions) Améliorer nos connaissance théoriques sur la phonétique, compréhension de la parole, perception

8 8 3. Situation actuelle des synthétiseurs de parole à partir du texte possible pour un très petit nombre de locuteurs (voix féminine ou masculine) pour un vocabulaire restreint pour des langues pour lesquelles des grosses bases de données existent, et dont la grammaire est bien étudié pour des nouvelle langues il faut tout recommencer Constatation: on est loin du but !

9 9 Structure dun système de synthèse SYNTHESE DE LA PAROLE A PARTIR DU TEXTE TRAITEMENT DU LANGAGE NATUREL Formalismes linguistiques Moteurs dinférence Inférences logiques TRAITEMENT DU SIGNAL NUMERIQUE Modèles mathématiques Algorithmes Calculs numériques Texte Parole Phonèmes Prosodie

10 10 5. Modules et flux de données des systèmes TTS Traitement du langage naturel (analyse morpho-synthaxique) Formalismes linguistiques Moteurs d'inférence Inférences logiques Traitement du signal numérique Modèles mathématiques Algorithmes Calculs numériques texte Phonèmes Prosodie

11 11 Du Texte à la Phonétique Pré-processeur Analyseur morphologique Analyseur contextuel Analyseur syntaxique- prosodique Phonétiseur Générateur de prosodie Texte Structure de données Phonèmes Prosodie

12 Module traitement du langage naturel Pré-processeur: transforme le texte, de façon à identifier des séquences de caractères qui risquent de poser un problème (nombres, abréviations, acronymes, …) Analyseur morphologique: identifie les syntagmes possibles pour chaque mot individuellement (nom, prénom, verbe,…) Analyseur contextuel : comme avant mais en contexte, donc permet de réduire la liste des syntagmes possibles; Analyseur syntaxique-prosodique : affine les résultat de l'analyseur contextuel, et établit un découpage du texte en groupes de mots, pour leur associer une prosodie. Convertisseur graphème -phonème (phonétisation)

13 13 Prétraitement des données textuelles détection des fins de phrases (les ponctuations ne sont pas toujours des indicateurs de fins de phrases, , p.ex., Dr…. implique l'identifications des mots à problèmes Acronymes FDA = Food and Drug Administration; CO (carbon oxyde, Colorado, commanding officer..) MD (doctor of medicine or Maryland) Phrases ambigues At 8 am I ( At eight am or At 8 am I ( At eight am I dates Temps Monnaie Grands nombres (quelle suite de chiffres,p.ex pour les cartes de crédit)…… ……

14 Analyseur linguistique principalement le parseur syntactique et sémantique Peuvent utiliser les règles de NLP (Natural language Processing) si elles existent ( elles sont dérivés des grands corpus textuels) Sert à mettre des tags fonctionnels sur des mots et à lever les ambiguités détectés dans le module de prétraitement les ambiguités sémantiques sont souvent difficiles à résoudre ( At 8 am I) Solution possible: utilisation des langages structurés (xml) avec des "tags" spécifiques

15 Phonétiseur automatique Plus le vocabulaire est grand, plus on a des problèmes, et il n'existe pas de solution globale, car les problèmes sont très variés: homographes hétérophones i.e. des mots qui s'écrivent de la même façon mais se prononcent différemment (des os, un os) Coarticulation (dans un mot) liaisons phonétiques entre groupes de mots : deux à deux (liaison optionnelle) ou plat exquis (liaison interdite)… en français le e muet ( surtout dans le sud de la France..) nouveaux mots (acronymes y compris) Noms propres

16 16 Phonétisation (1)

17 17 Phonétisation (2)

18 Prosodie C'est la manière de prononciation qui est importante pour la compréhension (dénotation et co-notation); Elle comprend : les pauses le pitch (Fo) la vitesse de prononciation l'amplitude

19 19 Prosodie : la « musique » de la parole

20 Traitement du signal numérique Transforme la suite de phonèmes et leur prosodie en signal sonore: c'est le module de synthèse Il existe deux familles de synthétiseurs : par règle par concaténation avec modification de la forme d'onde (prosodie) sans modification de la forme d'onde en domaine limité (enregistrement de phrases entières)

21 21 Quest-ce quun diphone ?

22 22 Concaténation de diphones

23 Qualité et couverture textuelle Couverture textuelle (pourcentage de phrases de qualité maximale) Qualité Bonne Mauvaise basse elevé Concaténation domaine limité Concaténation avec modif. forme d'onde par règles Concaténation sans modif forme d'onde

24 Synthétiseurs par règle Avec les phones + prosodie on utilise des règles (Pitch, contour, formants,… 40 paramètres) avec modèles de production (LPC) Laborieux et de mauvaise qualité

25 Synthétiseurs par concaténation Concaténation de quelles unités: mots syllabes tri-phones di-phones Qualité qui augmente lorsque la taille des unités augmente (mais on besoin de bases de données plus grandes ) Problème de couverture

26 26 6. Évaluation est un problème difficile, et pour le moment il n'existent pas de normes d'évaluation communes. Problèmes rencontrés: dépendance de la tâche (réservations de vols, lecture de s ) test au laboratoire différent des test réels évaluation automatique ou par des utilisateurs humains Si utilisateurs humains : préférence subjective vs efficacité

27 27 7. Des alternatives Utiliser plusieurs sources d'information pour lever les ambiguïtés, ou les problèmes dues au conditions difficiles … Par ex : à la place des machines parlantes introduire des visages parlants

28 28 Liens Internet Synthèse Codage

29 Codeurs segmentaux Permettent la plus grande réduction du débit (<800bps), mais nécessitent des méthodes de reconnaissance des unités segmentales. Résultats similaires dans l'implémentation des systèmes dépendant du locuteur. Comment pourrait-on encore réduire le débit: en transmettant le texte reconnu, et en effectuant de la synthèse à partir du texte du coté du transmetteur.

30 30 Recherche actuelle


Télécharger ppt "1 Cours parole du 2 Mars 2005 enseignants: Dr. Dijana Petrovska-Delacrétaz et Gérard Chollet Synthèse de la Parole 1.Introduction, Historique, Domaines."

Présentations similaires


Annonces Google