La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

16/11/2000Projet RNRT SYMPATEX1 SP1 : Transfert de technologie Transfert des logiciels de la thèse de J. Cernocky G. Baudoin.

Présentations similaires


Présentation au sujet: "16/11/2000Projet RNRT SYMPATEX1 SP1 : Transfert de technologie Transfert des logiciels de la thèse de J. Cernocky G. Baudoin."— Transcription de la présentation:

1 16/11/2000Projet RNRT SYMPATEX1 SP1 : Transfert de technologie Transfert des logiciels de la thèse de J. Cernocky G. Baudoin

2 16/11/2000Projet RNRT SYMPATEX2 Plan de la présentation Fournitures prévues et planning Travail réalisé Contenu du CD-ROM Description des différentes étapes de traitement

3 16/11/2000Projet RNRT SYMPATEX3 Fournitures prévues et planning T0+6 mois Rapport technique Démonstration du système de codage de base Monolocuteur, synthèse LPC simple par concaténation, hors temps réel. Système existant Programmes en C sous LINUX ou UNIX. Fichiers de commande shell et quelques uns en PERL.

4 16/11/2000Projet RNRT SYMPATEX4 Travail réalisé Système transféré pour faciliter le portage sous Windows Visual C Programmes en C ANSI sous LINUX Red-hat 6.1. Fichiers de commandes tous en PERL. Document de description et documentation des logiciels et scripts perl. CD ROM avec logiciels, scripts, documentation, exemples. Terminé fin février 2000, Réalisé en partie à Brno en collaboration avec Jan Cernocky, Petr Motlicek et Y.-P. Nakache.

5 16/11/2000Projet RNRT SYMPATEX5 Contenu du CD-ROM Logiciels (PROGS) et scripts perl (SCRIPTS) nécessaires pour réaliser les expériences de codage à très bas débit. Extrait de la base de données BU radio corpus (DATA). Résultats des expériences sur cet extrait (WORK). Logiciels utilitaires : perl et emacs (WIN_SOFT). Documentation sur les logiciels C et les scripts (DOC). Publication générale G. Baudoin, J. Cernocky, P. Gournay, G. Chollet. Codage de la parole à bas et très bas débit. Annales des télécommunications, n°55, à paraître en 2000.

6 16/11/2000Projet RNRT SYMPATEX6 Codage à très bas débit par indexation dunités de taille variable Approche segmentale nécessaire. Pour des débits inférieurs à 500 bps, Il faut prendre en compte les dépendances inter-trames. EX : LPC10 : 500bps spectre, 2000bps excitation. Ensemble dunités acoustiques obtenues automatiquement Représentant de manière précise et concise les sons dune langue. Sans recourir à une base de donnée étiquetée phonétiquement. Unités ALISP Automatic Language Independant Speech Processing.

7 16/11/2000Projet RNRT SYMPATEX7 Vocodeurs à très bas débits, phonétiques ou pseudo-phonétique Codeur à reconnaissance-synthèse: Effectue, dans la phase danalyse, une reconnaissance dunités acoustiques de codage Linguistiques (phonèmes, transitions entre phonèmes,…) Nécessite une base de données étiquetées Unités acoustiques obtenues automatiquement par des techniques statistiques : codeur pseudo-phonétiques. base de données non étiquetées. Effectue au décodage la synthèse du signal de parole par concaténation dunités de synthèse.

8 16/11/2000Projet RNRT SYMPATEX8 Codeur à très bas débit Dictionnaire dunités de synthèse Dictionnaire dunités de codage Analyse spectrale Analyse prosodique Reconnaissance unité acoustique Indice unité acoustique Paramètres de prosodie Parole originale Synthèse par concaténation HNM, PSOLA parole synthétique CODEURDECODEUR

9 16/11/2000Projet RNRT SYMPATEX9 Description des différentes étapes de traitement Préparation des données Suppression des en-tête, retournement octets, découpage en fichiers courts, création de listes. Apprentissage des unités de codage et de synthèse Utilisation du vocodeur : Codage-décodage ou analyse-synthèse dune phrase Reconnaissance des unités de codage. Synthèse par concaténation des unités de synthèse.

10 16/11/2000Projet RNRT SYMPATEX10 Apprentissage non supervisé des unités de codage Analyse et Segmentation initiale du corpus dapprentissage par décomposition temporelle. Cibles spectrales et fonction dinterpolation (Atal, Bimbot) Classification des segments par quantification vectorielle sur les cibles spectrales. 1ère transcription. Modélisation des classes par HMM Itération segmentation, apprentissage des HMM. Raffinement des classes et modèles Itération de la procédure segmentation-transcription par les HMM, ré-estimation des HMM.

11 16/11/2000Projet RNRT SYMPATEX11 Détermination des unités de codage, analyse, décomposition temporelle Analyse spectrale LPCC, trames 20 ms, déplacement 10 ms. Soustraction du vecteur cepstral moyen pour minimiser linfluence des variations de conditions denregistrement. Décomposition temporelle Segmentation prenant en compte la co-articulation Modélise une suite de vecteurs spectraux comme une suite de cibles spectrales reliées par des fonctions dinterpolation se recouvrant partiellement.

12 16/11/2000Projet RNRT SYMPATEX12 Décomposition temporelle 17 événements/s en moyenne

13 16/11/2000Projet RNRT SYMPATEX13 Classification des cibles de la décomposition temporelle Après DT, base de données segmentée en événements de la DT (1 cible, 1 FI). On regroupe les segments en 64 classes par Quantification vectorielle ->transcription Le dictionnaire est appris sur les vecteurs spectraux au centre de gravité des FI. La classification est faite en comparant les distances dun segment aux différentes classes. 1 ère Transcription f2b.sym, f2b.plim, f2b.seg,*.phn (3 colonnes).

14 16/11/2000Projet RNRT SYMPATEX14 Modélisation stochastique HMM des classes obtenues après DT et QV Modélisation facilite reconnaissance, Permet daffiner le jeu dunités de codage. Quelques itérations (typiquement 5): Apprentissage des modèles HMM, à partir dune segmentation et dune transcription du corpus. Re-segmentation et transcription avec ces modèles. Au fur à mesure, la vraisemblance des modèles et la cohérence acoustique des classes augmentent. Logiciel HTK

15 16/11/2000Projet RNRT SYMPATEX15 Topologie des modèles HMM a 22 a 33 a 44 a 12 a 23 a 34 a 25 3 états émetteurs Modèle de langage : unigrammes, facteur de langage. Observation T trames : 3 flux de paramètres indépendants et de mêmes poids : LPCC; LPCC; log(E). Pour chaque flux une loi gaussienne simple.

16 16/11/2000Projet RNRT SYMPATEX16 Itération de la modélisation HMM Après la reconnaissance, on recalcule un modèle de langage Itération étape m : Résultats L unités acoustiques, modélisées par L HMM. Un ensemble de segments associés à chaque unité. Une transcription de la base de données.

17 16/11/2000Projet RNRT SYMPATEX17 Allongement des unités de codage Technique de Multigramme appliquée sur : les séquences de symboles de la QV Pour une unité de i symboles, 1 HMM à 2i+1 états Beaucoup de HMM à entraîner. Les séquences de symboles HMM. Utilisation Diminution du débit Unités de synthèse. Allongement du retard

18 16/11/2000Projet RNRT SYMPATEX18 Expériences et résultats Essais sur le corpus Boston university Radio Corpus (anglais), Martin Ruzek (radio tchèque), CD audio en français. Fe= Hz ou Hz. monolocuteur, 1 h de parole par locuteur.

19 16/11/2000Projet RNRT SYMPATEX19 Résultats codage de lenveloppe spectrale et des unités de synthèse Locuteur Débit binaire en bps, unités de codage et de synthèse Locuteur féminin Locuteur masculin HMM HMM + MG (n=6) 190, ,5 156

20 16/11/2000Projet RNRT SYMPATEX20 Détermination des unités de synthèse Dans chaque classe dunité acoustique de codage, on choisit 8 représentants pour la synthèse. Les 8 plus longs segments. Pour coder un segment s attribué à une classe Ci, on compare par DTW le segment s aux 8 représentants de la classe.

21 16/11/2000Projet RNRT SYMPATEX21 Codeur parole Analyse spectrale Analyse prosodique Reconnaissance HMM Dictionnaire des modèles HMM des unités ALISP Représentant A 1 … Représentant A 8 HMM A Détermination des unités de synthèse Choix unité de synthèse par DTW Codage prosodie Indice unité ALISP Indice unité de synthèse Pitch, énergie, temps

22 16/11/2000Projet RNRT SYMPATEX22 Décodeur Parole synthétique Représentant A 1 … Représentant A 8 Indice ALISP N° représentant de synthèse Paramètres de prosodie Choix unité de synthèse Synthèse par concaténation


Télécharger ppt "16/11/2000Projet RNRT SYMPATEX1 SP1 : Transfert de technologie Transfert des logiciels de la thèse de J. Cernocky G. Baudoin."

Présentations similaires


Annonces Google