CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Codage de la Parole à très bas débit. Maurice CHARBIT, Gérard CHOLLET, Niklas PAULSSON,

Présentation au sujet: "CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Codage de la Parole à très bas débit. Maurice CHARBIT, Gérard CHOLLET, Niklas PAULSSON,"— Transcription de la présentation:

1 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Codage de la Parole à très bas débit. Maurice CHARBIT, Gérard CHOLLET, Niklas PAULSSON, Dijana PETROVSKA (charbit,chollet,paulsson,petrovsk)@tsi.enst.fr ENST/CNRS-LTCI 46 rue Barrault 75634 PARIS cedex 13 (charbit,chollet,paulsson,petrovsk)@tsi.enst.fr

2 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Plan Quel codeur pour quel débit ? Le compromis espace mémoire / débit Vocodeur phonétique Quantification matricielle, indexation Analyse/Synthèse et modifications prosodiques Perspectives

3 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Classification des codeurs

4 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Conserver la qualité en diminuant le débit: Comment est-ce possible ? Exploiter les limites de l’audition, utilisation du modèle source-filtre de production de la parole, quantification vectorielle du signal source, exploiter les contraintes dynamiques des articulateurs, quantification matricielle des séquences de spectres, modèle de langage,...

5 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Conserver la qualité en diminuant le débit: Le prix à payer Complexité du codeur, retard au décodage, mémoire importante, sensibilité aux erreurs de transmission, sensibilité aux bruits.

6 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Modèle source-filtre et allocation des bits. SourceFiltre CELP6500 bps1500 bps LPC-10600 bps1800 bps ALISP250 bps150 bps

7 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Améliorations des codeurs ALISP (.4 kb/s)

8 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Principes de codage à bas et très bas débits Analyse Source + Filtre (LPC, CELP) Reconnaissance de la parole et du locuteur Codage / Décodage Texte et Locuteur (50-200 bit/sec) Synthèse à partir des paramètres Source + Filtre Synthèse à partir du Texte Segmentation et Reconnaissance acoustique Codage / Décodage d’unités segmentales + caract. du locuteur (100-600 bit/sec) Unités de Synthèse Parole à coder (telephone: 64kbit/sec) (PC/MM: 176kbit/sec) Source + Filtre Codage / Décodage (800-16kbit/sec) Parole restituée des paramètres

9 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Codage segmental Approche segmentale nécessaire. Pour des débits inférieurs à 500 bps, Il faut prendre en compte les dépendances inter-trames. Ensemble d’unités acoustiques obtenues automatiquement Représentant de manière précise et concise les sons d’une langue. Sans recourir à une base de donnée étiquetée phonétiquement. Unités ALISP Automatic Language Independant Speech Processing.

10 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Codeur segmental Dictionnaire d’unités de synthèse Dictionnaire d’unités de codage Analyse spectrale Analyse prosodique Reconnaissance unité acoustique Indice unité acoustique Paramètres prosodiques Parole originale Synthèse par concaténation HNM, PSOLA parole synthétique CODEURDECODEUR

11 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX La décomposition temporelle

12 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Segmentation induite par la décomposition temporelle Segmentation sur des zones spectralement stables

13 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Topologie des modèles HMM 1 2 3 4 5 a 22 a 33 a 44 a 12 a 23 a 34 a 25 3 états émetteurs Modèle de langage : unigrammes, facteur de langage . Observation T trames : 3 flux de paramètres indépendants et de mêmes poids : LPCC;  LPCC;  log(E). Pour chaque flux une loi gaussienne simple.

14 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Segmentation et étiquetage par HMM

15 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Analyse/Synthèse et modifications prosodiques Les alternatives: PSOLA / MBROLA HSX Harmoniques + Bruit

16 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Modèle Harmonique + Bruit Objectives: Le modèle: Faciliter les modifications prosodiques Représentation assez simple Basé sur l’acoustique de la parole

17 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Analyse Harmoniques + Bruit Estimation des harmoniques Estimation de l’enveloppe harmonique Paramètres H+B f A Signal à l ’entréeVoisement Estimation AR du résiduel Détection du pitch, et l’énergie Estimation AR + - + Voisé Non-voisé f A

18 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Synthèse Harmoniques + Bruit Paramètres H+B Voisement Voisé Non-voisé Synthèse LPC Synthèse LPC Génération des harmoniques Calculer la phase + + Signal resynthetisé

19 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Modifications prosodiques et spectrales contrôle de l’enveloppe énergétique ajustement de la fréquence fondamentale anamorphose temporelle par DTW adaptation au locuteur par modification spectrale

20 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Perspectives améliorer l’intelligibilité et la qualité. choix d’unités compatibles pour le codage et la synthèse à partir du texte. rendre le codeur indépendant du locuteur et de la langue. restituer l’identité du locuteur.

21 CNRS-LTCI 16 novembre 2000, Avancement SYMPATEX ENST RNRT-SYMPATEX Et à plus longs termes... utiliser la technique ALISP de codage avec des références étiquetées phonétiquement pour faciliter la reconnaissance automatique de la parole, expérimenter le codage ALISP en vérification du locuteur.