NOLISP, Paris, March 23rd 2007 Audio-Visual Speech Processing Gérard Chollet, Hervé Bredin, Thomas Hueber, Rémi Landais, Leila Zouari.

Présentation au sujet: "NOLISP, Paris, March 23rd 2007 Audio-Visual Speech Processing Gérard Chollet, Hervé Bredin, Thomas Hueber, Rémi Landais, Leila Zouari."— Transcription de la présentation:

1 NOLISP, Paris, March 23rd 2007 Audio-Visual Speech Processing Gérard Chollet, Hervé Bredin, Thomas Hueber, Rémi Landais, Leila Zouari

2 Who are the actors ? Many groups are active :
INT – ARTEMIS INT – HANDICOM ENST / CNRS-LTCI ENST – Bretagne / SID What are we doing : Maison Intelligente , OUISPER, , UNDL , TéDéVi (ClipVideo) LABIAO , MyLife3D Livre_lu , Aide aux malentendants

3 Codage/Compression par indexation
Débit : vers le 400 bits/s Ecoute Original : Analyse/Synthèse HNM : Codage à très bas débit : Thèmes Segmentation/Indexation d’unités vocales (ALISP, polyphones), HMM Analyse/synthèse HNM Modifications de la voix (prosodie, timbre)

4 Codage/Compression par indexation
Entrée du signal de parole Analyse de la prosodie Analyse spectrale Codage des paramètres de prosodie Paramètres de prosodie codés Reconnaissance HMM des RAU Coef LPCC Sélection des unités de synthèse: SAU Frontières des segments Indices des unités RAU Segments de parole Indices des unités SAU Corpus de parole du codeur Synthèse: SAU Segment sélectionné Corpus de parole du décodeur Analyse HNM Modification de la prosodie Synthèse HNM par concaténation Sortie du signal synthétique de parole LPCC: HMM: RAU: SAU: HNM: Coefficient Cepstral de Prédiction Linéaire Hidden Markov Model Unité de Reconnaissance Unité de Synthèse Harmonic plus Noise Model

5 Codage/Compression par indexation
Applications Transmission (ex.: vers les mobiles) Compression (ex.: livre lu) Equipes Permanents: M. Charbit, G. Chollet, E. Moulines Thésard: S. Renouard

6 Codage/Compression par indexation
Partenariats Projet RNRT : Sympatex, Thalès, Elan, ESIEE, Projet GET : Maison Intelligente (aide aux handicapés) INT, ENST Br Projet STRP: MobiNews (oct. 2003) Thalès, Elan, ESIEE, Radio France, Multitel, etc

7 Codage/Compression par indexation
G. Baudoin, J. Cernocky, P. Gournay & G. Chollet, Codage de parole à bas et à très bas débit, Annales des Télécoms, 1999. K.S.Lee, R.V.Cox, “A very low bit rate speech coder based on a recognition/synthesis paradigm.”, Vol.9, n°5, pp: , in IEEE Transactions on Speech and Audio Processing, July 2001. Charles du Jeu, Maurice Charbit, Gérard Chollet, Very-low-rate speech compression by indexation of polyphones, Eurospeech 2003. D. Cadic, O. Cappé, M. Charbit, G. Chollet, E. Moulines, « Toolbox » d’analyse/synthèse vocale par HNM, rapport stage (ENST).