Simulations du VMike et évaluations comparatives.

Présentation au sujet: "Simulations du VMike et évaluations comparatives."— Transcription de la présentation:

1 Simulations du VMike et évaluations comparatives

2 Projet de recherche sur crédit incitatif GET 2005 Page 2 Reconnaissance AV de la parole

3 Projet de recherche sur crédit incitatif GET 2005 Page 3 Traitements audio Extraction du signal audio Détection des chiffres Reconnaissance des chiffres: Paramètres acoustiques : MFCC HMMs indépendants du contexte Décodage : algo. de Viterbi Bruitage de la parole Bruit : Babble Tests de reconnaissance

4 Projet de recherche sur crédit incitatif GET 2005 Page 4 Traitements Vidéo Extraction des vidéos Localisation des lèvres Interpolation des images (même cadence que la parole) Extraction des paramètres DCT et DCT2 (+LDA) Projections :PRO et PRO2 (+LDA) Tests de reconnaissance

5 Projet de recherche sur crédit incitatif GET 2005 Page 5 Techniques de fusion Fusion des paramètres : Concaténation Réduction de la dimension : LDA Modélisation HMM classique avec un seul flux Fusion des scores : Multistream HMM

6 Projet de recherche sur crédit incitatif GET 2005 Page 6 Résultats expérimentaux Fusion des paramètres

7 Projet de recherche sur crédit incitatif GET 2005 Page 7 Résultats expérimentaux Fusion des scores : -5db

8 Projet de recherche sur crédit incitatif GET 2005 Page 8 Bibliographie G. Potamianos, C. Neti, G. Gravier, A. Garp, A. W. Senior. Recent Advances in the Automatic Recognition of Audiovisuel Speech. In IEEE? Vol. 91, pages 1306-1326. sept 2003. J.N. Gowdy, A. Subramanya, C. Bartels, and J. Bilmes. DBN-Based Multi-Stream Models for Audio-Visual Speech Recognition IEEE Int. Conf. on Acoustics, Speech, and Signal Processing, May 2004. Montreal, Canada F. Brugger, L. Zouari, H. Bredin, A. Ameheaye, G. Chollet, D. Pastor et Y. Ni. Reconnaissance de la parole audiovisuelle par VMike. Accepté aux XVIèmes Journées dEtude sur la Parole. Dinard 2006.