RPM - Reconnaissance de la Parole Multilingue - Un début de Parcours -

Présentation au sujet: "RPM - Reconnaissance de la Parole Multilingue - Un début de Parcours -"— Transcription de la présentation:

1 RPM - Reconnaissance de la Parole Multilingue - Un début de Parcours -
Chafic Mokbel et Gérard Chollet Congrès 10ème Anniversaire Programme CEDRE

2 Un Parcours

3 Qui Sommes Nous? Université de Balamand ENST Chafic Mokbel
Hanna Greige Walid Karam Rania Bayeh + des thésards et stagiaires ENST Gérard Chollet Dijana Petrovska Maurice Charbit Raphael Blouet Guido Aversano + des thésards et stagiaires

4 Le Projet Reconnaissance de La Parole Bilingue BECARS Français/Arabe
Reconnaissance du Locuteur Indépendant du Texte HMM CART GMM Base de données Bilingue BEAF

5 Base Scientifique Modèles stochastiques Spécialisation
Les mélanges à composantes Gaussiennes Les chaînes de Markov Cachées Les arbres de classification et de régression Spécialisation Adaptation ou algorithmes EM récursifs

6 Base Scientifique Modèles de Markov Cachés (MMC ou “HMM”)
A un instant t, le système est dans un état interne (non observable) s(t) qui n’est observé qu’à travers une mesure x(t) s(t) x(t)

7 Base Scientifique MMC 1° 2° 3° 4° Vitesse Accélération 1° 2° 3° 4°

8 Base Scientifique MMC MMC (l) caractérisé par Données incomplètes 
Probabilités d’occupation des états à l’instant initial Probabilités de transition Distributions des observations conditionnellement à l’état Données incomplètes 

9 Base Scientifique MMC Lors de la manipulation des MMCs, une partie des observations est cachée. Calcul de la vraisemblance (avant-arrière) Calcul du meilleur chemin (Viterbi) Apprentissage (EM) Modèle stochastique: Besoin d’une base de données représentative Adaptation aux nouvelles conditions (EM récursif)

10 Base Scientifique EM Paramètres q Chemin ou Alignement s1 q2 s0 q0 q1

11 Base de données Avec CEDRE – RPM:
Serveur de collecte de données parole Un programme de validation des données Une expérience en étiquettage 2 bases de données (BAD et BEAF) dont l’une bilingue Plus d’expériences en reco

12 Reconnaissance Multilingue

13 Reconnaissance Multilingue
Peu de données dans BEAF partie arabe pour effectuer un apprentissage multilocuteur et surtout pour des modèles par mots Modélisation phonétique Pas d’étiquettage phonétique lors du lancement des premières expériences Modéliser les mots arabes en utilisant des modèles phonétiques français

14 Reconnaissance Multilingue
Modèles phonétiques français appris par l’Enst sur de large bases de données Inférence de structures phonétiques: Description manuelle ta3deel tt aa dd ii ll Inférence automatique: Trouver une ou plusieurs séquences phonétiques de manière que le modèle résultant soit le plus vraisemblable

15 Vérification du Locuteur
Système de Vérification du Locuteur Identité proclamée Acceptation Rejet Technologie du Traitement Automatique de la Parole Technologie Biométrique de l’Authentification Automatique

16 Architecture des Systèmes
Phase d’apprentissage Paramétrisation Modélisation Modélisation Phase opérationnelle Base de données Id1 ,..,IdN Identité proclamée Acceptation Rejet Paramétrisation Comparaison et décision

17 Modélisation: travail effectué
Mise au point d’un système état-de-l’art Mise au point d’un système avec adaptation MLLR des paramètres du mélange [Mokbel, 1992] Participation commune aux évaluations NIST’2003 Organisée par le National Institute of Standard and Technologies (USA) 350 locuteurs – téléphones cellulaires – accès Regroupant les meilleurs laboratoires mondiaux: MIT, IBM… Résultats proches des meilleurs systèmes

18 BECARS Balamand ENST CEDRE Automatic Recognition of Speakers
Logiciel libre (sous license cecile en France)

19 Utilisé par différents labos dans différents pays

20 BioSecure

21 NIST 2006

22 A la fin de RPM Bases de données BEAF
Système de reconnaissance multilingue BECARS

23 Suite à RPM Reco de l’écriture manuscrite HCM SecurePhone
Virgule fixe /PDA ESTER BioSecure Reco Multi Reco AudioVisuelle Autres Projets RPM BECARS Segmentation et codage Video NIST 2004, 2005, 2006 Imagerie Médicale BEAF Autres Domaines Prédiction d’erreur NEMLAR Détection d’intrus Transformation audio-visuelle

24 Segmentation/Codage Video
Becars (G. Yazbek)

25 Conclusions CEDRE RPM était l’impulsion:
Plusieurs technologies développées Plusieurs thèses en cours (5) Plusieurs projets en cours Au delà et sur le plan scientifique: Le temps ou la position dans la séquence comme paramètre (ou dimension de l’espace comme les autres dimensions) Inférence de la connaissance à partir des données