ARC RAPSODIS Reconnaissance Automatique de la Parole Suivie et Orientée par Des Informations Syntaxico-Sémantiques PAROLE – METISS – TALARIS – TEXMEX – CEA/LIST Analyse syntaxique des phrases reconnues Relations sémantiques et mesure de confiance La syntaxe en reconnaissance Le système de reconnaissance automatique de la parole génère des phrases contenant des erreurs. La détection et la correction de ces erreurs est un enjeu majeur pour la reconnaissance. Améliorer la transcription automatique de la parole en exploitant lanalyse syntaxique Mise en œuvre : Syntex, LIMA, FIPS Remerciements Nous souhaitons remercier le comité de lINRIA qui nous a attribué cette ARC et qui nous a ainsi accordé un cadre et des moyens pour initier une collaboration interdisciplinaire prometteuse dans un domaine aux défis scientifiques particulièrement nombreux. EPI Parole : EPI TALARIS : Défi principal: Identification et modélisation dindices syntaxiques Cette information doit être intégrable dans les modèles de reconnaissance et permettre daméliorer leurs performances. Avancement du projet Analyse syntaxique de loral transcrit Des phénomènes spécifiques à loral et à lapplication affectent les analyses: erreurs de transcriptions, disfluences, absence de ponctuation,... Cooccurrence de mots : Random Indexing Relations syntaxiques : Calculer la probabilité que deux lemmes soient dépendants selon une relation syntaxique donnée. Adaptation du modèle de langage : [Bellagarda05] Réordonnancement des hypothèses de transcription : Mesures de confiance : 2 étapes: 1- Identification des mots erronés 2- Filtrage du treillis / nouvelle passe de reconnaissance Systèmes de reconnaissance / Environnement de test ANTS de PAROLE Irene de METISS Validation prévue sur ESTER2 Publications Cerisara et al : Automatic extraction, of a semantic lexicon from the speech stream, Computer Speech and Language, 2008 (à paraître) Huet et al : Toward the integration of natural language processing and automatic speech recognition: using morpho-syntax and pragmatics for transcription. Multimodal Procesing and Interaction: Audio, Video, Text. Springer Verlag, Pitel et Grefenstette : Semi-automatic building method for a multidimensional affect dictionary for a new language, Proc. LREC, 2008 Cerisara : Integration of confidence measures and missing data mask for robust speech recognition, Proc. Acoustics, juillet 2008 Huet et al : Morphosyntactic Resources for Automatic Speech Recognition. Proc. LREC2008, Marrakech, Mai Site web: Wiki: Partage de données : matrices de cooccurences (CEA), reconnaissances sur ESTER2, analyses syntaxiques Contacts EPI METISS : EPI TEXMEX : CEA LIST : RéunionDateObjet Montparnasse12/02/2008Kick-off: présentation des partenaires, mise en place dun plan de travail Nancy02/04/2008Etude des solutions potentielles pour lanalyse syntaxique Montparnasse02/07/2008Présentation des données du CEA / Table ronde sur lintégration IHP Paris 519/09/2008Retour sur les données du CEA et sur lanalyse syntaxique F w x d R d x k = F w x k F w x k distance sémantique Matrice termes- documents Matrice respectant le lemme de Johnson-Lindenstrauss (1984): distances préservées si R aléatoire et 1<<k<<d TF-IDFcosine TermesCosinus moyen de0,136 et0,135 à0,134 le0,134 la0,134 Précision Rappel Probabilités syntaxiques Caractéristiques: Objectif La distribution de la moyenne des cosines entre le vecteur dun mot et son contexte est modélisée respectivement pour les mots justes et faux. Le rapport de vraisemblances permet de mesurer la confiance des mots. Le fonctionnement est simple le radar sera installé sur une caméra numérique Le monsieur Hue en est simple le radar sera installé sur une caméra numérique Hue est le numérique ensimple sur une monsieur radar sera caméra installé SUJ ATTS NOMPREP DET SUJ AUX ADJ DET PREP 1