« Serveur Vocal d’Accès à la recherche Groupe opérationnel N° 9 SATIM « Serveur Vocal d’Accès à la recherche d’iTInéraires Multimodaux en Ile de France » Groupe opérationnel N° 9 Intégration des Systèmes d'Information et de Communication www.predit.prd.fr Programme national de Recherche et d'innovation dans les Transports terrestres à l'initiative des Ministères de la Recherche, des Transports, de l'Écologie et de l‘Industrie, de l‘Ademe et de l‘Anvar Paris, 27 mars 2003 SATIM

Contexte …et état de l’art Références Le projet SATIM Le module de reconnaissance vocale Le module de compréhension et dialogue Le module de génération et synthèse Interface avec les deux Systèmes d’Information Campagnes d’appels, évaluation et validation des résultats Organisation et pilotage du projet

L’Information Voyageur Contexte L’Information Voyageur Horaires  « Temps réel » Horaires théoriques Itinéraires multimodaux Situations perturbées  Paris, 27 mars 2003 SATIM

Les Systèmes d’accès à l’information en Ile de France Contexte 3615 SITU Volumétrie… 1200 demandes d’itinéraires/jour 70 000 requêtes/jour citefutee.com 55 000 requêtes/mois CIT / CRTV-IF Serveurs Vocaux Interactifs transport-idf.com  Paris, 27 mars 2003 SATIM

 Contexte et état de l’art Serveur de Dialogue en Langage Naturel Une nouvelle génération de SVI Reconnaissance vocale Indépendant du locuteur Parole spontanée Temps réel Compréhension du langage parlé Je voudrais me rendre à l’aéroport d’Orly, je suis à la Mairie de Cachan… Synthèse Vocale  Paris, 27 mars 2003 SATIM

 Références SIEL RECITAL 08 05 90 22 22 01 48 15 29 68 Je pars de Paris, je voudrais un train pour Bordeaux demain matin… Quand passe le prochain bus Porte de Choisy, je vais à Porte de la Villette…? Temps d’attente des RER A et B, Trams T1 et T2 et 35 lignes de bus + perturbations associées Informations horaires des trains Grandes Lignes  Paris, 27 mars 2003 SATIM

Service d’Information Trafic Routier Temps Réel pour l’Ile de France « Tire-bouchon » 0 892 702 302 0,34€/mn Service d’Information Trafic Routier Temps Réel pour l’Ile de France Lieux remarquables < 4000 mots Gares principales Communes > 1000 habitants Mots isolés  Paris, 27 mars 2003 SATIM

Le projet SATIM Réalisation du démonstrateur d’un Serveur Vocal Interactif (SVI) en Langage Naturel, qui donne accès par téléphone, à la recherche d’itinéraires multimodaux (réseau ferré RATP et SNCF, tram et bus RATP et OPTILE) pour tout trajet immédiat ou différé en Ile de France. Le projet SATIM s’inscrit dans l’axe 2 de l’appel à propositions : nouveaux services  Paris, 27 mars 2003 SATIM

 Le projet SATIM Requête de l’usager Point de départ Adresse Requête de l’usager Point d’arrêt (bus, tram, métro, RER) et gare SNCF Point de départ et point d’arrivée Lieu remarquable Date Heure Critère de préférence  Paris, 27 mars 2003 SATIM

 Le projet SATIM Réponse du système Itinéraire détaillé Trajet (Réseau, ligne, arrêts) Réponse du système Horaire théorique au(x) points d’arrêts Itinéraire détaillé Temps de parcours estimé  Paris, 27 mars 2003 SATIM

Générateur de réponses Schéma d’un Serveur Vocal Interactif en Langage Naturel Lexique Modèles de langage Modèles acoustiques Système d’Informations Gestionnaire du SI Grammaire de cas Historique du dialogue Représentation sémantique Phrase reconnue Moteur de reconnaissance Analyseur sémantique Gestionnaire de dialogue Règles de génération Générateur de réponses Réponse vocale Synthétiseur Dictionnaire d'unités  Paris, 27 mars 2003 SATIM

 Vocabulaire de l’application Lexique Liste de tous les mots de l’application que le serveur doit être en mesure de reconnaître : Le vocabulaire courant lié à une demande d’itinéraires « Comment fait-on pour aller de X à Y… ? » Les noms propres (communes, points d’arrêt, voies et lieux remarquables).  Paris, 27 mars 2003 SATIM

Application très grand vocabulaire Classe Volume Communes 1341 Points d’arrêts 20 000 arrêts commerciaux Voiries 88 000 -> 47 000 -> 25 000 noms ≠ (limité à certaines zones Paris + Val d’Oise-95) Lieux remarquables 2000 8400 Application très grand vocabulaire  Paris, 27 mars 2003 SATIM

 Syntaxe de l’application Modèles de langage « Je vais de X à Y… » « Je pars de X » « Mon trajet c’est X Y » « Je voudrais me rendre à X » … Modèles n-grammes (prédiction d’un mot connaissant les n-1 mots précédents) Modèles probabilistes Probabilités n-grammes (trigrammes) estimées à partir des fréquences d’occurrence des suites de n-mots dans le corpus d’apprentissage La perplexité d’un corpus de recherche d’itinéraires est particulièrement élevée  Paris, 27 mars 2003 SATIM

 Mise en oeuvre Réduire la perplexité Evaluer différentes méthodes de modélisation linguistique avec intégration dans le décodeur de contraintes linguistiques complexes. Réduire la perplexité Evaluer différentes méthodes de modélisation acoustico-phonétiques : Mise en œuvre de techniques d’apprentissage discriminants (MMIE, MPE) Evaluation de techniques de transformations linéaires appliquées aux paramètres acoustiques (HLDA, MLLT) Augmenter la précision des modèles acoustico-phonétiques  Paris, 27 mars 2003 SATIM

 Enjeux scientifiques Taille du vocabulaire + ML à perplexité élevée Le premier verrou technologique qu’il s’agit de lever porte ainsi sur la reconnaissance de parole à perplexité élevée Parler ici de l’expérimentation du 12 de FT R&D et Telisma  Paris, 27 mars 2003 SATIM

 Les données d’apprentissage RATP + SNCF + AMIVIF Données textuelles et audio, représentatives de l’application Modèles de langage Modèles acoustiques Type de données Données audio Enregistrements des appels effectués au CIT (Centre d’Information Téléphonique) Enregistrements des appels effectués au CRTV-IF Données textuelles 1/ Transcriptions des enregistrements ci-dessus. 2/ Requêtes effectuées sur le site citefutee.com (70 000 requêtes/jour) 2/ Requêtes effectuées sur le site transport-idf.com (55000 requêtes/jour) RATP + SNCF + AMIVIF  Paris, 27 mars 2003 SATIM

 Mise en oeuvre Deux approches : Réduire les temps de développement Modélisation statistique : appliquer à la modélisation du dialogue les techniques fondées sur des modèles probabilistes et un apprentissage automatique Réduire les temps de développement Approche « classique » par règles S’appuyer sur les complémentarités de chacun des deux Serveurs pour explorer différentes stratégies en matière d’ergonomie des dialogues  Paris, 27 mars 2003 SATIM

 Enjeux scientifiques Taille du vocabulaire + ML à perplexité élevée Le premier verrou technologique qu’il s’agit de lever porte ainsi sur la reconnaissance de parole à perplexité élevée Modélisation statistique du dialogue Réduire les temps et les coûts de développement Parler ici de l’expérimentation du 12 de FT R&D et Telisma  Paris, 27 mars 2003 SATIM

Mise en oeuvre Adapter l’application aux contraintes du dialogue oral Evaluer différentes stratégies de restitution du ou des itinéraires  Paris, 27 mars 2003 SATIM

 INFOMULTI PIVI Itinéraire(s) proposé(s) Saisie vocale des items nécessaires à la recherche d’un itinéraire : point de départ , point d’arrivée (adresse, lieu remarquable, point d’arrêt) [date], [heure], [critère de choix] Génération de la requête INFOMULTI PIVI Itinéraire(s) proposé(s)  Paris, 27 mars 2003 SATIM

 Meilleure garantie de la satisfaction de l’usager Intérêts de cette approche Interface avec les Systèmes d’Information Mutualiser les ressources (données audio, textuelles, lexique) Conserver l’identité de chacun des acteurs du transport Mettre en œuvre des stratégies complémentaires Bénéficier de « retours d’expériences » croisés Meilleure garantie de la satisfaction de l’usager  Paris, 27 mars 2003 SATIM

 Evaluation et validation des résultats du démonstrateur Mise au point par itération Elaboration d’un protocole d’évaluation Campagnes d’appels auprès d’un panel restreints d’utilisateurs Evaluation quantitative « objective » Calcul du taux de reconnaissance Calcul du taux de réussite des dialogues Evaluation qualitative de la satisfaction Client  Paris, 27 mars 2003 SATIM

 Organisation et pilotage du projet VECSYS Pilotage et gestion du projet Collecte, analyse et transcription des données Développement du module de compréhension et dialogue par règles Synthèse vocale Interface avec les SI Intégration du système Evaluation VECSYS  Paris, 27 mars 2003 SATIM

 Organisation et pilotage du projet LIMSI Modélisation linguistique Modélisation acoustique Développement du décodeur avec contraintes Développement du module de compréhension et dialogue (approche statistique) Evaluation LIMSI  Paris, 27 mars 2003 SATIM

 Organisation et pilotage du projet RATP SNCF Collecte et fourniture des données Interface avec le système d’information de citefutee.com (PIVI) Campagne d’évaluation RATP Collecte et fourniture des données Interface avec le système d’information de transport-idf.com (INFOMULTI) Campagne d’évaluation SNCF  Paris, 27 mars 2003 SATIM

 Organisation et pilotage du projet 1.Gestion du projet 2.Collecte, analyse et transcription des données 3.Reconnaissance de la parole 4.Compréhension et dialogue 5.Génération et synthèse vocale 6.Interface Systèmes d’Information 7.Intégration 8.Evaluations  Paris, 27 mars 2003 SATIM

 Organisation et pilotage du projet T0+2. Spécifications détaillées des données audio et textuelles T0+8. Données collectées disponibles T0+12. Décodeur T0+14. Modèles linguistiques et acoustiques T0+15. Module de compréhension et dialogue T0+16.Intégration de la première version des Serveurs de dialogue T0+18. Mise en place des serveurs à la RATP et la SNCF T0+19. Définition du protocole de tests  Paris, 27 mars 2003 SATIM

 Organisation et pilotage du projet T0+20. Début de la première campagne d’appels T0+23. Fourniture du premier rapport d’évaluation T0+25. Intégration de la deuxième version du serveur de dialogue T0+26. Début de la deuxième campagne d’appels T0+30. Rapport final d’évaluation et de validation des résultats  Paris, 27 mars 2003 SATIM

SATIM est un projet…  Pour conclure… INNOVANT FORT à MOYEN TERME …avec un partenariat… …dont les retombées industrielles et économiques se situent… à MOYEN TERME et sont associées à des perspectives d’exploitation… à l’échelle NATIONALE  Paris, 27 mars 2003 SATIM