« Serveur Vocal d’Accès à la recherche Groupe opérationnel N° 9

Présentation au sujet: "« Serveur Vocal d’Accès à la recherche Groupe opérationnel N° 9"— Transcription de la présentation:

1 « Serveur Vocal d’Accès à la recherche Groupe opérationnel N° 9
SATIM « Serveur Vocal d’Accès à la recherche d’iTInéraires Multimodaux en Ile de France » Groupe opérationnel N° 9 Intégration des Systèmes d'Information et de Communication Programme national de Recherche et d'innovation dans les Transports terrestres à l'initiative des Ministères de la Recherche, des Transports, de l'Écologie et de l‘Industrie, de l‘Ademe et de l‘Anvar Paris, 27 mars 2003 SATIM

2 Contexte …et état de l’art Références Le projet SATIM
Le module de reconnaissance vocale Le module de compréhension et dialogue Le module de génération et synthèse Interface avec les deux Systèmes d’Information Campagnes d’appels, évaluation et validation des résultats Organisation et pilotage du projet

3 L’Information Voyageur
Contexte L’Information Voyageur Horaires  « Temps réel » Horaires théoriques Itinéraires multimodaux Situations perturbées  Paris, 27 mars 2003 SATIM

4 Les Systèmes d’accès à l’information
en Ile de France Contexte 3615 SITU Volumétrie… 1200 demandes d’itinéraires/jour requêtes/jour citefutee.com requêtes/mois CIT / CRTV-IF Serveurs Vocaux Interactifs transport-idf.com  Paris, 27 mars 2003 SATIM

5  Contexte et état de l’art Serveur de Dialogue en Langage Naturel
Une nouvelle génération de SVI Reconnaissance vocale Indépendant du locuteur Parole spontanée Temps réel Compréhension du langage parlé Je voudrais me rendre à l’aéroport d’Orly, je suis à la Mairie de Cachan… Synthèse Vocale  Paris, 27 mars 2003 SATIM

6  Références SIEL RECITAL 08 05 90 22 22 01 48 15 29 68
Je pars de Paris, je voudrais un train pour Bordeaux demain matin… Quand passe le prochain bus Porte de Choisy, je vais à Porte de la Villette…? Temps d’attente des RER A et B, Trams T1 et T2 et 35 lignes de bus + perturbations associées Informations horaires des trains Grandes Lignes  Paris, 27 mars 2003 SATIM

7 Service d’Information Trafic Routier Temps Réel pour l’Ile de France
« Tire-bouchon » 0,34€/mn Service d’Information Trafic Routier Temps Réel pour l’Ile de France Lieux remarquables < 4000 mots Gares principales Communes > 1000 habitants Mots isolés  Paris, 27 mars 2003 SATIM

8 Le projet SATIM Réalisation du démonstrateur d’un Serveur Vocal Interactif (SVI) en Langage Naturel, qui donne accès par téléphone, à la recherche d’itinéraires multimodaux (réseau ferré RATP et SNCF, tram et bus RATP et OPTILE) pour tout trajet immédiat ou différé en Ile de France. Le projet SATIM s’inscrit dans l’axe 2 de l’appel à propositions : nouveaux services  Paris, 27 mars 2003 SATIM

9  Le projet SATIM Requête de l’usager Point de départ
Adresse Requête de l’usager Point d’arrêt (bus, tram, métro, RER) et gare SNCF Point de départ et point d’arrivée Lieu remarquable Date Heure Critère de préférence  Paris, 27 mars 2003 SATIM

10  Le projet SATIM Réponse du système Itinéraire détaillé Trajet
(Réseau, ligne, arrêts) Réponse du système Horaire théorique au(x) points d’arrêts Itinéraire détaillé Temps de parcours estimé  Paris, 27 mars 2003 SATIM

11 Générateur de réponses
Schéma d’un Serveur Vocal Interactif en Langage Naturel Lexique Modèles de langage Modèles acoustiques Système d’Informations Gestionnaire du SI Grammaire de cas Historique du dialogue Représentation sémantique Phrase reconnue Moteur de reconnaissance Analyseur sémantique Gestionnaire de dialogue Règles de génération Générateur de réponses Réponse vocale Synthétiseur Dictionnaire d'unités  Paris, 27 mars 2003 SATIM

12  Vocabulaire de l’application
Lexique Liste de tous les mots de l’application que le serveur doit être en mesure de reconnaître : Le vocabulaire courant lié à une demande d’itinéraires « Comment fait-on pour aller de X à Y… ? » Les noms propres (communes, points d’arrêt, voies et lieux remarquables).  Paris, 27 mars 2003 SATIM

13 Application très grand vocabulaire
Classe Volume Communes 1341 Points d’arrêts arrêts commerciaux Voiries > -> noms ≠ (limité à certaines zones Paris + Val d’Oise-95) Lieux remarquables 2000 8400 Application très grand vocabulaire  Paris, 27 mars 2003 SATIM

14  Syntaxe de l’application
Modèles de langage « Je vais de X à Y… » « Je pars de X » « Mon trajet c’est X Y » « Je voudrais me rendre à X » … Modèles n-grammes (prédiction d’un mot connaissant les n-1 mots précédents) Modèles probabilistes Probabilités n-grammes (trigrammes) estimées à partir des fréquences d’occurrence des suites de n-mots dans le corpus d’apprentissage La perplexité d’un corpus de recherche d’itinéraires est particulièrement élevée  Paris, 27 mars 2003 SATIM

15  Mise en oeuvre Réduire la perplexité
Evaluer différentes méthodes de modélisation linguistique avec intégration dans le décodeur de contraintes linguistiques complexes. Réduire la perplexité Evaluer différentes méthodes de modélisation acoustico-phonétiques : Mise en œuvre de techniques d’apprentissage discriminants (MMIE, MPE) Evaluation de techniques de transformations linéaires appliquées aux paramètres acoustiques (HLDA, MLLT) Augmenter la précision des modèles acoustico-phonétiques  Paris, 27 mars 2003 SATIM

16  Enjeux scientifiques Taille du vocabulaire + ML à perplexité élevée
Le premier verrou technologique qu’il s’agit de lever porte ainsi sur la reconnaissance de parole à perplexité élevée Parler ici de l’expérimentation du 12 de FT R&D et Telisma  Paris, 27 mars 2003 SATIM

17  Les données d’apprentissage RATP + SNCF + AMIVIF
Données textuelles et audio, représentatives de l’application Modèles de langage Modèles acoustiques Type de données Données audio Enregistrements des appels effectués au CIT (Centre d’Information Téléphonique) Enregistrements des appels effectués au CRTV-IF Données textuelles 1/ Transcriptions des enregistrements ci-dessus. 2/ Requêtes effectuées sur le site citefutee.com ( requêtes/jour) 2/ Requêtes effectuées sur le site transport-idf.com (55000 requêtes/jour) RATP + SNCF + AMIVIF  Paris, 27 mars 2003 SATIM

18  Mise en oeuvre Deux approches : Réduire les temps de développement
Modélisation statistique : appliquer à la modélisation du dialogue les techniques fondées sur des modèles probabilistes et un apprentissage automatique Réduire les temps de développement Approche « classique » par règles S’appuyer sur les complémentarités de chacun des deux Serveurs pour explorer différentes stratégies en matière d’ergonomie des dialogues  Paris, 27 mars 2003 SATIM

19  Enjeux scientifiques
Taille du vocabulaire + ML à perplexité élevée Le premier verrou technologique qu’il s’agit de lever porte ainsi sur la reconnaissance de parole à perplexité élevée Modélisation statistique du dialogue Réduire les temps et les coûts de développement Parler ici de l’expérimentation du 12 de FT R&D et Telisma  Paris, 27 mars 2003 SATIM

20 Mise en oeuvre Adapter l’application aux contraintes du dialogue oral Evaluer différentes stratégies de restitution du ou des itinéraires  Paris, 27 mars 2003 SATIM

21  INFOMULTI PIVI Itinéraire(s) proposé(s)
Saisie vocale des items nécessaires à la recherche d’un itinéraire : point de départ , point d’arrivée (adresse, lieu remarquable, point d’arrêt) [date], [heure], [critère de choix] Génération de la requête INFOMULTI PIVI Itinéraire(s) proposé(s)  Paris, 27 mars 2003 SATIM

22  Meilleure garantie de la satisfaction de l’usager
Intérêts de cette approche Interface avec les Systèmes d’Information Mutualiser les ressources (données audio, textuelles, lexique) Conserver l’identité de chacun des acteurs du transport Mettre en œuvre des stratégies complémentaires Bénéficier de « retours d’expériences » croisés Meilleure garantie de la satisfaction de l’usager  Paris, 27 mars 2003 SATIM

23  Evaluation et validation des résultats du démonstrateur
Mise au point par itération Elaboration d’un protocole d’évaluation Campagnes d’appels auprès d’un panel restreints d’utilisateurs Evaluation quantitative « objective » Calcul du taux de reconnaissance Calcul du taux de réussite des dialogues Evaluation qualitative de la satisfaction Client  Paris, 27 mars 2003 SATIM

24  Organisation et pilotage du projet VECSYS
Pilotage et gestion du projet Collecte, analyse et transcription des données Développement du module de compréhension et dialogue par règles Synthèse vocale Interface avec les SI Intégration du système Evaluation VECSYS  Paris, 27 mars 2003 SATIM

25  Organisation et pilotage du projet LIMSI Modélisation linguistique
Modélisation acoustique Développement du décodeur avec contraintes Développement du module de compréhension et dialogue (approche statistique) Evaluation LIMSI  Paris, 27 mars 2003 SATIM

26  Organisation et pilotage du projet RATP SNCF
Collecte et fourniture des données Interface avec le système d’information de citefutee.com (PIVI) Campagne d’évaluation RATP Collecte et fourniture des données Interface avec le système d’information de transport-idf.com (INFOMULTI) Campagne d’évaluation SNCF  Paris, 27 mars 2003 SATIM

27  Organisation et pilotage du projet 1.Gestion du projet
2.Collecte, analyse et transcription des données 3.Reconnaissance de la parole 4.Compréhension et dialogue 5.Génération et synthèse vocale 6.Interface Systèmes d’Information 7.Intégration 8.Evaluations  Paris, 27 mars 2003 SATIM

28  Organisation et pilotage du projet
T0+2. Spécifications détaillées des données audio et textuelles T0+8. Données collectées disponibles T0+12. Décodeur T0+14. Modèles linguistiques et acoustiques T0+15. Module de compréhension et dialogue T0+16.Intégration de la première version des Serveurs de dialogue T0+18. Mise en place des serveurs à la RATP et la SNCF T0+19. Définition du protocole de tests  Paris, 27 mars 2003 SATIM

29  Organisation et pilotage du projet
T0+20. Début de la première campagne d’appels T0+23. Fourniture du premier rapport d’évaluation T0+25. Intégration de la deuxième version du serveur de dialogue T0+26. Début de la deuxième campagne d’appels T0+30. Rapport final d’évaluation et de validation des résultats  Paris, 27 mars 2003 SATIM

30 SATIM est un projet…  Pour conclure… INNOVANT FORT à MOYEN TERME
…avec un partenariat… …dont les retombées industrielles et économiques se situent… à MOYEN TERME et sont associées à des perspectives d’exploitation… à l’échelle NATIONALE  Paris, 27 mars 2003 SATIM