La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT Les systèmes de Question-Réponse.

Présentations similaires


Présentation au sujet: "Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT Les systèmes de Question-Réponse."— Transcription de la présentation:

1 Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT Les systèmes de Question-Réponse

2 1. Le TALN et le Question-Réponse 2. Question-Réponse et B to C 3. Question-Réponse et B to B 4. Quelques perspectives Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

3 1. Le TALN et le Question-Réponse Quest-ce quun système de Question-Réponse ? Un système capable dextraire une ou des réponses à une question posée sur un corpus en langage normal (« Comment s'appelle le ministre des finances polonais ? », « Où se situe Kitchinev ? », « Qu'est-ce que l'OMC ? ») Problématique du type de question, Une réponse ou des réponses, éventuellement une liste, à partir dun document ou de plusieurs, une réponse du type oui/non…, En une seule langue, en plusieurs… Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

4 1.1. Question-Réponse et Traitement du Langage Un système de Question-Réponse semble une application TAL par excellence, Pourtant certains systèmes sont uniquement basés sur du pattern matching (cf Soubotine & Soubotine), Mais ces systèmes semblent avoir atteint leurs limites, en dehors de contextes ad hoc, du type CV, etc. Les questions complexes sont hors de leur portée, Les systèmes les meilleurs à TREC et CLEF sont des systèmes basés sur le TAL. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

5 1.2. Synapse Développement et le traitement du langage Société crée en janvier 1994, à partir dune autre société ayant une expérience du traitement de texte, Développement dun analyseur syntaxique et dun correcteur orthographique et grammatical, Développement en parallèle de riches ressources linguistiques, constamment mises à jour, Commercialisation en B2C de logiciels de correction et danalyse de la langue, en B2B de composants linguistiques. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

6 Quelques données sur la société : CA moyen : 500 k euros, Employés : 7 dont 3 ingénieurs en développement et 2 linguistes, Références : Outils de traitement de la langue pour le français intégrés aux logiciels Microsoft, Intégration de composants dans lEncyclopédie Universalis, pour lAFP, les Pages Jaunes, etc. Plus de clients en B to C. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

7 1.3. Nos outils de traitement de la langue Analyseur syntaxique Basé sur des méthodes essentiellement statistiques et des jeux de règles : règles daccord et règles dhabitude (un verbe a au plus un COD, etc.), Conçu pour la correction, donc nobéissant pas à une grammaire formelle rigide, laquelle rendrait impossible la correction, Très optimisé pour autoriser la correction en temps réel ( mots/seconde sur Pentium 3 GHz) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

8 Désambiguïseur sémantique Egalement basé sur des compilations statistiques, Utilise les données linguistiques, ontologiques et sémantiques et, surtout, le contexte de voisinage, Segmentation des sens moins restrictive que dans les dictionnaires papier car : Ne concerne que les mots courants Comment distinguer les sens trop voisins ? Taux de bonne désambiguïsation : 87% en moyenne. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

9 Taxinomie sur 4 niveaux Taxinomie globale couvrant une part importante du vocabulaire ( lemmes et expressions), Taxinomie à quatre niveaux, 256 feuilles au 3 e niveau et 3781 feuilles au 4 e niveau, Taxinomie parallèle, actuellement complète pour le français, langlais, lespagnol et le portugais, en cours pour lallemand et litalien, Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

10 Gestionnaire de synonymes Plus de entrées lemmatisées, plus de synonymes lemmatisés, soit synonymes, Distinction des synonymes par sens pour les mots- vedettes et pour les synonymes, Coefficient de proximité synonymique, calculé par similitude de contexte, Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

11 Correction orthographique et grammaticale La correction est un domaine en soi, Mais elle peut sappliquer dans la plupart des composants car chacun fait des fautes, Taux de correction grammaticale denviron 85% avec une fausse erreur environ pour 800 mots, Très dépendant de lutilisateur et du domaine, mais les vocabulaires très riches sappliquent même à des spécialités « pointues ». Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

12 1.4. Nos ressources linguistiques Dictionnaire « orthographique » Plus de lemmes (soit plus de 3 fois les dictionnaires courants et 2 fois le Grand Robert ou le Tlf), Plus de noms propres avec informations sémantiques, Données sur le domaine et sur la fréquence, calculée à partir dun corpus de fond de plus dun milliard de mots, Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

13 Dictionnaire « grammatical » Plus de lemmes, dont : environ lemmes monosémiques, environ sens pour environ mots polysémiques, Plus de expressions (=> fin 2006) Données grammaticales et sémantiques, références croisées aux autres dictionnaires, Cf. programme de gestion des bases grammaticales. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

14 Dictionnaires de traduction Dictionnaires de traduction pour tous les couples de langues : français – anglais – allemand – espagnol – portugais - italien, Plus de lemmes et expressions traduites, avec distinction des sens, pour le français, langlais, lespagnol et le portugais, pour lallemand et litalien (en cours de mise à niveau), Ajout prochain denviron expressions pour le couple français-anglais, Dictionnaire de traductions de noms propres (6 000) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

15 1.5. Système de Question-Réponse Développé dans le cadre dun projet ANVAR entre 1999 et 2001, Puis dans le cadre dun projet européen TRUST entre fin 2001 et fin 2003, Actuellement dans le cadre du projet européen M-CAST, sur 2005 et 2006, Caractéristiques principales : vise le B2B et le B2C, multilingue, utilisant intensivement le TAL. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

16 Une architecture modulaire Module Linguistique français Module Linguistique italien Module Linguistique portugais Module Linguistique polonais Module Linguistique anglais Moteur dindexation Moteur dextraction de blocs de texte Index Documents Visualisation Des résultats Visualisation Des résultats Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

17 Ontologie générale Documents Dico des formes dérivées Ontologie des types questions Indexation Découpage des blocs Correction orthographe Analyse syntaxique Analyse conceptuelle Index mots-clés blocs Index entités nommées Index têtes dérivation Index des concepts Index des domaines Résolution anaphores Index des types de questions-réponses Question Traitement Question Correction orthographe Analyse syntaxique Analyse conceptuelle Extraction mots-clés Type de la question Traduction si multilingue Recherche dans Index Synonymes + converses Sélection des blocs Ordonnancement blocs Extraction des blocs Extraction réponse Réponse(s) Correction orthographe Analyse syntaxique Analyse conceptuelle Type de la réponse Mots-clés du bloc Résolution des anaphores Détection des métaphores Sélection phrase(s) Tri des phrases Cohérence, justification Extraction réponse(s) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

18 1.6. Technologies TAL spécifiques au QR Certaines technologies décrites plus haut ont été appliquées au QR de manière innovante (cf. correction), Mais des techniques plus spécifiques ont dû être développées : Pour lindexation Pour lanalyse de la question Pour lextraction de la/les réponse(s) Ces techniques sont décrites rapidement maintenant. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

19 Dictionnaire de dérivations Dérivations plutôt que stemming, dérivations renvoyées vers têtes de dérivations ou équivalents, Plus de équivalents ou synonymes vrais (type cancérologie – carcinologie – oncologie), Têtes de dérivations et dérivations distinguées par sens, selon classification exposée plus haut, Réduction de lindex denviron 40%, Cf. visu dictionnaire de dérivés. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

20 Résolution des anaphores Anaphores pronominales prises en compte (65% des anaphores) + adjectifs possessifs (30%), Mais dispositif parallèle pour les noms propres, Taux de bonne résolution de 83% pour les pronoms et 69% pour les adjectifs possessifs (moyenne : 79%), Très difficile pour « en » (50%), « y » (55%), Mais 94% pour les démonstratifs, Statistiques effectuées sur un corpus de 1906 anaphores. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

21 Détection des métaphores Métaphores ou polysémie (cf. requin), Bruit causé par les métaphores, Problématique plus large du système dit intelligent, Taux de rappel : 78 %. Taux de précision : 93 %. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

22 Typologie des Questions et Réponses Clé essentielle des systèmes de Question-Réponse, Typologies existantes conçues pour les évaluations du type TREC, 86 types de questions et réponses retenus, Détection du type de la question par jeu de règles, Détection de la réponse par délimitation dentités nommées (en général) et vérification de cohérence, Cf. typologie des questions-réponses. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

23 1.7. Evaluation de notre système de Q-R Pour notre système de QR, nous avons participé aux campagnes dévaluation EQueR (en 2004) et CLEF (2005 et 2006), Les évaluations sont lourdes pour une petite société mais elles aident à se faire connaître. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

24 Campagne dévaluation EQueR Organisée par les ministères de lIndustrie, de la Recherche et de la Culture, Dans le cadre de Technolangue (www.technolangue.net),www.technolangue.net Campagne portant sur un corpus général (1,5 Go) et un corpus spécialisé médical (150 Mo), Six participants effectifs, dont 2 industriels (Sinequa et Synapse Développement. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

25 Métrique des résultats La métrique utilisée pour noter les résultats était le MRR (Mean Reciprocal Rank), cest-à-dire 1 pour une réponse exacte en première position, ½ pour une réponse exacte en seconde position, 1/3 pour une réponse exacte en troisième position, etc. Seules 5 réponses étaient prises en compte, sauf pour les questions binaires ou une seule réponse justifiée était acceptée, Pour les questions dont la réponse était une liste, la métrique utilisée était le NIAP (Non Interpolated Average Precision). Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

26 Le moteur de Questions-Réponses de Synapse Développement évalué pour EQUER était une préversion de notre logiciel grand public QRISTAL, Le système testé ne disposait pas encore de lensemble des fonctionnalités dextraction de réponse exacte, Avec EQUER, Synapse Développement participait à sa première campagne dévaluation de moteurs de questions-réponses, Plusieurs autres participants avaient déjà été évalués dans TREC-QA ou CLEF-QA, pour le moteur en langue anglaise ou en langue française. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

27 Quelques données techniques Lensemble des 500 questions du corpus général est examiné par le moteur en 23 minutes et 17 secondes, soit un peu moins de 3 secondes par question, La vitesse danalyse linguistique des blocs est denviron 400 Mo/heure à l indexation, soit mots/seconde. La vitesse d analyse et dextraction de réponse est d environ 230 Mo/heure, soit mots/seconde, Sur 500 questions, le type correct a été déterminé dans 98% des cas, Ces tests de vitesse ont été effectués sur Pentium 3 GHz avec 1 Go de mémoire vive. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

28

29

30

31

32

33

34 Evaluation CLEF 2005 Nous avons participé à la campagne dévaluation CLEF en 2005 (et nous participons en 2006) en monolingue (français) et en multilingue (anglais -> français, portugais -> français, italien -> français), Le corpus est un sous-ensemble dEQueR (0,5 Go), Une seule réponse « exacte » est prise en compte, Les questions sont quasi toutes factuelles ou définitoires, 200 questions par langue (contre 500 dans EQueR). Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

35 Résultats de lévaluation CLEF 2005 Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

36 Résultats par type de question Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

37 2. Question-Réponse et B to C Dès novembre 2001, sous le nom de « Chercheur », nous avons commercialisé un système de Question- Réponse, alors uniquement monolingue, Depuis novembre 2004, nous commercialisons ce système sous le nom de Qristal (acronyme de « Questions-Réponses Intégrant un Système de Traitement Automatique des Langues »), Ce logiciel grand public est le premier du genre, Comme souvent les précurseurs, il a dû mal à se faire une place ! Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

38

39 Conception de Qristal Orienté corpus fermé et Web, via un métamoteur, Conçu à partir de tests utilisateurs et des réactions au précédent logiciel « Chercheur », Tient compte de la limite de tolérance dattente observée: environ 3 secondes, Sous-estimation du temps passé à rechercher une réponse dans les moteurs classiques, Questions en langage naturel ou en booléen. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

40 Leçons tirées de la commercialisation Difficile de vendre un logiciel de Question-Réponse quand les moteurs sont « gratuits », Ne pas sous-estimer le côté jeu dans la dérive de page en page, Difficile dimposer un logiciel dun nouveau type (cf. certaines questions posées par des utilisateurs de Qristal), Inégalité des résultats selon les langues (français et anglais quasi seules utilisées). Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

41 Système de QR et moteurs de recherche Distinction entre recherche sur corpus et recherche sur le Web, Temps de réponse et temps pour extraire la réponse, Habitude de questions en deux ou trois mots, Test comparatif Google Desktop – Qristal (papier EACL, avril 2006) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

42 3. Question-Réponse et B to B Notre approche du B to B est directement liée aux projets européens auxquels nous participons, spécialement le plus récent, M-CAST (bibliothèques, ouvrages numérisés), Les problématiques dentreprise diffèrent beaucoup du B to C (ontologies spécifiques, types de questions peu fréquents en B to C comme des demandes de bibliographie, etc.) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

43 Projet M-CAST Testé sur la bibliothèque nationale Tchèque et la bibliothèque de Torun, Traite plusieurs millions de documents numérisés, Prend en compte les méta-données et la classification CDU, Accepte les questions et fournit les réponses en anglais, français, italien, portugais, polonais et tchèque, Sera implanté sur les portails des deux bibliothèques tests. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

44 4. Quelques perspectives Les systèmes de Question-Réponse sont encore au stade de la chrysalide, Qristal est le seul système commercialisé en B to C, Les implantations opérationnelles en B to B sont très réduites, Les résultats des évaluations montrent que le factuel est bien traité par les meilleurs systèmes, Ces résultats montrent aussi que les questions du type « pourquoi » ou « comment » sont encore mal traitées. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

45 Dans quelques années tous les moteurs traiteront les questions en langage naturel, Les applications mobiles ne peuvent traiter que ce type dinterrogation (imaginer « ouvrez les guillemets »…), Nos contacts commerciaux indiquent que le marché mûrit et que les entreprises prennent conscience du potentiel des systèmes de QR (cf. EADS), Quaero devrait permettre dimposer le Question-Réponse en B to B comme en B to C, sur les 5 ans à venir. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

46 Conclusions Le développement dun système de QR est coûteux (plus de 20 années-homme avec des ressources préexistantes importantes), La typologie de questions-réponses est capitale, Le développement dun vrai moteur dinférence pourrait permettre daméliorer les résultats pour les questions « complexes », Les contraintes de temps de réponse imposent des outils de base très performants et des contraintes lourdes pour le développement. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

47 FIN Jattends vos questions ! Merci ! Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Télécharger ppt "Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT Les systèmes de Question-Réponse."

Présentations similaires


Annonces Google