Les systèmes de Question-Réponse

Présentation au sujet: "Les systèmes de Question-Réponse"— Transcription de la présentation:

1 Les systèmes de Question-Réponse
Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

2 1. Le TALN et le Question-Réponse 2. Question-Réponse et B to C
3. Question-Réponse et B to B 4. Quelques perspectives Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

3 1. Le TALN et le Question-Réponse
Qu’est-ce qu’un système de Question-Réponse ? Un système capable d’extraire une ou des réponses à une question posée sur un corpus en langage normal (« Comment s'appelle le ministre des finances polonais ? », « Où se situe Kitchinev ? », « Qu'est-ce que l'OMC ? ») Problématique du type de question, Une réponse ou des réponses, éventuellement une liste, à partir d’un document ou de plusieurs, une réponse du type oui/non…, En une seule langue, en plusieurs… Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

4 1.1. Question-Réponse et Traitement du Langage
Un système de Question-Réponse semble une application TAL par excellence, Pourtant certains systèmes sont uniquement basés sur du pattern matching (cf Soubotine & Soubotine), Mais ces systèmes semblent avoir atteint leurs limites, en dehors de contextes ad hoc, du type CV, etc. Les questions complexes sont hors de leur portée, Les systèmes les meilleurs à TREC et CLEF sont des systèmes basés sur le TAL. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

5 1.2. Synapse Développement et le traitement du langage
Société crée en janvier 1994, à partir d’une autre société ayant une expérience du traitement de texte, Développement d’un analyseur syntaxique et d’un correcteur orthographique et grammatical, Développement en parallèle de riches ressources linguistiques, constamment mises à jour, Commercialisation en B2C de logiciels de correction et d’analyse de la langue, en B2B de composants linguistiques. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

6 Quelques données sur la société : CA moyen : 500 k euros,
Employés : 7 dont 3 ingénieurs en développement et 2 linguistes, Références : Outils de traitement de la langue pour le français intégrés aux logiciels Microsoft, Intégration de composants dans l’Encyclopédie Universalis, pour l’AFP, les Pages Jaunes, etc. Plus de clients en B to C. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

7 1.3. Nos outils de traitement de la langue
Analyseur syntaxique Basé sur des méthodes essentiellement statistiques et des jeux de règles : règles d’accord et règles d’habitude (un verbe a au plus un COD, etc.), Conçu pour la correction, donc n’obéissant pas à une grammaire formelle rigide, laquelle rendrait impossible la correction, Très optimisé pour autoriser la correction en temps réel ( mots/seconde sur Pentium 3 GHz) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

8 Désambiguïseur sémantique
Egalement basé sur des compilations statistiques, Utilise les données linguistiques, ontologiques et sémantiques et, surtout, le contexte de voisinage, Segmentation des sens moins restrictive que dans les dictionnaires papier car : Ne concerne que les mots courants Comment distinguer les sens trop voisins ? Taux de bonne désambiguïsation : 87% en moyenne. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

9 Taxinomie sur 4 niveaux Taxinomie globale couvrant une part importante du vocabulaire ( lemmes et expressions), Taxinomie à quatre niveaux, 256 feuilles au 3e niveau et 3781 feuilles au 4e niveau, Taxinomie parallèle, actuellement complète pour le français, l’anglais, l’espagnol et le portugais, en cours pour l’allemand et l’italien, Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

10 Gestionnaire de synonymes
Plus de entrées lemmatisées, plus de synonymes lemmatisés, soit synonymes, Distinction des synonymes par sens pour les mots-vedettes et pour les synonymes, Coefficient de proximité synonymique, calculé par similitude de contexte, Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

11 Correction orthographique et grammaticale
La correction est un domaine en soi, Mais elle peut s’appliquer dans la plupart des composants car chacun fait des fautes, Taux de correction grammaticale d’environ 85% avec une fausse erreur environ pour 800 mots, Très dépendant de l’utilisateur et du domaine, mais les vocabulaires très riches s’appliquent même à des spécialités « pointues ». Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

12 1.4. Nos ressources linguistiques
Dictionnaire « orthographique » Plus de lemmes (soit plus de 3 fois les dictionnaires courants et 2 fois le Grand Robert ou le Tlf), Plus de noms propres avec informations sémantiques, Données sur le domaine et sur la fréquence, calculée à partir d’un corpus de fond de plus d’un milliard de mots, Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

13 environ 45 000 lemmes monosémiques,
Dictionnaire « grammatical » Plus de lemmes, dont : environ lemmes monosémiques, environ sens pour environ mots polysémiques, Plus de expressions (=> fin 2006) Données grammaticales et sémantiques, références croisées aux autres dictionnaires, Cf. programme de gestion des bases grammaticales. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

14 Dictionnaire de traductions de noms propres (6 000)
Dictionnaires de traduction Dictionnaires de traduction pour tous les couples de langues : français – anglais – allemand – espagnol – portugais - italien, Plus de lemmes et expressions traduites, avec distinction des sens, pour le français, l’anglais, l’espagnol et le portugais, pour l’allemand et l’italien (en cours de mise à niveau), Ajout prochain d’environ expressions pour le couple français-anglais, Dictionnaire de traductions de noms propres (6 000) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

15 1.5. Système de Question-Réponse
Développé dans le cadre d’un projet ANVAR entre 1999 et 2001, Puis dans le cadre d’un projet européen TRUST entre fin 2001 et fin 2003, Actuellement dans le cadre du projet européen M-CAST, sur 2005 et 2006, Caractéristiques principales : vise le B2B et le B2C, multilingue, utilisant intensivement le TAL. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

16 Moteur d’extraction de
Une architecture modulaire Module Linguistique français Module Linguistique italien Module Linguistique portugais Module Linguistique polonais Module Linguistique anglais Moteur d’indexation Moteur d’extraction de blocs de texte Documents Visualisation Des résultats Index Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

17 Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT
Question Réponse(s) Documents Indexation Traitement Question Extraction réponse Découpage des blocs Correction orthographe Extraction réponse(s) Correction orthographe Analyse syntaxique Ontologie générale Cohérence, justification Analyse syntaxique Analyse conceptuelle Tri des phrases Analyse conceptuelle Extraction mots-clés Sélection phrase(s) Résolution anaphores Type de la question Dico des formes dérivées Détection des métaphores Index entités nommées Traduction si multilingue Résolution des anaphores Index têtes dérivation Recherche dans Index Mots-clés du bloc Index des concepts Synonymes + converses Type de la réponse Ontologie des types questions Index des domaines Sélection des blocs Analyse conceptuelle Index mots-clés blocs Ordonnancement blocs Analyse syntaxique Index des types de questions-réponses Extraction des blocs Correction orthographe Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

18 1.6. Technologies TAL spécifiques au QR
Certaines technologies décrites plus haut ont été appliquées au QR de manière innovante (cf. correction), Mais des techniques plus spécifiques ont dû être développées : Pour l’indexation Pour l’analyse de la question Pour l’extraction de la/les réponse(s) Ces techniques sont décrites rapidement maintenant. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

19 Dérivations plutôt que stemming,
Dictionnaire de dérivations Dérivations plutôt que stemming, dérivations renvoyées vers têtes de dérivations ou équivalents, Plus de équivalents ou synonymes vrais (type cancérologie – carcinologie – oncologie), Têtes de dérivations et dérivations distinguées par sens, selon classification exposée plus haut, Réduction de l’index d’environ 40%, Cf. visu dictionnaire de dérivés. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

20 Mais dispositif parallèle pour les noms propres,
Résolution des anaphores Anaphores pronominales prises en compte (65% des anaphores) + adjectifs possessifs (30%), Mais dispositif parallèle pour les noms propres, Taux de bonne résolution de 83% pour les pronoms et 69% pour les adjectifs possessifs (moyenne : 79%), Très difficile pour « en » (50%), « y » (55%), Mais 94% pour les démonstratifs, Statistiques effectuées sur un corpus de 1906 anaphores. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

21 Métaphores ou polysémie (cf. requin), Bruit causé par les métaphores,
Détection des métaphores Métaphores ou polysémie (cf. requin), Bruit causé par les métaphores, Problématique plus large du système dit intelligent, Taux de rappel : 78 %. Taux de précision : 93 %. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

22 Clé essentielle des systèmes de Question-Réponse,
Typologie des Questions et Réponses Clé essentielle des systèmes de Question-Réponse, Typologies existantes conçues pour les évaluations du type TREC, 86 types de questions et réponses retenus, Détection du type de la question par jeu de règles, Détection de la réponse par délimitation d’entités nommées (en général) et vérification de cohérence, Cf. typologie des questions-réponses. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

23 1.7. Evaluation de notre système de Q-R
Pour notre système de QR, nous avons participé aux campagnes d’évaluation EQueR (en 2004) et CLEF (2005 et 2006), Les évaluations sont lourdes pour une petite société mais elles aident à se faire connaître. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

24 Campagne d’évaluation EQueR
Organisée par les ministères de l’Industrie, de la Recherche et de la Culture, Dans le cadre de Technolangue ( Campagne portant sur un corpus général (1,5 Go) et un corpus spécialisé médical (150 Mo), Six participants effectifs, dont 2 industriels (Sinequa et Synapse Développement. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

25 Métrique des résultats
La métrique utilisée pour noter les résultats était le MRR (Mean Reciprocal Rank), c’est-à-dire 1 pour une réponse exacte en première position, ½ pour une réponse exacte en seconde position, 1/3 pour une réponse exacte en troisième position, etc. Seules 5 réponses étaient prises en compte, sauf pour les questions binaires ou une seule réponse justifiée était acceptée, Pour les questions dont la réponse était une liste, la métrique utilisée était le NIAP (Non Interpolated Average Precision). Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

26 Le moteur de Questions-Réponses de Synapse Développement évalué pour EQUER était une préversion de notre logiciel grand public QRISTAL, Le système testé ne disposait pas encore de l’ensemble des fonctionnalités d’extraction de réponse exacte, Avec EQUER, Synapse Développement participait à sa première campagne d’évaluation de moteurs de questions-réponses, Plusieurs autres participants avaient déjà été évalués dans TREC-QA ou CLEF-QA, pour le moteur en langue anglaise ou en langue française. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

27 Quelques données techniques
L’ensemble des 500 questions du corpus général est examiné par le moteur en 23 minutes et 17 secondes, soit un peu moins de 3 secondes par question, La vitesse d’analyse linguistique des blocs est d’environ 400 Mo/heure à l ’indexation, soit mots/seconde. La vitesse d ’analyse et d’extraction de réponse est d ’environ 230 Mo/heure, soit mots/seconde, Sur 500 questions, le type correct a été déterminé dans 98% des cas, Ces tests de vitesse ont été effectués sur Pentium 3 GHz avec 1 Go de mémoire vive. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

28 Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

29 Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

30 Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

31 Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

32 Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

33 Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

34 Le corpus est un sous-ensemble d’EQueR (0,5 Go),
Evaluation CLEF 2005 Nous avons participé à la campagne d’évaluation CLEF en 2005 (et nous participons en 2006) en monolingue (français) et en multilingue (anglais -> français, portugais -> français, italien -> français), Le corpus est un sous-ensemble d’EQueR (0,5 Go), Une seule réponse « exacte » est prise en compte, Les questions sont quasi toutes factuelles ou définitoires, 200 questions par langue (contre 500 dans EQueR). Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

35 Résultats de l’évaluation CLEF 2005
Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

36 Résultats par type de question
Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

37 2. Question-Réponse et B to C
Dès novembre 2001, sous le nom de « Chercheur », nous avons commercialisé un système de Question-Réponse, alors uniquement monolingue, Depuis novembre 2004, nous commercialisons ce système sous le nom de Qristal (acronyme de « Questions-Réponses Intégrant un Système de Traitement Automatique des Langues »), Ce logiciel grand public est le premier du genre, Comme souvent les précurseurs, il a dû mal à se faire une place ! Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

38

39 Orienté corpus fermé et Web, via un métamoteur,
Conception de Qristal Orienté corpus fermé et Web, via un métamoteur, Conçu à partir de tests utilisateurs et des réactions au précédent logiciel « Chercheur », Tient compte de la limite de tolérance d’attente observée: environ 3 secondes, Sous-estimation du temps passé à rechercher une réponse dans les moteurs classiques, Questions en langage naturel ou en booléen. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

40 Leçons tirées de la commercialisation
Difficile de vendre un logiciel de Question-Réponse quand les moteurs sont « gratuits », Ne pas sous-estimer le côté jeu dans la dérive de page en page, Difficile d’imposer un logiciel d’un nouveau type (cf. certaines questions posées par des utilisateurs de Qristal), Inégalité des résultats selon les langues (français et anglais quasi seules utilisées). Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

41 Système de QR et moteurs de recherche
Distinction entre recherche sur corpus et recherche sur le Web, Temps de réponse et temps pour extraire la réponse, Habitude de questions en deux ou trois mots, Test comparatif Google Desktop – Qristal (papier EACL, avril 2006) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

42 3. Question-Réponse et B to B
Notre approche du B to B est directement liée aux projets européens auxquels nous participons, spécialement le plus récent, M-CAST (bibliothèques, ouvrages numérisés), Les problématiques d’entreprise diffèrent beaucoup du B to C (ontologies spécifiques, types de questions peu fréquents en B to C comme des demandes de bibliographie, etc.) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

43 Traite plusieurs millions de documents numérisés,
Projet M-CAST Testé sur la bibliothèque nationale Tchèque et la bibliothèque de Torun, Traite plusieurs millions de documents numérisés, Prend en compte les méta-données et la classification CDU, Accepte les questions et fournit les réponses en anglais, français, italien, portugais, polonais et tchèque, Sera implanté sur les portails des deux bibliothèques tests. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

44 4. Quelques perspectives
Les systèmes de Question-Réponse sont encore au stade de la chrysalide, Qristal est le seul système commercialisé en B to C, Les implantations opérationnelles en B to B sont très réduites, Les résultats des évaluations montrent que le factuel est bien traité par les meilleurs systèmes, Ces résultats montrent aussi que les questions du type « pourquoi » ou « comment » sont encore mal traitées. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

45 Dans quelques années tous les moteurs traiteront les questions en langage naturel,
Les applications mobiles ne peuvent traiter que ce type d’interrogation (imaginer « ouvrez les guillemets »…), Nos contacts commerciaux indiquent que le marché mûrit et que les entreprises prennent conscience du potentiel des systèmes de QR (cf. EADS), Quaero devrait permettre d’imposer le Question-Réponse en B to B comme en B to C, sur les 5 ans à venir. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

46 Conclusions Le développement d’un système de QR est coûteux (plus de 20 années-homme avec des ressources préexistantes importantes), La typologie de questions-réponses est capitale, Le développement d’un vrai moteur d’inférence pourrait permettre d’améliorer les résultats pour les questions « complexes », Les contraintes de temps de réponse imposent des outils de base très performants et des contraintes lourdes pour le développement. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

47 J’attends vos questions !
FIN J’attends vos questions ! Merci ! Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT