Les systèmes de Question-Réponse Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1. Le TALN et le Question-Réponse 2. Question-Réponse et B to C 3. Question-Réponse et B to B 4. Quelques perspectives Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1. Le TALN et le Question-Réponse Qu’est-ce qu’un système de Question-Réponse ? Un système capable d’extraire une ou des réponses à une question posée sur un corpus en langage normal (« Comment s'appelle le ministre des finances polonais ? », « Où se situe Kitchinev ? », « Qu'est-ce que l'OMC ? ») Problématique du type de question, Une réponse ou des réponses, éventuellement une liste, à partir d’un document ou de plusieurs, une réponse du type oui/non…, En une seule langue, en plusieurs… Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1.1. Question-Réponse et Traitement du Langage Un système de Question-Réponse semble une application TAL par excellence, Pourtant certains systèmes sont uniquement basés sur du pattern matching (cf Soubotine & Soubotine), Mais ces systèmes semblent avoir atteint leurs limites, en dehors de contextes ad hoc, du type CV, etc. Les questions complexes sont hors de leur portée, Les systèmes les meilleurs à TREC et CLEF sont des systèmes basés sur le TAL. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1.2. Synapse Développement et le traitement du langage Société crée en janvier 1994, à partir d’une autre société ayant une expérience du traitement de texte, Développement d’un analyseur syntaxique et d’un correcteur orthographique et grammatical, Développement en parallèle de riches ressources linguistiques, constamment mises à jour, Commercialisation en B2C de logiciels de correction et d’analyse de la langue, en B2B de composants linguistiques. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Quelques données sur la société : CA moyen : 500 k euros, Employés : 7 dont 3 ingénieurs en développement et 2 linguistes, Références : Outils de traitement de la langue pour le français intégrés aux logiciels Microsoft, Intégration de composants dans l’Encyclopédie Universalis, pour l’AFP, les Pages Jaunes, etc. Plus de 50 000 clients en B to C. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1.3. Nos outils de traitement de la langue Analyseur syntaxique Basé sur des méthodes essentiellement statistiques et des jeux de règles : règles d’accord et règles d’habitude (un verbe a au plus un COD, etc.), Conçu pour la correction, donc n’obéissant pas à une grammaire formelle rigide, laquelle rendrait impossible la correction, Très optimisé pour autoriser la correction en temps réel (12 000 mots/seconde sur Pentium 3 GHz) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Désambiguïseur sémantique Egalement basé sur des compilations statistiques, Utilise les données linguistiques, ontologiques et sémantiques et, surtout, le contexte de voisinage, Segmentation des sens moins restrictive que dans les dictionnaires papier car : Ne concerne que les mots courants Comment distinguer les sens trop voisins ? Taux de bonne désambiguïsation : 87% en moyenne. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Taxinomie sur 4 niveaux Taxinomie globale couvrant une part importante du vocabulaire (150 000 lemmes et expressions), Taxinomie à quatre niveaux, 256 feuilles au 3e niveau et 3781 feuilles au 4e niveau, Taxinomie parallèle, actuellement complète pour le français, l’anglais, l’espagnol et le portugais, en cours pour l’allemand et l’italien, Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Gestionnaire de synonymes Plus de 37 000 entrées lemmatisées, plus de 250 000 synonymes lemmatisés, soit 4 500 000 synonymes, Distinction des synonymes par sens pour les mots-vedettes et pour les synonymes, Coefficient de proximité synonymique, calculé par similitude de contexte, Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Correction orthographique et grammaticale La correction est un domaine en soi, Mais elle peut s’appliquer dans la plupart des composants car chacun fait des fautes, Taux de correction grammaticale d’environ 85% avec une fausse erreur environ pour 800 mots, Très dépendant de l’utilisateur et du domaine, mais les vocabulaires très riches s’appliquent même à des spécialités « pointues ». Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1.4. Nos ressources linguistiques Dictionnaire « orthographique » Plus de 200 000 lemmes (soit plus de 3 fois les dictionnaires courants et 2 fois le Grand Robert ou le Tlf), Plus de 40 000 noms propres avec informations sémantiques, Données sur le domaine et sur la fréquence, calculée à partir d’un corpus de fond de plus d’un milliard de mots, Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

environ 45 000 lemmes monosémiques, Dictionnaire « grammatical » Plus de 70 000 lemmes, dont : environ 45 000 lemmes monosémiques, environ 25 000 sens pour environ 9 000 mots polysémiques, Plus de 50 000 expressions (=> 120 000 fin 2006) Données grammaticales et sémantiques, références croisées aux autres dictionnaires, Cf. programme de gestion des bases grammaticales. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Dictionnaire de traductions de noms propres (6 000) Dictionnaires de traduction Dictionnaires de traduction pour tous les couples de langues : français – anglais – allemand – espagnol – portugais - italien, Plus de 180 000 lemmes et expressions traduites, avec distinction des sens, pour le français, l’anglais, l’espagnol et le portugais, 80 000 pour l’allemand et l’italien (en cours de mise à niveau), Ajout prochain d’environ 50 000 expressions pour le couple français-anglais, Dictionnaire de traductions de noms propres (6 000) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1.5. Système de Question-Réponse Développé dans le cadre d’un projet ANVAR entre 1999 et 2001, Puis dans le cadre d’un projet européen TRUST entre fin 2001 et fin 2003, Actuellement dans le cadre du projet européen M-CAST, sur 2005 et 2006, Caractéristiques principales : vise le B2B et le B2C, multilingue, utilisant intensivement le TAL. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Moteur d’extraction de Une architecture modulaire Module Linguistique français Module Linguistique italien Module Linguistique portugais Module Linguistique polonais Module Linguistique anglais Moteur d’indexation Moteur d’extraction de blocs de texte Documents Visualisation Des résultats Index Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT Question Réponse(s) Documents Indexation Traitement Question Extraction réponse Découpage des blocs Correction orthographe Extraction réponse(s) Correction orthographe Analyse syntaxique Ontologie générale Cohérence, justification Analyse syntaxique Analyse conceptuelle Tri des phrases Analyse conceptuelle Extraction mots-clés Sélection phrase(s) Résolution anaphores Type de la question Dico des formes dérivées Détection des métaphores Index entités nommées Traduction si multilingue Résolution des anaphores Index têtes dérivation Recherche dans Index Mots-clés du bloc Index des concepts Synonymes + converses Type de la réponse Ontologie des types questions Index des domaines Sélection des blocs Analyse conceptuelle Index mots-clés blocs Ordonnancement blocs Analyse syntaxique Index des types de questions-réponses Extraction des blocs Correction orthographe Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1.6. Technologies TAL spécifiques au QR Certaines technologies décrites plus haut ont été appliquées au QR de manière innovante (cf. correction), Mais des techniques plus spécifiques ont dû être développées : Pour l’indexation Pour l’analyse de la question Pour l’extraction de la/les réponse(s) Ces techniques sont décrites rapidement maintenant. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Dérivations plutôt que stemming, Dictionnaire de dérivations Dérivations plutôt que stemming, 66 780 dérivations renvoyées vers 24 307 têtes de dérivations ou équivalents, Plus de 10 000 équivalents ou synonymes vrais (type cancérologie – carcinologie – oncologie), Têtes de dérivations et dérivations distinguées par sens, selon classification exposée plus haut, Réduction de l’index d’environ 40%, Cf. visu dictionnaire de dérivés. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Mais dispositif parallèle pour les noms propres, Résolution des anaphores Anaphores pronominales prises en compte (65% des anaphores) + adjectifs possessifs (30%), Mais dispositif parallèle pour les noms propres, Taux de bonne résolution de 83% pour les pronoms et 69% pour les adjectifs possessifs (moyenne : 79%), Très difficile pour « en » (50%), « y » (55%), Mais 94% pour les démonstratifs, Statistiques effectuées sur un corpus de 1906 anaphores. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Métaphores ou polysémie (cf. requin), Bruit causé par les métaphores, Détection des métaphores Métaphores ou polysémie (cf. requin), Bruit causé par les métaphores, Problématique plus large du système dit intelligent, Taux de rappel : 78 %. Taux de précision : 93 %. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Clé essentielle des systèmes de Question-Réponse, Typologie des Questions et Réponses Clé essentielle des systèmes de Question-Réponse, Typologies existantes conçues pour les évaluations du type TREC, 86 types de questions et réponses retenus, Détection du type de la question par jeu de règles, Détection de la réponse par délimitation d’entités nommées (en général) et vérification de cohérence, Cf. typologie des questions-réponses. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

1.7. Evaluation de notre système de Q-R Pour notre système de QR, nous avons participé aux campagnes d’évaluation EQueR (en 2004) et CLEF (2005 et 2006), Les évaluations sont lourdes pour une petite société mais elles aident à se faire connaître. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Campagne d’évaluation EQueR Organisée par les ministères de l’Industrie, de la Recherche et de la Culture, Dans le cadre de Technolangue (www.technolangue.net), Campagne portant sur un corpus général (1,5 Go) et un corpus spécialisé médical (150 Mo), Six participants effectifs, dont 2 industriels (Sinequa et Synapse Développement. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Métrique des résultats La métrique utilisée pour noter les résultats était le MRR (Mean Reciprocal Rank), c’est-à-dire 1 pour une réponse exacte en première position, ½ pour une réponse exacte en seconde position, 1/3 pour une réponse exacte en troisième position, etc. Seules 5 réponses étaient prises en compte, sauf pour les questions binaires ou une seule réponse justifiée était acceptée, Pour les questions dont la réponse était une liste, la métrique utilisée était le NIAP (Non Interpolated Average Precision). Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Le moteur de Questions-Réponses de Synapse Développement évalué pour EQUER était une préversion de notre logiciel grand public QRISTAL, Le système testé ne disposait pas encore de l’ensemble des fonctionnalités d’extraction de réponse exacte, Avec EQUER, Synapse Développement participait à sa première campagne d’évaluation de moteurs de questions-réponses, Plusieurs autres participants avaient déjà été évalués dans TREC-QA ou CLEF-QA, pour le moteur en langue anglaise ou en langue française. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Quelques données techniques L’ensemble des 500 questions du corpus général est examiné par le moteur en 23 minutes et 17 secondes, soit un peu moins de 3 secondes par question, La vitesse d’analyse linguistique des blocs est d’environ 400 Mo/heure à l ’indexation, soit 18 000 mots/seconde. La vitesse d ’analyse et d’extraction de réponse est d ’environ 230 Mo/heure, soit 10 000 mots/seconde, Sur 500 questions, le type correct a été déterminé dans 98% des cas, Ces tests de vitesse ont été effectués sur Pentium 3 GHz avec 1 Go de mémoire vive. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Le corpus est un sous-ensemble d’EQueR (0,5 Go), Evaluation CLEF 2005 Nous avons participé à la campagne d’évaluation CLEF en 2005 (et nous participons en 2006) en monolingue (français) et en multilingue (anglais -> français, portugais -> français, italien -> français), Le corpus est un sous-ensemble d’EQueR (0,5 Go), Une seule réponse « exacte » est prise en compte, Les questions sont quasi toutes factuelles ou définitoires, 200 questions par langue (contre 500 dans EQueR). Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Résultats de l’évaluation CLEF 2005 Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Résultats par type de question Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

2. Question-Réponse et B to C Dès novembre 2001, sous le nom de « Chercheur », nous avons commercialisé un système de Question-Réponse, alors uniquement monolingue, Depuis novembre 2004, nous commercialisons ce système sous le nom de Qristal (acronyme de « Questions-Réponses Intégrant un Système de Traitement Automatique des Langues »), Ce logiciel grand public est le premier du genre, Comme souvent les précurseurs, il a dû mal à se faire une place ! Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Orienté corpus fermé et Web, via un métamoteur, Conception de Qristal Orienté corpus fermé et Web, via un métamoteur, Conçu à partir de tests utilisateurs et des réactions au précédent logiciel « Chercheur », Tient compte de la limite de tolérance d’attente observée: environ 3 secondes, Sous-estimation du temps passé à rechercher une réponse dans les moteurs classiques, Questions en langage naturel ou en booléen. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Leçons tirées de la commercialisation Difficile de vendre un logiciel de Question-Réponse quand les moteurs sont « gratuits », Ne pas sous-estimer le côté jeu dans la dérive de page en page, Difficile d’imposer un logiciel d’un nouveau type (cf. certaines questions posées par des utilisateurs de Qristal), Inégalité des résultats selon les langues (français et anglais quasi seules utilisées). Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Système de QR et moteurs de recherche Distinction entre recherche sur corpus et recherche sur le Web, Temps de réponse et temps pour extraire la réponse, Habitude de questions en deux ou trois mots, Test comparatif Google Desktop – Qristal (papier EACL, avril 2006) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

3. Question-Réponse et B to B Notre approche du B to B est directement liée aux projets européens auxquels nous participons, spécialement le plus récent, M-CAST (bibliothèques, ouvrages numérisés), Les problématiques d’entreprise diffèrent beaucoup du B to C (ontologies spécifiques, types de questions peu fréquents en B to C comme des demandes de bibliographie, etc.) Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Traite plusieurs millions de documents numérisés, Projet M-CAST Testé sur la bibliothèque nationale Tchèque et la bibliothèque de Torun, Traite plusieurs millions de documents numérisés, Prend en compte les méta-données et la classification CDU, Accepte les questions et fournit les réponses en anglais, français, italien, portugais, polonais et tchèque, Sera implanté sur les portails des deux bibliothèques tests. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

4. Quelques perspectives Les systèmes de Question-Réponse sont encore au stade de la chrysalide, Qristal est le seul système commercialisé en B to C, Les implantations opérationnelles en B to B sont très réduites, Les résultats des évaluations montrent que le factuel est bien traité par les meilleurs systèmes, Ces résultats montrent aussi que les questions du type « pourquoi » ou « comment » sont encore mal traitées. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Dans quelques années tous les moteurs traiteront les questions en langage naturel, Les applications mobiles ne peuvent traiter que ce type d’interrogation (imaginer « ouvrez les guillemets »…), Nos contacts commerciaux indiquent que le marché mûrit et que les entreprises prennent conscience du potentiel des systèmes de QR (cf. EADS), Quaero devrait permettre d’imposer le Question-Réponse en B to B comme en B to C, sur les 5 ans à venir. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

Conclusions Le développement d’un système de QR est coûteux (plus de 20 années-homme avec des ressources préexistantes importantes), La typologie de questions-réponses est capitale, Le développement d’un vrai moteur d’inférence pourrait permettre d’améliorer les résultats pour les questions « complexes », Les contraintes de temps de réponse imposent des outils de base très performants et des contraintes lourdes pour le développement. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT

J’attends vos questions ! FIN J’attends vos questions ! Merci ! Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT