La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Recherche dinformation et TAL Ludovic TANGUY (J. Mothe, A. Picton, M. Vergez, etc.) Master Recherche TAL.

Présentations similaires


Présentation au sujet: "Recherche dinformation et TAL Ludovic TANGUY (J. Mothe, A. Picton, M. Vergez, etc.) Master Recherche TAL."— Transcription de la présentation:

1

2 Recherche dinformation et TAL Ludovic TANGUY (J. Mothe, A. Picton, M. Vergez, etc.) Master Recherche TAL

3 2 Plan Principes généraux en RI Schéma global dune application de RI Quelle place et quels résultats pour un traitement « linguistique » ? Lévaluation en RI Principes Programmes Internationaux Critique de lévaluation globale Vers un traitement adaptatif : projet ARIEL

4 3 Présentation générale de la RI

5 4 La RI en quelques mots Étant donné : Une collection de documents Un besoin exprimé (requête) Retrouver les documents correspondants à ce besoin Le plus précisément et le plus exhaustivement possible

6 5 Schéma général Indexation Représentation Requête Mise en cor- respondance

7 6 Caractéristiques du modèle dominant Représentation des documents et requêtes par « sac de mots » Modèle vectoriel avec pondération Fréquence relative Mots vides Quelques variations Critères de position Syntagmes ou assimilés au lieu de mots simples

8 7 Place(s) pour la linguistique Extraction des unités pertinentes (docs+requêtes) Segmentation (mots / syntagmes) Normalisation des formes (orthographe, morphologie, syntaxe) Expansion de requêtes Ajout de termes à ceux de la requête initiale E.g. : morphologie dérivationnelle, utilisations de ressources sémantiques, etc. « La linguistique doit aider au repérage du sens »

9 8 La RI pour le TAL des linguistes La RI comme valorisation des ressources produites par le TAL Lexiques, grammaires, réseaux sémantiques, etc. Slogan classique de fin darticle : « Application à la recherche dinformation » Sans doute utile, mais pas de véritable évaluation de limpact sur des chaînes de RI

10 9 Bilan mitigé (pour le moins) De Loupy 2001 : « Les expériences publiées dans la littérature ne font pas apparaître clairement que les systèmes utilisant des connaissances linguistiques obtiennent de meilleures performances. » Voorhes 1999 : « Currently, the most succesful general purpose retrieval systems are statistical methods that treat text as little more than a bag of words. However, attempts to improve retrieval performance through more sophisticated linguistic processing have been largely unsuccessful. »

11 10 Quelques explications… Méthodologie de lévaluation Évaluation globale dun système Coût des calculs supplémentaires Temps de réponse du système plus important que la pertinence Types de documents traités Bases documentaires généralistes Exigence de lutilisateur Modèle du Web

12 11 Présentation générale de la RI Problématique de lévaluation

13 12 Lévaluation en RI Coût énorme de la définition dun banc de test Communauté scientifique mobilisée très tôt pour la mise en commun de ressources Text REtrieval Conference (TREC), 1992 Langue anglaise exclusivement Cross-Language Evaluation Forum (CLEF), 2000 Autres langues européennes et recherche dinformation trans-langue NII-Nacsis Test Collections for Information Retrieval (NTCIR), 1998 Langues asiatiques Passages obligés pour tout système de RI

14 13 Évaluation « à la TREC » Plusieurs tâches Adhoc, WEB, Hard, QA, Terabyte, SPAM, Novelty, etc. Collections de documents (presse, Web, mails, etc.) Collection de requêtes (« topics »), 50 par tâche par an Texte de la requête (plus ou moins structuré) Liste des documents « pertinents » Chaque campagne (annuelle) Définition de la collection Distribution des requêtes Exécution des recherches par le système évalué (différents paramètres possibles, ou « runs ») Retour des résultats et évaluation du « run »

15 14 Exemple de requête (topic 35, 2003) Title: NATO, Poland, Czech Republic, Hungary Descriptive: Accession of new NATO members: Poland, Czech Republic, Hungary, in Narrative: Identity of current and newly-invited members, statements of support for and opposition to NATO enlargement and steps in the accession process and related special events are relevant. Impact on the new members, i.e., requirements they must satisfy, and their expectations regarding the implications for them are relevant. Progress in the ratification process is relevant. Future plans for NATO expansion, identification of nations admitted on previous occasions, and comments on future NATO structure or strategy are not relevant.

16 15 Notion de pertinence Décision humaine pour chaque requête « Pooling method » : les juges ne se basent que sur un sous-ensemble de documents Uniquement ceux ramenés par au moins un système Pas de méthodologie claire ni de classement pour les documents pertinents

17 16 Critères dévaluation Précision (documents pertinents parmi ceux retrouvés) Rappel (documents retrouvés parmi ceux pertinents) F-mesure : 2xPxR/(P+R) Système parfait : P=R=1 Tous les documents sont retrouvés : R=1, P~0 Aucun document nest retrouvé : P=1, R~0 Différents seuils de mesure (5, 10, 20… premiers documents ramenés)

18 17 Scores et évaluation Courbes rappel/précision Préférence pour les scores de précision

19 18 Évaluation « globale » Plusieurs scores globaux (moyenne) pour chaque « run » Classement des systèmes sur cette base Le score pour chaque requête est disponible, mais pas utilisé Uniquement une moyenne sur les requêtes En moyenne, très peu de différences entre les « bons » systèmes Même si des variations importantes peuvent exister dune requête à lautre

20 19 Conséquences Peu de visibilité des difficultés rencontrées par les systèmes Pas de prise en compte de lefficacité par rapport à une requête « difficile » Pas de retour précis sur les techniques utilisées Peu dinformation sur les caractéristiques des systèmes de toute façon

21 20 Présentation générale de la RI Evaluation « locale »

22 21 Études locales souhaitables Observer le comportement dun système par rapport à une requête particulière Évaluer un traitement linguistique « sur site » Permettre un jugement plus fin des méthodes employées En voir les faiblesses et les avantages en fonction des données traitées Pouvoir conjuguer des méthodes spécifiques Adapter le traitement aux données

23 22 Quelques études locales « For most IR algorithms, we do not sufficiently understand the reason for retrieval variability well enough to be able to predict whether the algorithm will succeed or fail on a topic » Buckley & Harman 2003 Workshop RIA « Where can IR go from here? » 6 semaines de test locaux de plusieurs systèmes Étude de la variabilité topics-systèmes-documents Typologie des problèmes rencontrés Termes, relations sémantiques, orthographes, etc. Concentration sur le paramétrage des techniques statistiques Réinjection de pertinence aveugle (blind feedback) Pondération des termes réinjectés Pas de lien direct avec des ressources linguistiques

24 23 Le projet ARIEL Présentation générale

25 24 Le projet ARIEL Adaptation dune chaîne de Recherche dInformation à lExpression des besoins sur la base de traitements Linguistiques IRIT / ERSS – J. Mothe – Utilisation de la plateforme RFIEC (IRIT) Observatoire de limpact de traitements linguistiques Repérage des contextes favorables et défavorables pour chaque méthode Vers un système adaptatif ?

26 25 Traitements envisagés Étude sur le français et langlais Indexation des documents et requêtes Lemmatisation Stemmatisation (troncation) Expansion de requêtes Morphologie dérivationnelle (Dictionnaires de synonymes) Voisins distributionnels

27 26 Traitements morphologiques Normalisation des formes : Troncation : « déterminons -> détermi » 5, 6 ou 7 caractères pour le français Lemmatisation : « déterminons -> déterminer » Retour à la forme de citation Nécessite un étiquetage morphosyntaxique (TreeTagger) Expansion de requêtes par BD morphologique : « déterminer -> détermination » Verbaction : couples N/V Nécessite une lemmatisation

28 27 Traitements sémantiques Dictionnaires de synonymes Déterminer -> entraîner, provoquer, pousser, susciter, occasionner… Voisins distributionnels Déterminer -> correspondre, indiquer, définir, sinterroger, ignorer, préciser… Morphosynonymie Déterminer -> arrêter, décider, fixer, préciser, caractériser, délimiter, estimer… Expansion de requêtes Après lemmatisation

29 28 Le projet ARIEL Travaux préliminaires

30 29 Première étape : étude de lexistant Problèmes de développement de la plateforme dexpérimentation État des lieux des variations de résultats dune requête à lautre Étude des résultats passés des campagnes TREC et CLEF Pour quelques systèmes bien décrits, étude détaillée des différences locales

31 30 Typologie naïve des requêtes Première approche : requête « faciles » vs « difficiles » Étude des runs passés de TREC (5 années, 250 requêtes) Scores de précision, rappel et F-mesure de tous les systèmes et pour toutes les requêtes Analyses statistiques Classification hiérarchique ascendante Christment et al. (2004)

32 31 Requêtes faciles vs. difficiles

33 32 Typologie des systèmes Différences de performances en fonction des requêtes Identification de deux groupes de systèmes Analyse factorielle Individus = requêtes Variables = scores des runs

34 33 Classification des systèmes Groupe 1 de systèmes Groupe 2 de systèmes

35 34 Premiers résultats Comportements variés entre les requêtes Requêtes difficiles et faciles Comportement variés entre les systèmes Efficacité variable dune requête à lautre Première utilisation : adaptation aveugle Pour chaque requête, un type de système plus approprié Fusion de systèmes : « mixer » les résultats de deux systèmes orthogonaux MAIS : pas d « explication » de la difficulté ni de la variation

36 35 Le projet ARIEL Typologie linguistique des requêtes

37 36 Typologie linguistique des requêtes Principe : définition de traits linguistiques génériques « À la Biber » Définition de profils de requêtes Études : Quel est limpact des caractéristiques linguistiques sur les performances des systèmes ? Peut-on associer ces caractéristiques aux variations defficacité de différents traitements ?

38 37 Traits linguistiques des requêtes Une trentaine de traits définis, répartis en trois niveaux Lexique : Complexité lexicale (taille des mots, suffixation, rareté, répétition, etc.) Syntaxe : Complexité syntaxique (subordonnées, négation, profondeur, etc.) Sémantique : Polysémie des termes de la requête

39 38 Concrètement… Pour chaque requête : étiquetage morpho-syntaxique (TreeTagger) et analyse syntaxique (Syntex) Profilage : Calculs de caractéristiques (numériques) Construction dun vecteur pour chaque requête (n=30) Au total, une matrice avec En colonnes, les valeurs des traits + les scores obtenus En ligne, les requêtes EXEMPLE Grande complexité du problème : Méthodes dindexation, type de tâche, année, traits linguistiques, mesures dévaluation, parties de la requête prises en compte

40 39 Quelques traits particuliers Polysémie Utilisation de ressources génériques Anglais : Wordnet Nombre de synsets différents par item lexical Français : TLFi Nombre dentrées par item Complexité syntaxique : deux approches complémentaires

41 40 Complexité syntaxique : profondeur TermlimitationsformembersoftheUScongress NP PP NP PP NP Syntactic Depth 5 Syntactic Links Span 10/7 = 1.43

42 41 Complexité syntaxique : distance syntaxique ofmutualfundsinindividual'sanretirement strategy NP PP NP PP NP Syntactic Depth 4 Syntactic Links Span 19/9 = 2.11 Use

43 42 Méthodes Statistiques descriptives Traits linguistiques : variables explicatives Scores des runs : variables dépendantes Première approche : corrélations Mesure de lexistence dune relation linéaire entre deux variables E.g. : plus la requête est longue, plus elle contient de mots Corrélations significatives Corrélations positives ou négatives

44 43 Notion de corrélation

45 44 Résultats Phénomène connu (Mandl & Womser 2004): les noms propres Corrélation significativement positive Confirmé sur TREC et CLEF Phénomènes nouveaux (Mothe & Tanguy 2005, Vergez 2005) : « Distance syntaxique » : négative Polysémie moyenne : négative Présence de mots suffixés : négative Détecteur de requêtes difficiles Utilisation envisageable : interaction avec lutilisateur pour reformulation

46 45 Le projet ARIEL Évaluation de techniques linguistiques

47 46 Premier lien avec les méthodes utilisées Exemple (rare) : les runs de lUniversité dAmsterdam en versions du même système, seule variation : lemmatisation (TreeTagger) / stemmatisation (Porter) / les deux traitements cumulés Extraction de règles de décisions par apprentissage Plateforme Weka : divers algos dapprentissage Si (% de prépositions > X) Alors Préférer la troncation Fusion de systèmes requête par requête

48 47 Évaluation de différentes méthodes Utilisation de la plateforme RFIEC Différentes méthodes dindexation (documents/requêtes) et dexpansion Calcul des scores globaux Calcul des scores pour chaque requête Corrélations entre traits des requêtes et variation de performance M. Vergez & A. Picton, 2005

49 48 Normalisation des formes : résultats globaux Lemmatisation vs. troncation vs. formes de surface Lemmatisation > troncation > formes de surface Bilan net pour la lemmatisation, étude novatrice pour le français Nombreuses erreurs de traitement dans les expériences précédentes… Lemmatisation vs. formes : Tendance lourde pour la lemmatisation : pluriels de noms, formes verbales, etc.

50 49 Normalisation des formes : explications locales Lemmatisation vs. troncation : Flexion de mots courts (loi/lois) : +Lemm, - Tronc Formes proches non apparentées (information /informatique) : -Tronc, +Lemm Morphologie dérivationnelle (ménopausique/ménopause/ménopausé) : +Tronc –Lemm Problèmes de lemmatisation de certaines formes : accouché (Adj) / accoucher (V)

51 50 Normalisation des formes : traits linguistiques liés Corrélé positivement avec un gain positif en faveur de la lemmatisation : Longueur de la requête (Nb de mots) Nombre de mots suffixés !!!! Résultats contre-intuitifs ? Danger de la dérivation non contrôlée : Information / informatique Danger accru avec le nombre de mots Moralité : lassimilation abusive de la troncation est bien son handicap principal

52 51 Expansion morphologique de requêtes Base Verbaction (Hathout et al.) 9000 couples N/V validés manuellement TLF + acquisition sur le Web Intervention lors de lindexation de la requête après lemmatisation Double sens : N->V et V->N Base MorphoSyn (Hathout tout seul) Cf. la semaine prochaine Besoin de paramétrage plus fin…

53 52 Bilan global Lemmatisation + Verbaction vs. Lemmatisation seule Globalement pas damélioration Certaines requêtes reçoivent un gain énorme (+135%) Lemmatisation + Verbaction vs Troncation Globalement très positif (+10%)

54 53 Phénomènes linguistiques locaux Bruit induit par Verbaction Problèmes de catégorisation : égaler/également (N vs. Adv) Polysémie des dérivés : faire/faction, faire/facture, faire/façon Gain de Verbaction : Bon couples dans les deux sens (N-V et V-N) Investir/investissement, adhésion/adhérer, union/unir, etc. Insuffisance de Verbaction (vs. troncation) : Liens morphologiques autres que N/V : ménopausique/ménopause (Adj/N)

55 54 Traits linguistiques corrélés Traits positivement corrélés avec un gain de Verbaction : Taux de verbes Profondeur syntaxique Type/Token Ratio Explications : Profondeur syntaxique : présence de SN imbriqués (N de N de N de N) -> déverbaux en tête TTR : besoin dexpansion criant !

56 55 Conclusions

57 56 Bilan jusquici Démonstration du gain de méthodes linguistiques Méthodes simples Bien contrôlées et articulées Avantage aux ressources limitées mais validées Encouragement pour leur développement Extension de la couverture

58 57 Perspectives à court terme Construction dun classifieur de requêtes Par apprentissage sur les traits pertinents Application et validation sur plus de campagnes Participation à TREC/CLEF avec un système adaptatif

59 58 Perspectives à long terme Affinement des traits descriptifs Étude des documents et pas seulement des requêtes Contrôle local des expansions plus acrobatiques


Télécharger ppt "Recherche dinformation et TAL Ludovic TANGUY (J. Mothe, A. Picton, M. Vergez, etc.) Master Recherche TAL."

Présentations similaires


Annonces Google