La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Xavier Tannier Recherche - Évaluation Indexation et Recherche d'Information.

Présentations similaires


Présentation au sujet: "Xavier Tannier Recherche - Évaluation Indexation et Recherche d'Information."— Transcription de la présentation:

1 Xavier Tannier Recherche - Évaluation Indexation et Recherche d'Information

2 Rappels des épisodes précédents

3 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Les acteurs de la Recherche d'Information Utilisateur : un besoin d'information et/ou une tâche à accomplir Collection : un ensemble de documents Les systèmes de RI doivent pouvoir traiter : De grandes masses d'information En langage naturel (et créée pour des humains) De façon rapide et pertinente

4 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Recherche d'Information 4 Collections dynamiques vs. statiques Collections dynamiques vs. statiques Requête Indexation (modèle de document) Modèle de recherche Évaluation

5 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Construction de lindex : vue générale 5 TEXTE Rien ne sert de courir; il faut partir à point : Le lièvre et la tortue en sont un témoignage. «Gageons, dit celle-ci, que vous n'atteindrez point Sitôt que moi ce but. - Sitôt? Êtes-vous sage ? Repartit l'animal léger : Ma commère, il vous faut purger Avec quatre grains d'ellébore.) - Sage ou non, je parie encore." Ainsi fut fait; et de tous deux On mit près du but les enjeux : Savoir quoi, ce n'est pas l'affaire, Ni de quel juge l'on convint. Notre lièvre n'avait que quatre pas à faire, J'entends de ceux qu'il fait lorsque, prêt d'être atteint, Il s'éloigne des chiens, les renvoie aux calendes, Et leur fait arpenter les landes. Ayant, dis-je, du temps de reste pour brouter, Pour dormir et pour écouter D'où vient le vent, il laisse la tortue Aller son train de sénateur. Elle part, elle s'évertue, Elle se hâte avec lenteur. Lui cependant méprise une telle victoire, Tient la gageure à peu de gloire, Croit qu'il y a de son honneur De partir tard. Il broute, il se repose, Il s'amuse à toute autre chose Qu'à la gageure. A la fin, quand il vit Que l'autre touchait presque au bout de la carrière, Il partit comme un trait; mais les élans qu'il fit Furent vains : la tortue arriva la première. "Eh bien! lui cria-t-elle, avais-je pas raison ? De quoi vous sert votre vitesse ? Moi l'emporter! et que serait-ce Si vous portiez une maison ?" TERMES Rien nesert de couririlfaut partir à point TERMES NORMALISÉS rien sert courirfaut partirpoint DOCUMENTS INDEX

6 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Fichier inverse 6

7 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Sac de mots Modèles « sac de mots » pour lindexation et la recherche : – On oublie lordre des mots – On raisonne en termes de présence / absence des termes dans un document, ou en terme de fréquence de ces termes 7

8 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier tf.idf Intuition #1 : plus un document contient d'occurrences d'un terme, plus il est "à propos" de ce terme Intuition #2 : des termes très fréquents dans tous les documents ne sont pas si importants (ils sont moins discriminants) Le poids dun terme (tf.idf) est la combinaison de ces deux intuitions pour rendre compte du caractère discriminant dun terme dans un document 8 (ou sa variante)

9 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Proposition temporaire de similarité Proposition pour le score de similarité dun document D en fonction dune requête Q On ne la conservera pas! 9

10 Du modèle booléen aux modèles à listes de résultats ordonnés

11 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Modèles de recherche : les trois courants Modèles fondés sur la théorie des ensembles Modèle booléen Modèles algébriques Modèle vectoriel Modèles probabilistes Modélisation de la notion de "pertinence" Courants fondés à l'aube de la discipline (années 60, 70) Passage à l'échelle : des bases documentaires "jouets" au téraoctet de TREC et au Web 11

12 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Modèle booléen Le premier et le plus simple des modèles Basé sur la théorie des ensembles et l'algèbre de Boole Les termes de la requête sont soit présents soit absents – Poids binaire des termes, 0 ou 1 Un document est soit pertinent soit non pertinent – Pertinence binaire, et jamais partielle (modèle exact) La requête s'exprime avec des opérateurs logiques – AND, OR, NOT – (cyclisme OR natation) AND NOT dopage – le document est pertinent si et seulement si son contenu respecte la formule logique demandée 12

13 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Modèle booléen : exemple 13 Requête Q : (cyclisme OR natation) AND NOT dopage Le document contientPertinence du document cyclismenatationcyclisme OR natation dopageNOT dopage

14 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Modèle booléen : avantages et inconvénients Avantages : – Le modèle est transparent et simple à comprendre pour l'utilisateur : Pas de paramètres "cachés" Raison de sélection d'un document claire : il répond à une formule logique – Adapté pour les spécialistes (vocabulaire contraint) Inconvénients : – Il est difficile d'exprimer des requêtes longues sous forme booléenne – Le critère binaire peu efficace Il est admis que la pondération des termes améliore les résultats cf. modèle booléen étendu – Il est impossible d'ordonner les résultats Tous les documents retournés sont sur le même plan L'utilisateur préfère un classement lorsque la liste est grande 14

15 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Extensions possibles Opérateurs d'adjacence ou de proximité : – « base NEAR données » – Nécessite la conservation des positions des mots dans les documents Pondération des mots-clés – « JO AND Pékin AND (natation:3 OR cyclisme:4 OR athlétisme:2) » – Permet un classement des résultats, mais selon des préférences exprimées par l'utilisateur Voir aussi plus loin le modèle booléen étendu 15

16 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Vers des listes ordonnées de résultats La plupart des utilisateurs : – ont du mal à écrire des requêtes booléennes – ne veulent pas parcourir trop de résultats (des milliers, voire des millions) On préfère donc des listes ordonnées – Du plus utile à lutilisateur (pertinent) au moins utile – Le nombre de résultats nest plus un problème – Lutilisateur en parcourt autant quil le souhaite La condition : avoir un algorithme dordonnancement efficace Modèle statistique : – Aspect quantitatif des termes et des documents – Degré de similarité entre une requête et un document 16

17 Modèle vectoriel

18 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Modèle vectoriel Mesure de similarité : Plus deux représentations contiennent les mêmes éléments, plus la probabilité quelles représentent la même information est élevée. Documents et requête sont représentés par un vecteur – Les coordonnées du vecteur sont exprimées dans un espace euclidien à n dimensions (n : nombre de termes) – La longueur du vecteur (i.e. de sa projection sur chacun des axes/termes) est proportionnelle au poids des termes. La pertinence du document correspond au degré de similarité entre le vecteur de la requête et celui du document On ordonne les documents du plus similaire à la requête au moins similaire 18

19 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation 0.45 D Modèle vectoriel 19 t3t3 t1t1 t2t2 Q Requête Q : t 1 t 2 t 3 Document D : … t 1 … t 3 … Poids w D,t1 = 0.45 Poids w D,t3 =

20 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Quelle mesure de similarité ? 20 Produit scalaire ? D1D1 t2t2 t1t1 Q D4D4 D3D3 D2D2 D1D1 t2t2 t1t1 Q D4D4 D3D3 D2D2 Distance euclidienne ? Une mauvaise idée… … Pourquoi ?

21 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Quelle mesure de similarité ? La solution : travailler avec langle entre les vecteurs 21 D1D1 t2t2 t1t1 Q D4D4 D3D3 D2D2 Cosinus (Le produit scalaire avec normalisation de la longueur des vecteurs) Quelle est la contribution dun terme isolé ?

22 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Quelle mesure de similarité ? Autres mesures : – Dice – Jaccard – Overlap 22

23 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation 23 Modèle vectoriel – résumé On représente la requête comme un vecteur (quelle pondération ?) On représente chaque document comme un vecteur pondéré On calcule la similarité (cosinus par exemple) entre chaque vecteur document et le vecteur requête On ordonne les résultats dans lordre inverse des scores obtenus On fournit les k premiers résultats à lutilisateur À retenir pour le projet !

24 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Modèle vectoriel : avantages et inconvénients Avantages : – Le langage de requête est plus simple (liste de mot-clés) – Les performances sont meilleures grâce à la pondération des termes – Le renvoi de documents à pertinence partielle est possible – La fonction d'appariement permet de trier les documents Inconvénients : – Le modèle considère que tous les termes sont indépendants (inconvénient théorique) – Le langage de requête est moins expressif – L'utilisateur voit moins pourquoi un document lui est renvoyé Le modèle vectoriel est le plus populaire en RI 24

25 Autres modèles

26 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Modèle probabiliste (1/4) Estimation de la probabilité de pertinence d'un document par rapport à une requête Probability Ranking Principle (Robertson 77) R : D est pertinent pour Q ¬R : D n'est pas pertinent pour Q Le but : estimer – P(R/ D ) : probabilité que le document D soit contienne de l'information pertinente pour Q – P(¬R/ D ) 26 variables indépendantes, deux ensembles de documents séparés

27 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Modèle probabiliste Rappel du théorème de Bayes : On ne sait pas calculer P(R/ D ), mais on peut calculer P( D /R) 27 Probabilité d'obtenir D en connaissant les pertinents Probabilité d'obtenir un document pertinent en piochant au hasard Probabilité de piocher D au hasard

28 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Modèle probabiliste En utilisant l'hypothèse d'indépendance des termes : Pour estimer les probabilités sur les termes, on peut utiliser des requêtes déjà résolues (apprentissage) puis des pondérations Exemple (système Okapi) : – le tf.idf – la longueur du document – la longueur moyenne des documents 28

29 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Modèle probabiliste : conclusion Deux modèles phares : – 2-poisson – Okapi Autres modèles de type probabiliste : – Réseaux bayésiens – Modèle de langage Conclusion : – Problème des probabilités initiales – Termes indépendants – Résultats comparables à ceux du modèle vectoriel 29

30 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Modèle booléen étendu Idée : permettre l'utilisation des opérateurs logiques tout en proposant une pertinence graduée Combinaison des modèles booléen et vectoriel Utilisation de la pondération des termes dans un document (tf.idf) Comme dans le modèle vectoriel, positionnement des documents dans un espace euclidien dont les axes sont les termes de la requête Calcul de la distance entre les coordonnées du document et : – les coordonnées idéales (requête ET) – les coordonnées nulles (requête OU) 30

31 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Modèle booléen étendu : exemple (1/2) 31 Requête Q : t 1 AND/OR t 2 Document D1 :... t 1... t 2... poids w D1,t 1 = 0.75 poids w D1,t 2 = 0.65 Document D2 :... t 1... t 2... poids w D2,t 1 = 0.25 poids w D2,t 2 = 0.50 D1 D2 t2t2 0,65 0,75 t1t ,5 0,25 (0,0) (1,1) x2x2 x1x1 y2y2 y1y1

32 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Modèle booléen étendu : exemple (2/2) 32 t2t2 0,65 0,75 t1t ,5 0,25 (0,0) (1,1) D1 D2 x2x2 x1x1 y2y2 y1y1 t2t2 0,65 0,75 t1t ,5 0,25 (0,0) (1,1) D1 D2 y2y2 y1y1 t 1 OR t 2 t 1 AND t 2 x2x2 x1x1

33 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Modèle booléen étendu : formule finale 33 avec : c les coordonnées des mots m le nombre de termes de la requête 1 p p = 1 modèle booléen classique p = 2 exemple précédent

34 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Autres modèles algébriques Modèle vectoriel généralisé – Représente les dépendances entre termes – Théoriquement intéressant, mais efficacité non démontrée Latent Semantic Indexing – Propose d'étudier les "concepts" plutôt que les termes, car ce sont eux qui relaient les idées d'un texte. – Lie les documents entre eux et avec la requête – Permet de renvoyer des documents ne contenant aucun mot de la requête – Moins de dimensions Réseaux de neurones... 34

35 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Pour aller plus loin (Dominik Kuropka 04)

36 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Quelques outils 36 lucy/zettair cheshire dataparksearch engine lemur lucene (et solr) terrier wumpus xapian liste et liens sur

37 Relevance feedback

38 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Relevance feedback (1/2) "Réinjection de la pertinence" Hypothèse : la requête initiale de l'utilisateur n'est pas la requête idéale pour obtenir les documents qu'il cherche But : déplacer le vecteur de la requête pour la rapprocher des documents pertinents 38 Q Q' documents non pertinents documents pertinents

39 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Relevance feedback (2/2) "Manuel explicite" : – L'utilisateur visualise les n premiers résultats – Il estime la pertinence de chacun (0 ou 1) – Nouvelle requête obtenue à partir des documents jugés pertinents et non pertinents Automatique (blind relevance feedback) : – Les n premiers résultats du premier run sont supposés pertinents – Même processus que pour le relevance feedback manuel (sans les documents non pertinents) 39

40 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Relevance feedback : formule de Rocchio 40 moyenne des vecteurs des documents non pertinents moyenne des vecteurs des documents pertinents vecteur requête initial nouveau vecteur requête valeur négative (ex : -0,25) valeur positive (ex : 0.5) valeur positive supérieure aux autres (ex : 1)

41 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Formule de Rocchio : exemple 41 cosinus D1D2 Q1 0,900,53 Q2 0,950,43

42 Divers 42

43 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Recherche multimédia Texte et/ou image et/ou audio et/ou vidéo... Des collections très volumineuses : – ex : collection Wikipédia pour INEX – 4.6 Go en texte seul, 60 Go avec les images Documents structurés (MPEG-7...) Utilisation : – des métadonnées – du texte "environnant" les images (légende, point de référence...) – des caractéristiques propres des documents autres que le texte : Analyse d'image Speech-to-text... 43

44 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Quels résultats présenter ? Il est inutile et coûteux de présenter trop de résultats Où s'arrêter ? Un seuil : – Fixe Difficile à trouver Risque de ne rien présenter – Fonction du meilleur score Quelle signification ? Comportement variable Augmentation brutale de la pente La méthode du « coude » 44 cosinus rang

45 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Expansion de la requête Ajouter des mots pertinents à la requête initiale et les pondérer efficacement Méthodes pour palier les problèmes liés au langage naturel – « bateau » ne ramène pas le mot « navire » – « thermodynamique » ne ramène pas « chaleur » – « félin » ne ramène pas « chat » – … Le relevance feedback sert aussi à ça (en partie) 45 Pourquoi ?

46 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Expansion de la requête Les thesaurus « manuels » Les thesaurus automatiques (voir page suivante) Lanalyse des logs de requêtes 46

47 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Génération automatique de thesaurus Fondée sur la similarité entre deux mots Co-occurrence de deux mots : deux mots qui apparaissent fréquemment ensemble possèdent une relation sémantique entre eux – Ex: « location » et « appartement » – Conduit à des relations sémantiques non spécifiées Co-occurrence des contextes : deux mots sont similaires sils co- occurrent avec des mots similaires – Ex: « bateau » et « navire », « chat » et « félin », mais aussi « chat » et « chien », « PS » et « UMP », etc. – Conduit plutôt à des relations lexicales de synonymie ou hyperonymie, mais peut également être plus large – Possibilité dutiliser les relations syntaxiques également 47

48 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Génération automatique de thesaurus chat animal de compagnie, siamois, client IRC, persan, chien, … télévision TV, séries, programme, radio, images, … Expansion de requêtes à base de thesaurus : – Ajouter les mots jugés similaires à la requête – Éventuellement, donner des pondérations en fonction du niveau de similarité Quand sarrête-t-on détendre la requête ? 48 Quels sont les effets de ces expansions de requêtes sur la précision et le rappel ?

49 Évaluation

50 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Recherche d'Information 50 Collections dynamiques vs. statiques Collections dynamiques vs. statiques Requête Indexation (modèle de document) Modèle de recherche Évaluation

51 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Quest-ce quun bon moteur de recherche ? Il est rapide ! Une analyse rapide de la requête Une recherche rapide dans lindex Un tri rapide des résultats Il est complet et à jour ! – Tous les (ou de nombreux) documents de la collection sont traités – Les nouveaux documents sont incorporés rapidement aux résultats Une construction rapide de lindex (sur le Web) Une découverte permanente, efficace et rapide des nouveaux documents 51

52 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Quest-ce quun bon moteur de recherche ? Son langage de requêtes est simple et expressif – Ces notions dépendent des types dutilisateurs Un modèle de recherche et dindexation approprié Son interface est sympa De nombreuses recherches dans ce domaine Il est gratuit ou pas cher Les moteurs de recherche (sur le Web mais pas seulement) sont un enjeu économique très important (et il faut trouver des recettes) 52

53 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Quest-ce quun bon moteur de recherche ? Mais surtout… il est pertinent ! – Ses résultats doivent satisfaire le besoin dinformation de lutilisateur – Mais ce point est plus difficile à mesurer – Il nest pas indépendant des autres points (la satisfaction de lutilisateur dépend de lensemble des critères) Ce point dépend des utilisateurs – Les humains sont subjectifs – Ils ont leurs propres connaissances – Ils ont des besoins différents qui napparaissent pas toujours dans leur expression de ces besoins 53

54 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Comment mesurer la pertinence ? Un moteur sur le Web – Lutilisateur clique sur certains liens et pas sur dautres – Lutilisateur retourne sur le moteur – Lutilisateur effectue une certaine tâche Un site de e-commerce – Lutilisateur achète (mais alors de qui mesure-t-on la satisfaction ?) – Il achète vite – Une forte proportion de visiteurs achètent Un site dentreprise – Lutilisateur gagne-t-il en productivité ? – Laccès est-il sécurisé ? – Etc. 54

55 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Quest-ce quune bonne évaluation ? Évaluer un système sert à : – Savoir sil remplit la tâche assignée – Savoir sil est meilleur que la concurrence – Savoir où on peut laméliorer Il faut donc une évaluation : – Reproductible Pour évaluer plusieurs systèmes de la même façon Pour estimer les progrès accomplis – Interprétable Pour identifier les zones de progrès possible – Rapide Pour pouvoir évaluer chaque modification du système indépendamment – Objective 55

56 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Comment rendre la pertinence objective ? Rappel : – Le besoin de lutilisateur est dabord transformé en requête, ce qui comporte déjà une perte dinformation. – On mesure la pertinence des résultats par rapport au besoin dinformation initial, pas par rapport à la requête ! (ex: « java ») – Des résultats peuvent être « très pertinents », « pas du tout pertinent », mais aussi « un peu pertinents », « moui » ou « je le savais déjà » Pour rendre la pertinence objective : – On en simplifie la définition Les documents sont traités indépendamment les uns des autres La pertinence est transformée en notion binaire – On utilise des « collections de test » 56

57 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Collections de test La collection de test rend les expériences reproductibles On met au point un protocole On juge manuellement un nombre significatif dexemples – « Gold standard » – Une partie peut également servir densemble de « développement » et/ou d « apprentissage » On calcule un accord inter-annotateurs – Pour valider le caractère objectif On compare les résultats du système aux résultats attendus On définit des mesures imparfaites mais précises 57

58 Indexation et Recherche d'Information Xavier Tannier Recherche, évaluation Documents pertinents P Évaluation : précision et rappel 58 Retour du système S Documents renvoyés ET pertinents silence bruit

59 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Précision et rappel Pourquoi pas juste la précision ? – La précision évalue la capacité dun système à renvoyer SURTOUT des documents pertinents – Renvoyer un seul document pertinent suffit à obtenir 100 % de précision Ce nest pas compatible avec la satisfaction de lutilisateur ! Pourquoi pas juste le rappel ? – Le rappel évalue la capacité dun système à renvoyer TOUS les documents pertinents – Renvoyer tous les documents de la collection permet dobtenir 100 % de rappel Ce nest pas compatible avec la satisfaction de lutilisateur ! 59

60 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Courbe rappel/précision Le rappel augmente bien sûr avec le nombre de réponses La précision diminue (en général) On utilise la courbe rappel/précision pour caractériser les systèmes de recherche d'information ,2 0,4 0,6 0,8 1,1,2,3,4,5,6,7,8,91

61 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Évaluation : F-mesure Pour obtenir une valeur unique entre 0 et 1, on utilise la F-mesure (moyenne harmonique) Pour donner autant d'importance à la précision qu'au rappel, on choisit = 1 1 favorise le rappel 61

62 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Évaluation : autres mesures MAP (Mean Average Precision) : aire sous la courbe R/P : précision après 10 documents retrouvésfavorise la haute/très haute précision Taux d'erreur = (faux positifs + faux négatifs) / pertinents et de nombreuses autres MAP

63 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Le pooling (1/3) Problème du rappel dans les collections importantes – Le rappel impose en théorie de connaître tous les documents pertinents – Impossible en pratique Le pooling : – Une fusion "intelligente" des résultats – Les n premiers documents produits par les systèmes sont fusionnés (n = 100 ou plus) – Seuls ces documents sont jugés par les experts humains – Les documents non jugés sont considérés comme non pertinents – Le calcul du rappel fait comme si tout avait été jugé 63

64 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Le pooling (2/3) Laccord inter-annotateurs est d'environ 80% Au mieux 50 à 70 % des documents pertinents seraient retrouvés par cette méthode (Zobel 98) Le biais qui en résulte : – Le rappel est surévalué – La précision est sous-évaluée – Les systèmes "originaux" qui s'entraînent sur ces collections peuvent être pénalisés Mais : – Le biais est faible s'il y a suffisamment de requêtes et de systèmes – L'évaluation "relative" (comparaison entre systèmes) reste valable – On n'a pas le choix 64

65 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Le pooling (3/3) 65 Documents pertinents Documents pertinents pooling Retour du Système Précision perdue

66 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Campagnes d'évaluation TREC (Text REtrieval Conference) : – Événement phare du domaine, tous les ans depuis 1992 – Sponsorisée par la DARPA – De nombreux axes de recherche : Multimédia : image, vidéo, Web Types de recherche spécifiques : questions-réponses, interactif, filtrage, "cross-language", "home page« Domaines spécifiques : génomique, légal Modes d'expression spécifiques : blogs, spams... CLEF (Cross-Language Evaluation Forum), spécialisée dans les langages européens NTCIR, spécialisée dans les langages asiatiques 66

67 Retour sur la normalisation

68 Indexation et Recherche d'Information Recherche, évaluation Xavier Tannier Influence de la normalisation Quelle est linfluence des techniques de normalisation sur la précision et le rappel ? Utilisation des mots vides Lemmatisation Racinisation … Quelle peut être linfluence dautres techniques sur la précision et le rappel ? Ajout de synonymes ? Utilisation de la syntaxe des phrases ? Requête 68


Télécharger ppt "Xavier Tannier Recherche - Évaluation Indexation et Recherche d'Information."

Présentations similaires


Annonces Google