La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Journée d'information URBAMET5 mars 20021 Université de Paris X - Nanterre Centre de Recherche en Information Spécialisée Quelle place pour lusager dans.

Présentations similaires


Présentation au sujet: "Journée d'information URBAMET5 mars 20021 Université de Paris X - Nanterre Centre de Recherche en Information Spécialisée Quelle place pour lusager dans."— Transcription de la présentation:

1 Journée d'information URBAMET5 mars Université de Paris X - Nanterre Centre de Recherche en Information Spécialisée Quelle place pour lusager dans lévaluation des systèmes de recherche dinformation ? Du paradigme système au paradigme cognitif Stéphane Chaudiron

2 Journée d'information URBAMET5 mars Usage et évaluation des SRI Contexte : > années 50 : la conception des SRI = place prépondérante au sein des SI (Salton) ; > objectif : amélioration de la performance intrinsèque du SRI ; > approche des SI calculatoire ou algorithmique qui soppose à lapproche sociale et cognitive des comportements informationnels ; > années 60 : lévaluation des SRI devient une préoccupation majeure (tests de Cranfield II) ; > objectif : définir des métriques de comparaison des SRI.

3 Journée d'information URBAMET5 mars Usage et évaluation des SRI Contexte : > depuis 50 ans, les SI sont marquées par un schisme (Harter, 96) : Étude bibliographique sur 12 revues en SI entre 72 et 95 White et McCain (1998) ; Vickery & Vickery (1987) ; Saracevic (1997, 1999) ; Ingwersen (1992) ; etc. Enjeu : place de lusager dans lévaluation

4 Journée d'information URBAMET5 mars Usage et évaluation des SRI Deux approches de lévaluation des SRI : –approche système vs approches usager : –utilisation de méthodes de laboratoire prise en compte du comportement réel des usagers dans lévaluation des systèmes. enjeu scientifique, technologique et industriel.

5 Journée d'information URBAMET5 mars Approche système SystèmeUsager Acquisition : info, objets, textes Problème : Besoin info Représentation indexation Représentation question Organisation objets indexés Formulation requête Recherche par appariement Documents retrouvés

6 Journée d'information URBAMET5 mars Approche système > tests de Cranfiel II (1960, Angleterre) : –évaluation comparative de 33 systèmes dindexation (SRI) sur une collection de 1400 documents et un ensemble de 331 requêtes ; –approche « boîte noire » (le système agit comme un filtre) ; –utilisation de la pooling method (unification des lots de réponses avant jugement) ; –jugement de pertinence binaire du document ; –critères dévaluation : précision, rappel ; –la pertinence mesure-t-elle la satisfaction ?

7 Journée d'information URBAMET5 mars Approche système > tests de Cranfiel II (1960, Angleterre) : –approche quantitative de lévaluation qui correspond au modèle dominant : TREC (DARPA & NIST depuis 1993) ; –méthodologie de référence : Amaryllis, IREX, CLEF ; –physical ou match paradigm ; –évaluation system-oriented ; problèmes posés par les métriques et les protocoles, labsence de lusager, lidentification de lusabilité à la performance du système.

8 Journée d'information URBAMET5 mars Approche système > les limites de lapproche : –labsence de lusager dans le processus dévaluation ; –lidentification du besoin dinformation ; –la validité de la notion de pertinence ; –labsence de linteraction dans lévaluation ; –les conditions dexpérimentation (simplification excessive des conditions réelles) ; –apparition de nouvelles pratiques de recherche (web, navigation).

9 Journée d'information URBAMET5 mars Approches usager > Volonté initiale daméliorer les protocoles puis constitution dun champ de recherche autonome : –cognitive paradigm ; –évaluation user-oriented ; –multiplicité des approches ; Un point commun : prise en compte du contexte réel dusage (individuel et collectif) à travers une modélisation des usagers.

10 Journée d'information URBAMET5 mars Approches usager > Exemples d approches : Carol Kulthau (1993) : dimension affective dans linteraction ; Nicholas Belkin (1995) : modèle épistémique ; Peter Ingwersen (1996) modèle cognitif ; Tefko Saracevic (1997) : approche globale de linteraction homme/information ; Tom Wilson (1996) :formalisation du comportement global de lusager.

11 Journée d'information URBAMET5 mars Approches usager > Carol Kulthau, 1993 : - elle souligne le rôle des états émotionnels dans le recherche dinformation ; - un modèle de la recherche en 6 étapes : initiation, sélection d'un thème, identification, exploration, formulation, collection, présentation ; - le processus de recherche est enclenché par un sentiment dincertitude : état cognitif qui provoque un état danxiété ; - à chaque étape, lusager évolue de lincertitude à la satisfaction ou linsatisfaction.

12 Journée d'information URBAMET5 mars Approches usager > Nicholas Belkin, 1995 : - le modèle épistémique met en évidence les changements détats de connaissance dans la RI ; - point de départ de la recherche : état épistémique qui se caractérise par un Anomalous State of Knowledge (ASK) ; - processus global qui se décompose en une suite de différentes interactions possibles : jugement, interprétation, modification, navigation,… - mettre en évidence la diversité des types dinteractions dans le processus global de recherche dinformation et de souligner que ce processus sinscrit dans une temporalité qui influe sur la nature des interactions.

13 Journée d'information URBAMET5 mars Approches usager > Peter Ingwersen, 1996 : - lun des premiers à proposer un modèle cognitif des systèmes de recherche dinformation, en rupture avec la vision traditionnelle des SRI ; - identifier les structures cognitives et les différentes variables qui interviennent dans le processus de recherche dinformation ; - il identifie plusieurs espaces, (les « origines cognitives »), qui sont autant déléments impliqués dans le processus global de recherche dinformation : – lespace cognitif de lutilisateur, –lenvironnement social ou organisationnel, –le fonds informationnel, –et le système lui-même. Le modèle met en évidence que les usagers ont une représentation de leurs besoins, du fonds informationnel et du système.

14 Journée d'information URBAMET5 mars Approches usager > Tefko Saracevic, 1997 : - propose une vision globale du processus de recherche qui identifie : - la composante situationnelle (informations liées aux contextes dusages : tâches, définition du problème) ; - la composante intentionnelle (analyse des croyances et motivations des usagers) ; - la composante cognitive (représentation des connaissances de lusager) ; - la composante requête (caractéristiques des questions de lusager) ; - la composante interface homme-machine ; - la composante système du logiciel de recherche (puissance, mémoire, etc..) ; - la composante logiciel et algorithmique ( composants du SRI) ; - la composante fonds documentaire (structure et caractéristiques de la base documentaire).

15 Journée d'information URBAMET5 mars Approches usager > Tom Wilson, 1996 : modèle général du comportement informationnel qui sappuie sur trois éléments : –le besoin informationnel et ses origines, cest-à-dire les facteurs qui ont conduit à la perception du besoin par lindividu ; –les facteurs qui déterminent la réponse de lindividu en réaction à la perception du besoin ; –les processus ou les actions qui sont impliqués par cette réponse. macro-modèle qui tente dexpliquer les stratégies de recherche individuelles, pourquoi certaines sources dinformations sont utilisées et d autres non, etc.

16 Journée d'information URBAMET5 mars Paradigme cognitif > Limites des approches usager : - modèles peu exploitables pour lévaluation des SRI : - comment traduire en métriques ? - vision très déterministe du comportement de lusager : - approche téléonomique du besoin ; - nouvelles pratiques daccès à linformation sans recherche : - butinage ; - pratiques coopératives de la recherche ; - effet Sérendip. - élargissement vers les sciences cognitives : méta-modèles cognitifs, théories de lapprentissage,...

17 Journée d'information URBAMET5 mars Merci de votre attention...

18 Journée d'information URBAMET5 mars Éléments de bibliographie... Harter Stephen, 1996, Variations in relevance assessments and the measurement of retrieval effectiveness, JASIS, vol. 47, n° 1, 1996, p White Howard et McCain Katherine, 1998, Visualizing a discipline : An author co-citation analysis of information science, , JASIS, vol. 49, n°4, p Vickery Brian et Vickery Alina, 1987, Information science in theory and practice, London, Butterworths. Saracevic Tefko, 1997, Extension and Application of the Stratified Model of Information Retrieval Interaction, Proceedings of the Annual Meeting of the American Society for Information Science, vol. 34, p Saracevic Tefko, 1999, Information science, JASIS, vol. 50, n° 12, p Ingwersen Peter, 1992, Information retrieval interaction, London, Taylor Graham. Kuhlthau, Carol, 1993, Seeking meaning: a process approach to library and information services, Norwood, N.J.: Ablex Pub. Corp., 1993, p. xxvi-199. Belkin Nicholas et Vickery Alina, 1985, Interaction in information systems, London, The British Library. Ingwersen Peter, 1996, Cognitive perspectives of information retrieval interaction : elements of a cognitive IR theory, Journal of Documentation, vol. 52, n° 1, 1996, p Saracevic Tefko, 1997, Extension and Application of the Stratified Model of Information Retrieval Interaction, Proceedings of the Annual Meeting of the American Society for Information Science, vol. 34, p Wilson Tom, 1996, Information behaviour : an inter-disciplinary perspective, Proceedings of an International Conference on research in information needs, seeking and use in different contexts, Vakkari Pertti, Savolainen Reijo et Dervin Brenda, dir., Taylor Graham, p

19 Journée d'information URBAMET5 mars


Télécharger ppt "Journée d'information URBAMET5 mars 20021 Université de Paris X - Nanterre Centre de Recherche en Information Spécialisée Quelle place pour lusager dans."

Présentations similaires


Annonces Google