Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet.

Présentation au sujet: "Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet."— Transcription de la présentation:

1 Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet Journée détude du 31 janvier 2007 Ministère de la Recherche, Amphithéâtre Poincaré Manuel Durand-Barthez, SCD Toulouse 3

2 2 types d évaluation: A priori, qualitative, par les pairs (peer reviewing) A posteriori, quantitative, par les citations (bibliométrique)

3 Définition du problème Nécessité de promouvoir des alternatives de type qualitatif par rapport au modèle dominant quantitatif

4 Méthode Démonter le système quantitatif (bibliométrie) qui trop souvent régit en amont la soumission d article Réformer ce système de l intérieur Introduire une évaluation qualitative coopérative Y associer étroitement l OAI

5 L EVALUATION DES PUBLICATIONS SCIENTIFIQUES Depuis 1960, modèle quasi monopolistique: ISI (Institute of scientific Information – Philadelphie) [Groupe U.S. Thomson Inc.]

6 EVALUATION DES AUTEURS S.C.I. (Science Citation Index) 9300 titres revendiqués sur la Plate-Forme propriétaire de lISI WEB OF SCIENCE (WoS)

7 EVALUATION DES SOURCES (Titres des revues) JOURNAL CITATION REPORT (J.C.R.) Tableau statistique annuel paraît au Printemps de lannée « n+1 » 2005: + de 6000 titres analysés

8 Journal: EMBO J Impact Factor: 10. 053 Cites in 2005 to articles published in:2004 = 4314 2003 = 6624 03+04 = 10938 Number of articles published in:2004 = 462 2003 = 626 03+04 = 1088 Calculation: Cites to recent articles10938 ------------------------------ = ---------- = 10.053 Number of recent articles 1088

9 Le calcul sur deux ans n'est pas forcément le plus adapté à toutes les spécialités : Certaines peuvent mieux supporter 5 ans de délai Notamment parce que la nature des articles publiés possède un caractère plus pérenne et plus fondamental, appréciable (et donc "citable") sur une plus longue durée

10 Facteurs de pondération: - Périodicité + ou – grande: 2 ou 52 num. par an ? - Nombre darticles par numéro - Changement de titre en cours dannée - « Jeune » périodique (libre, par ex.) - Nombre de textes type « review » - Langue, alphabet - Autocitations

11 Scholar Google Une réplique « ouverte » du W.O.S. Pas d exploitation « sophistiquée » des données Délimitation du corpus inconnue et mouvante

12 10è référence Citée 511 fois Lien vers Nature

13

14 La « Fronde » Publication darticles polémiques, notamment dans Nature

15

16

17 Une autre conception du Facteur d Impact Citebase et Citeseer Une autre conception du Facteur d Impact Des expériences fondées sur l OAI Comparaisons portant sur: - Nb. de téléchargements - Nb. de citations générées - Temps écoulé entre ces deux actions - Cycle de la publication (long terme)

18

19

20 CiteSeer

21 Facteur de HIRSCH Calcul d une moyenne faisant coïncider: Nb de Publications et Nb de Citations = indice h

22

23 Il y associe un indice m portant sur la durée n (nombre dannées) résultant de la pente (slope) h versus n

24 m 1 (h = 20 après 20 ans dactivité) : chercheur de « bon niveau » m 2 (h = 40 après 20 ans dactivité) : chercheur responsable dune équipe de haut niveau dans une université très cotée m 3 (h = 60 après 20 ans dactivité, voire 90 après 30 ans) : chercheur hors pair, Nobel etc…

25 EVALUATION QUALITATIVE (hors Citations)

26 Le Peer Reviewing classique 2 referees en principe anonymes Arbitrage par l Editor in Chief 1 (rarement 2) « navettes » Voir les Recommandations aux Auteurs Exemple de la Charte de lAmerican Chemical Society

27 L évaluation qualitative coopérative arXiv Citeseer F1000

28

29 Communication / Evaluation intracommunautaire 1990: espaces de données GOPHER, interface VERONICA puis navigateur MOSAIC Vérification mutuelle d expériences Foisonnement des échanges dévaluation intracommunautaires Modèle actuel majoritaire préféré à lexposition publique…

30

31 Citeseer – Commentaire en ligne

32 Addition du Commentaire

33 Evaluation a priori partagée - Modèle de Rodriguez et al. The convergence of digital libraries and the peer-review process [2006]

34 Faculty of 1000 (1) "Recommended" Recommended reading for a section (i.e. of specialist interest) (F1000 Biology rating of 3) "Must read" Must read for more than one subject/section (i.e. of general interest) (F1000 Biology rating of 6), "Exceptional" A landmark paper representing the top 1% of publications (F1000 Biology rating of 9). Recommended F1000 Factor 3.1 Must Read F1000 Factor 6.2 Exceptional F1000 Factor 10.7

35 Fac of 1000 (2) F1000 Factor = Moyenne des 2 scores les plus élevés + (Somme de tous les Scores/30) Exemple: 3 examinateurs, 2 attribuent la mention Must Read, le 3 è décerne l Exceptional => on a un F1000 Factor de (6+9)/2 + (6+6+9)/30 = 8,2 Ceci correspond à un "Exceptional" rating badge.

36 F1000 – Les « perles cachées » Signalement périodique darticles issus de revues « prestigieuses » à faible impact : Hidden Jewels Analogie avec le Journal Status de Bollen opposant revues « popular» vs. « prestigious »

37 Citation et Accès libre Les articles en accès libre sur le Web sont cités de 2,5 à 7 fois plus que les autres La philosophie de l accès libre n a pas la citation pour objectif principal mais de fait, il la facilite

38 Pour conclure La citation: un problème déontologique ? Son ampleur et ses dérapages n impliquent-ils pas une action de la communauté scientifique ? Importance d un travail coopératif sur les alternatives

39 Sources (1) Lefèbvre, Muriel (Urfist Toulouse) Vers une remise en question des modalités traditionnelles d'évaluation des savoirs scientifiques ? (13/04/2006) http://archivesic.ccsd.cnrs.fr/sic_00112197

40 Sources (2) http://isiwebofknowledge.com/ http://arxiv.org http://citebase.org http://citeseer.ist.psu.edu http://scholar.google.com http://www.f1000biology.com/home/

41 Sources (3) Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46) 16569-16572 www.pnas.org/cgi/doi/10.1073/pnas.0507655102 www.pnas.org/cgi/doi/10.1073/pnas.0507655102 Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status. arXiv:cs.GL/060103 v1 9 Jan 2006 http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030. pdf http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030. pdf Les mêmes: The convergence of digital libraries and the peer-review process 2006 http://arxiv.org/ftp/cs/papers/0504/0504084.pdf