L’évaluation des publications scientifiques : du facteur d’impact à l’indice de notoriété Archives ouvertes, libre accès : questions et enjeux de la publication.

Présentation au sujet: "L’évaluation des publications scientifiques : du facteur d’impact à l’indice de notoriété Archives ouvertes, libre accès : questions et enjeux de la publication."— Transcription de la présentation:

1 L’évaluation des publications scientifiques : du facteur d’impact à l’indice de notoriété Archives ouvertes, libre accès : questions et enjeux de la publication scientifique 28 juin 2006 Université de Rennes 2 / URFIST – CERSIC - ERELLIF Réf. sources in fine Manuel Durand-Barthez, SCD Toulouse 3

2 Historique et critique du facteur d’impact Un modèle « historique »: l’ISI & 4 alternatives : - l’enquête CNRS SHS 2004 - l’expérience Citebase - Faculty of 1000 - Scholar Google

3 2 formules expérimentales L’indice individuel de Hirsch Le Journal Status de Bollen

4 L’EVALUATION DES PUBLICATIONS SCIENTIFIQUES Depuis 1960, modèle quasi monopolistique: ISI (Institute of Scientific Information – Philadelphie) [groupe U.S. Thomson Inc.]

5 EVALUATION DES AUTEURS S.C.I. (Science Citation Index) 9300 titres revendiqués sur la Plate-Forme propriétaire de l’ISI WEB OF SCIENCE (Wos)

6 EVALUATION DES SOURCES (Titres des Revues) JOURNAL CITATION REPORT (J.C.R.) Annuel, paraît vers Mai-Juin de l’année suivante 2005 : 5900 titres analysés

7 Journal: EMBO J Impact Factor: 10. 053 Cites in 2005 to articles published in:2004 = 4314 2003 = 6624 03+04 = 10938 Number of articles published in:2004 = 462 2003 = 626 03+04 = 1088 Calculation: Cites to recent articles10938 ------------------------------ = ---------- = 10.053 Number of recent articles 1088

8 Le calcul sur deux ans n'est pas forcément le plus adapté à toutes les spécialités : Certaines peuvent mieux supporter 5 ans de délai -soit parce que la nature des articles publiés possède un caractère plus pérenne et plus fondamental, appréciable (et donc "citable") sur une plus longue durée. - soit parce que leur faible volumétrie implique moins d'articles publiés -

9 Facteurs de pondération: - Périodicité + ou – grande: 2 ou 52 num. par an ? - Nombre d’articles par numéro - Changement de titre en cours d’année - « Jeune » périodique (libre, par ex.) - Nombre de textes type « review » - Langue, alphabet - Autocitations

10 Journal: EMBO J Immediacy Index: 2.198 Cites in 2005 to articles published in 2005= 866 Number of articles published in 2005= 394 Calculation: Cites to recent articles866 ------------------------------ = -------= 2.198 Number of recent articles 394

11 CITED HALF LIFE CALCULATION Journal Cited: EMBO J Cited Half-Life: 6.9 Total Cites (2005): 77132 Cumulative Percent of 2003 Cites to Articles Published in: 20052004200320022001 ------------------------------ 1.129.7215.3024.4233.62 200019991998199719961995-all ------------------------------------ 50.7459.9067.2772.8473.39100

12 Auto-citations Les auto-citations peuvent influer sur l’Impact factor. Dans un certain nombre de cas, il sera souhaitable de recalculer l’Impact factor dans la mesure où le nombre des Self-citations tend à excéder une proportion raisonnable.

13 Ce peut notamment être le cas de revues dont l’aura scientifique est relativement circonscrite et qui seront amenées à s’auto-citer à maintes reprises en compensation. Pour effectuer cette modification de calcul, le JCR propose un algorithme dans le Tutorial.

14

15

16 JAMA 2002 ; 287, 2772-2774

17

18

19

20

21

22

23

24 CiteSeer

25 10è référence Citée 511 fois Lien vers Nature

26

27

28 1.Fac of 1000 (1) "Recommended" Recommended reading for a section (i.e. of specialist interest) (F1000 Biology rating of 3) "Must read" Must read for more than one subject/section (i.e. of general interest) (F1000 Biology rating of 6), "Exceptional" A landmark paper representing the top 1% of publications (F1000 Biology rating of 9). Recommended F1000 Factor 3.1 Must Read F1000 Factor 6.2 Exceptional F1000 Factor 10.7

29 Fac of 1000 (2) F1000 Factor = Mean of Highest Two Scores + (Sum of All Scores/30) For example, a paper picked by three Faculty members, two give it a rating of Must Read and the third a rating of Exceptional, would give it a F1000 Factor of (6+9)/2 + (6+6+9)/30 = 8.2 This corresponds to an "Exceptional" rating badge.

30 Facteur de HIRSCH (1) Calcul d’une moyenne faisant coïncider: Nb de Publications et Nb de Citations = indice h

31 Facteur de HIRSCH (2) Nc,tot = ah² Synthèse du facteur h Moyenne de a située entre 3 et 5

32 Il y associe un indice m portant sur la durée n (nombre d’années) résultant de la pente (slope) h versus n

33 m  1 (h = 20 après 20 ans d’activité) : chercheur de « bon niveau » m  2 (h = 40 après 20 ans d’activité) : chercheur responsable d’une équipe de haut niveau dans une université très cotée m  3 et + (h = 60 après 20 ans d’activité, voire 90 après 30 ans) : chercheur hors pair, Nobel etc…

34 Le facteur de Bollen (1) Revues « populaires » vs. Revues « prestigieuses » ISI Impact Factor vs. Weighted Page Rank Le facteur Y résulte du produit des deux

35 Le facteur de Bollen (2) En Physique, dans la liste de référence des dix premiers I.F. du JCR, 6 revues sont absentes des dix premières de la liste « facteur y ».

36 Citation et Accès libre Les articles en accès libre sur le Web sont cités de 2,5 à 7 fois plus que les autres La philosophie de l’accès libre n’a pas la citation pour objectif principal ; mais de fait, il la facilite

37 Pour conclure La citation: un problème déontologique ? Son ampleur et ses dérapages n’impliquent-ils pas une action de la communauté scientifique ? Importance d’un travail coopératif sur les alternatives

38 Sources (1) http://isiwebofknowledge.com/ Sciences de l’Homme et de la Société n°69, mai 2004 (Enquête « Les Revues en Sciences humaines et sociales ») – Publication CNRS http://citebase.org http://citeseer.ist.psu.edu http://scholar.google.com http://www.f1000biology.com/home/

39 Sources (2) Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46) 16569-16572 www.pnas.org/cgi/doi/10.1073/pnas.0507655102 www.pnas.org/cgi/doi/10.1073/pnas.0507655102 Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status. arXiv:cs.GL/060103 v1 9 Jan 2006 http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030.pdf http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030.pdf