L’évaluation des publications scientifiques : du facteur d’impact à l’indice de notoriété Archives ouvertes, libre accès : questions et enjeux de la publication scientifique 28 juin 2006 Université de Rennes 2 / URFIST – CERSIC - ERELLIF Réf. sources in fine Manuel Durand-Barthez, SCD Toulouse 3

Historique et critique du facteur d’impact Un modèle « historique »: l’ISI & 4 alternatives : - l’enquête CNRS SHS l’expérience Citebase - Faculty of Scholar Google

2 formules expérimentales L’indice individuel de Hirsch Le Journal Status de Bollen

L’EVALUATION DES PUBLICATIONS SCIENTIFIQUES Depuis 1960, modèle quasi monopolistique: ISI (Institute of Scientific Information – Philadelphie) [groupe U.S. Thomson Inc.]

EVALUATION DES AUTEURS S.C.I. (Science Citation Index) 9300 titres revendiqués sur la Plate-Forme propriétaire de l’ISI WEB OF SCIENCE (Wos)

EVALUATION DES SOURCES (Titres des Revues) JOURNAL CITATION REPORT (J.C.R.) Annuel, paraît vers Mai-Juin de l’année suivante 2005 : 5900 titres analysés

Journal: EMBO J Impact Factor: Cites in 2005 to articles published in:2004 = = = Number of articles published in:2004 = = = 1088 Calculation: Cites to recent articles = = Number of recent articles 1088

Le calcul sur deux ans n'est pas forcément le plus adapté à toutes les spécialités : Certaines peuvent mieux supporter 5 ans de délai -soit parce que la nature des articles publiés possède un caractère plus pérenne et plus fondamental, appréciable (et donc "citable") sur une plus longue durée. - soit parce que leur faible volumétrie implique moins d'articles publiés -

Facteurs de pondération: - Périodicité + ou – grande: 2 ou 52 num. par an ? - Nombre d’articles par numéro - Changement de titre en cours d’année - « Jeune » périodique (libre, par ex.) - Nombre de textes type « review » - Langue, alphabet - Autocitations

Journal: EMBO J Immediacy Index: Cites in 2005 to articles published in 2005= 866 Number of articles published in 2005= 394 Calculation: Cites to recent articles = = Number of recent articles 394

CITED HALF LIFE CALCULATION Journal Cited: EMBO J Cited Half-Life: 6.9 Total Cites (2005): Cumulative Percent of 2003 Cites to Articles Published in: all

Auto-citations Les auto-citations peuvent influer sur l’Impact factor. Dans un certain nombre de cas, il sera souhaitable de recalculer l’Impact factor dans la mesure où le nombre des Self-citations tend à excéder une proportion raisonnable.

Ce peut notamment être le cas de revues dont l’aura scientifique est relativement circonscrite et qui seront amenées à s’auto-citer à maintes reprises en compensation. Pour effectuer cette modification de calcul, le JCR propose un algorithme dans le Tutorial.

JAMA 2002 ; 287,

CiteSeer

10è référence Citée 511 fois Lien vers Nature

1.Fac of 1000 (1) "Recommended" Recommended reading for a section (i.e. of specialist interest) (F1000 Biology rating of 3) "Must read" Must read for more than one subject/section (i.e. of general interest) (F1000 Biology rating of 6), "Exceptional" A landmark paper representing the top 1% of publications (F1000 Biology rating of 9). Recommended F1000 Factor 3.1 Must Read F1000 Factor 6.2 Exceptional F1000 Factor 10.7

Fac of 1000 (2) F1000 Factor = Mean of Highest Two Scores + (Sum of All Scores/30) For example, a paper picked by three Faculty members, two give it a rating of Must Read and the third a rating of Exceptional, would give it a F1000 Factor of (6+9)/2 + (6+6+9)/30 = 8.2 This corresponds to an "Exceptional" rating badge.

Facteur de HIRSCH (1) Calcul d’une moyenne faisant coïncider: Nb de Publications et Nb de Citations = indice h

Facteur de HIRSCH (2) Nc,tot = ah² Synthèse du facteur h Moyenne de a située entre 3 et 5

Il y associe un indice m portant sur la durée n (nombre d’années) résultant de la pente (slope) h versus n

m  1 (h = 20 après 20 ans d’activité) : chercheur de « bon niveau » m  2 (h = 40 après 20 ans d’activité) : chercheur responsable d’une équipe de haut niveau dans une université très cotée m  3 et + (h = 60 après 20 ans d’activité, voire 90 après 30 ans) : chercheur hors pair, Nobel etc…

Le facteur de Bollen (1) Revues « populaires » vs. Revues « prestigieuses » ISI Impact Factor vs. Weighted Page Rank Le facteur Y résulte du produit des deux

Le facteur de Bollen (2) En Physique, dans la liste de référence des dix premiers I.F. du JCR, 6 revues sont absentes des dix premières de la liste « facteur y ».

Citation et Accès libre Les articles en accès libre sur le Web sont cités de 2,5 à 7 fois plus que les autres La philosophie de l’accès libre n’a pas la citation pour objectif principal ; mais de fait, il la facilite

Pour conclure La citation: un problème déontologique ? Son ampleur et ses dérapages n’impliquent-ils pas une action de la communauté scientifique ? Importance d’un travail coopératif sur les alternatives

Sources (1) Sciences de l’Homme et de la Société n°69, mai 2004 (Enquête « Les Revues en Sciences humaines et sociales ») – Publication CNRS

Sources (2) Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46) Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status. arXiv:cs.GL/ v1 9 Jan