Evaluation de la recherche Les enjeux de la bibliométrie

Du côté des institutions : différentes échelles d’évaluation L’avancement individuel des carrières tout comme l’attribution des crédits s’appuient désormais sur l’évaluation de l’activité des chercheurs vue à travers le prisme de leurs publications Dossiers soumis à l'Agence Nationale de la Recherche : pas d'évaluation officielle rigoureuse à l'heure actuelle, mais des éléments… En France, l’Observatoire des Sciences et Techniques (OST) est chargé notamment  (créé en 1990): - « de la conception et production d'indicateurs quantitatifs relatifs aux activités scientifiques […] » - « [de l’] interprétation en termes de position de la France en Europe et dans le monde » - de la « publication, diffusion et valorisation [de ces] indicateurs ». Cf. site de l’OST (consulté le 25-03-2013).

La recherche mondiale 2008 Dépenses en R&D: E-U 34%, U-E 24%, Japon 13,5%, Chine 9,3% La Corée du Sud est au même niveau que la France et le R-U 3,7% Il y a autant de chercheurs en Chine qu’aux E-U 43% des étudiants du monde sont en Asie, 24% en Europe L’Office américain des Brevets a accordé plus de brevets en Asie (31%) qu’en Europe (16%)

La recherche française: quelques chiffres La recherche française, publique et privée, compte en ETP, 375 235 personnes dont 59% sont des enseignants-chercheurs. 56,2% appartiennent au secteur privé, 45,8% au secteur public Rappel: les E-U comptent 1,4 M de chercheurs, soit 1/5 de la pop. mondiale des chercheurs (UE=1,3 M et Chine=1,1M) Plus de 4/10 sont en Ile de France et plus d’1/10 en Rhône/Alpes (2005) La France compte 6,76 chercheurs pour 1000 actifs (Japon=10,6 et E-U=7,42, UE= 5,86, Asie=1,88). Le nbre de chercheurs a augmenté de 23% en France entre 2000 et 2005 Rappel: On compte, en 2007, près de 6,6 millions de chercheurs dans le monde. 40,6 % sont en Asie, 30,4 % en Europe et 24,3 % en Amérique du Nord. Chiffre du dernier rapport de l’OST (2007). Le renversement public/privé est dû à l’augmentation du nbr de personnels dans les entreprises.

La production scientifique de la France En 2006, 4,2% des publ.mondiales en sciences de la matière et de la vie sont publiées en F. (4,2% des citations mondiales). En mathématiques cette part est de 6,8. cf.rapport OST p.76 L’indice d’impact de la France est supérieur ou égal à la moy.mondiale dans presque toutes les disciplines (1,01). C’est en recherche médicale qu’il est le plus faible (0,91) et en biologie appliquée-écologie qu’il est le plus fort (3,28). En 10 ans, la part des publications a baissé (5,4% en 1996) mais l’indice d’impact s’est nettement amélioré (0,91 en 1993)

Retour OST sur production scientifique Brevets : En 2008, la part mondiale de la France dans le système de brevet européen est de 6,3 %, contre 8,9 % en 1990. Dans le système américain de brevets elle est de 2,0 % en 2008, contre 3,3 % en 1990. Participation PCRD (programme-cadre de recherche et développement) La France est présente dans plus d’un tiers des projets du 7ème PCRD. Elle coordonne 11,4% des projets. Les équipes françaises ont reçu 12,1% du budget, soit 1542 millions d’euros. Cette baisse de la part frç est due aux nouveaux arrivants (Chine) Programme-cadre de recherche et développement

Le Programme 150 de la LOLF Les objectifs fixés aux établissements d’enseignement supérieur et de recherche sont présentés dans le rapport Programme 150 consultable sur le web. L’évaluation et l’évolution de la recherche française sont déclinées selon 5 objectifs (pages 52 à 59) http://www.performance-publique.gouv.fr/farandole/2006/lfi/pdf/DBGPGMLFIPGM150.pdf

Les objectifs du Programme 150 OBJECTIF n° 7 : Produire des connaissances scientifiques au meilleur niveau international OBJECTIF n° 8 : Développer le dynamisme et la réactivité de la recherche universitaire OBJECTIF n° 9 : Contribuer à l’amélioration de la compétitivité de l’économie nationale par le transfert et la valorisation des résultats de la recherche OBJECTIF n° 10 : Concourir au développement de l’attractivité internationale de la recherche française OBJECTIF n° 11 : Consolider l’Europe de la recherche

L’évaluation de la recherche : qualitative et quantitative Il existe deux types d’évaluation des publications scientifiques : L’évaluation qualitative. C’est le « peer reviewing » ou évaluation par les pairs. Le papier est examiné par le comité de rédaction de la revue composé d’experts de la discipline L’évaluation quantitative. C’est l’évaluation de l’activité des chercheurs vue à travers le prisme de leurs publications. Cette évaluation est menée par des personnes qui ne sont pas forcément spécialistes de la discipline et de l’axe de recherche concernés. Il ne s’agit pas d’entrer dans les contenus. Le recours à la statistique s’impose donc et le critère retenu est le taux de citation de la publication. Cette procédure a été appliquée en 1665 par la Royal Society lors de la création des Philosophical Transactions of the RS par Henry Oldenburg mais c’est ainsi que procédaient les médecins arabes au IXème siècle (Ethique du médecin d’Ali al-Rahwi) Mais limites: lourdeur de l’examen approfondi des documents, subjectivité, localisme, manque de compétence

Qu’est-ce que la scientométrie? Branche de la bibliométrie: applique à l’analyse des activités de communication rédigée de la recherche scientifique et technique les principes d’étude statistique La communauté scientifique: une élite qui publie beaucoup, une masse de chercheurs peu productifs Les « collèges invisibles » - Dans son rapport Du Bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs, l’Académie des sciences regrette que le suffixe –métrie suggère qu’une unité de mesure unique puisse exister. Il n’en est rien. Aussi bien quantitative que qualitative, elle se limite souvent dans les faits à une étude quantitative. Des analyses globales prendraient en compte le coût complet des recherches dans les labos, travailleraient sur les réseaux informels, les types de communication entre chercheurs… - Le volume global de l’activité scientifique croît de manière régulière: le nombre de chercheurs et de leurs publications double environ tous les 20 ans: 80 à 90% des scientifiques ayant existé sont actuellement vivants. Choix des articles comme support des analyses : 2 millions d’articles publiés par an (1 million de brevets). Sur 100 articles, 90 sont ignorés, et sur les 10 autres, 9 sont l’objet de critiques. Loi de Lotka: si 100 chercheurs ont publié 1 article, 4 chercheurs en ont publiés 5, 1 seul en a publiés 10.

Évaluation quantitative : l’Institute of Scientific Information (ISI) Créé par Eugène Garfield en 1958. Acquis par Thomson Scientific en 1992 Sa spécialité est l’indexation de citations et leur analyse Maintient une base de données de citations couvrant des milliers de revues : le Science Citation Index (SCI), accessible seulement électroniquement à travers le service appelé Web of science Cette base de donnée permet d'identifier les articles les plus souvent cités et qui les a cités ISI publie aussi un rapport annuel, le Journal Citation Report, qui établit un facteur d’impact pour chaque journal suivi SCI créé en 1963, complété par Social sciences Citation Index, Arts & Humanities Citation Index (les 3 bases sont interrogeables sé^parément) Les techniques statistiques d’évaluation y ont été développées autour des sciences de la matière et de la vie Interrogation par auteur cité (cited author) ou publication citée (cited work) Communauté de recherche autour des usages quantitatifs de la base: revues Scientometrics, Journal of The American Society for Information Science (JASIS), Research Evaluation…

Les méthodes de l’ISI :évaluation des revues Les données sont publiées dans le Journal Citation Report qui paraît au printemps pour l’année précédente Il analyse plus de 7 500 titres issus de 60 pays différents Le but est de définir le « facteur d’impact » de chaque revue sur les deux années précédant l’année de référence

Calcul du facteur d’impact :exemple Quel est le facteur d’impact d’EMBO Journal en 2006 ? 1 - Nombre d’articles de cette revue publiés en 2004 et 2005 et cités dans les titres de la base en 2006 : 2005 = 3503 2004 = 5131 Total = 8634 2 - Nombre d’articles qu’a publiés cette revue en 2005 et en 2004 : 2005 = 394 2004 = 462 Total = 856 3 - facteur d’impact = le nombre de citations divisé par le nombre d’articles publiés : 8634 : 856 = 10.086 = Le facteur d’impact de cette revue est de 10.086 Journal of the European Molecular Biology Organization, bimensuel

All Journals Journals from: Journals 1 - 20 (of 6166) Page 1 of 309                  2006 JCR Science Edition     Journal Summary List Journal Title Changes  Journals from:  All Journals  Sorted by:  Journals 1 - 20 (of 6166) Page 1 of 309           [ 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 ]      Rank Abbreviated Journal Title (linked to journal information) ISSN Total Cites Impact Factor Immediacy Index Articles Cited Half-life 1 CA-CANCER J CLIN 0007-9235 5266 63.342 16.526 19 2.9 2 NEW ENGL J MED 0028-4793 177505 51.296 12.743 303 6.9 3 ANNU REV IMMUNOL 0732-0582 15482 47.237 9.500 24 6.3 4 ANNU REV BIOCHEM 0066-4154 16761 36.525 4.433 30 8.5 5 REV MOD PHYS 0034-6861 20672 33.508 6.656 32 >10.0 6 NAT REV CANCER 1474-175X 13189 31.583 4.675 80 3.4 7 PHYSIOL REV 0031-9333 16209 31.441 4.906 7.2 8 NAT REV MOL CELL BIO 1471-0072 14132 31.354 3.894 85 3.6 9 SCIENCE 0036-8075 361389 30.028 5.555 885 7.7 10 CELL 0092-8674 132528 29.194 6.403 352 8.7 11 NAT REV IMMUNOL 1474-1733 11098 28.697 4.628 78 3.3 12 NAT MED 1078-8956 43664 28.588 5.261 153 5.3 13 ANNU REV NEUROSCI 0147-006X 9139 28.533 3.050 20 6.8 14 NAT IMMUNOL 1529-2908 20761 27.596 5.856 132 15 NATURE 0028-0836 390690 26.681 6.789 962 7.8 16 ANNU REV CELL DEV BI 1081-0706 7499 26.576 1.000 27 17 CHEM REV 0009-2665 57509 26.054 2.778 189 7.5 18 LANCET 0140-6736 133932 25.800 7.419 301 7.4 BRIEF BIOINFORM 1467-5463 1428 24.370 0.207 29 2.6 NAT GENET 1061-4036 54053 24.176 7.144 202 6.1      Journals 1 - 20 (of 6166) Page 1 of 309           [ 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 ]      Acceptable Use Policy Copyright © 2008 The Thomson Corporation.                                

De nombreux biais et a priori Considère que seule la citation est une preuve « d’utilité scientifique » Biais introduits par la différence de taille des communautés (acoustique est moins lue que la biologie) Biais introduits par les choix de titres dans la base WoS : Biologie, santé, médecine bien représentées Sciences humaines très mal représentées

Un système qui n’est pas sans défaut… Quelques faiblesses du système ISI d’évaluation des revues Le calcul sur deux ans n’est pas adapté à toutes les spécialités. Dans certaines disciplines, le contenu des articles publiés est susceptible d’être cité sur une durée plus longue. Depuis 2007, un IF sur 5 ans est calculé également. Pour les années antérieures, une méthode est proposée. Les « jeunes » périodiques peuvent être défavorisés le temps de prendre de l’importance…Le système fonctionne comme une prime aux revues déjà installées et jouissant d’une certaine notoriété Les articles de type « review » sont comptabilisés avec les articles de recherche ce qui « gonfle » les résultats des titres publiant de nombreuses « reviews » (même si ensuite, on peut afficher le détail du nombre de « reviews » sur le nombre total d’articles publiés, le calcul du facteur d’impact n’en tient pas compte) Les revues dans des langues autres que l’anglais et des alphabets autres que le latin, sont très défavorisées dans ce « jeu » des citations. [1] Une « review » est un texte faisant l’état de l’art d’un concept, sujet, axe de recherche. En général, du fait de sa nature ce type d’article est énormément cité. [2] Cependant, lorsque une chercheur / une équipe est hyper-spécialiste d’un sujet, il est normal qu’il / elle soit conduit(e) à s’auto-citer…

Les citations opportunistes Les articles « importants » sont parfois cités préférentiellement, pas forcément en rapport direct avec leur utilité dans la recherche poursuivie. Les articles des « grands journaux » sont plus souvent cités, et en meilleure place, que ceux publiés dans les journaux à tirage moyen Auto-citations, citations de collègues en vue, citations d’articles du journal auquel on soumet un manuscrit, etc. Articles cités pour rectifier des erreurs nombreuses Articles considérés comme « classiques » et donc plus cités ou au contraire sur-citation des art.très originaux

La « peopleisation » des journaux scientifiques Un article peut être jugé important parce qu’il est publié dans un journal prestigieux comme Nature ou Science Certaines revues, pour préserver leur IF diminuent le nombre d’art.publiés, elles favorisent les disciplines « à la mode », elles publient de plus en plus de « reviews » Pourtant ces revues ne publient pas que des articles importants: plus de 50% des art. parus dans Nature ont reçu, depuis 2008, zéro ou une citation. Inversement, des trx importants peuvent avoir été refusés par Nature: Physics World (nov.2010) à l’origine de deux prix Nobel de physique 2010, a été refusé deux fois par nature avant d’être publié par Science.

Le problème de la définition des auteurs Des disparités entre les disciplines Quelle est la contribution des signataires du milieu? Quelle est la contribution des techniciens et laborantins signataires? Cf. les critères d’authorship de Vancouver http://www.icmje.org/ethical_lauthor.html Biologie: de 5 à 10 signataires, le 1er signataire est l’étudiant post-doc, le dernier est le directeur de thèse. En médecine, rapport direct avec obtention de crédit pour les labos. En physique expérimentale des particules et des hautes énergies, des centaines d’auteurs (sans incidence sur l’obtention de crédits)! En physique de la matière condensée ou molle, beaucoup d’auteurs stt si usage de grands instruments (bcp de techniciens). En mathématiques, la moitié des articles n’ont qu’un seul auteur En sciences éco, les noms des auteurs apparaissent dans l’ordre alphabétique En SHS, les signataires ne citent pas forcément le nom des étudiants comme contributeurs.

L'utilisation des données ISI Utilisation individuelle par le chercheur Connaître ses articles les plus cités Savoir qui cite les articles Utilisation comme outil d'évaluation Performances individuelles Performances d'un groupe Laboratoire Établissement Organisme

Tout ce qui est laissé de côté par cette méthode Originalité de la recherche, innovation conceptuelle, applications, utilité scientifique ou industrielle Rayonnement ou création d’une école de pensée

Conclusion: PRUDENCE Les deux médailles Fields 2010, Cédric Villani cité 1520 fois par 629 auteurs et Ngo Bao Chau cité 102 fois par 52 auteurs, ne peuvent absolument pas être classés l’un par rapport à l’autre.

Le problème des SHS La citation devient dans le modèle de l’ISI une preuve « d’utilité scientifique » ce qui ne s’applique pas aux SHS Parce que la monographie est la forme de publication majeure de ces domaines où les contenus ont une longue durée de vie. En France, une part importante des recherches sont publiées dans le cadre d’ouvrages collectifs qui échappent à la recension de l’ISI Le principe de visibilité utilisé pour sélectionner les jrnx est également contestable: des périodiques à tirage limité et à faible indice d’impact sont cpdt fondamentaux pour leur communauté de chercheurs La prédominance de la langue anglaise n’est pas attestée pour nbre de disciplines (archéologie, littératures nationales) Parce que dans ces disciplines en particulier, les « pratiques de citation » française et anglo-saxonne diffèrent très nettement. Exemple sur l’année 2000 : Ecole Française de Rome, section Moyen-Age : 3858 références pour 283 articles Speculum : 3495 pour 167 articles Source : enquête CNRS 1992-2001 sur les revues SHS

Mais il y a aussi des points positifs! Le chercheur peut ainsi étudier les revues de sa discipline et définir sa stratégie de publication : Meilleurs résultats dans les meilleures revues Résultats moins importants dans les autres Diversifier les sources dans des domaines voisins et des IF équivalents

Scopus et Scimago Nouvel indicateur prenant en compte les revues de tous les pays: le Journal Rank Indicator http://www.scimagojr.com/ Plus de 18 000 revues indexées depuis 1996 Les sciences sociales sont encore le parent pauvre mais sont représentées et permettent un classement des revues.

Les indicateurs relationnels Indicateur de co-publications internationales d’un pays (2006: E-U sont le 1er partenaire de la F, présents dans 24,6% des cop.) Analyse du réseau de recherche dans lequel s’inscrit un chercheur Analyse dynamique des liaisons entre les revues: permet de suivre la déformation et la réorganisation des domaines de recherche Analyse des citations d’articles scientifiques dans les brevets (et inversement): relations entre sciences et techniques Analyse des réseaux de citations: étude d’un contexte de recherche L’analyse des mots associés: grâce à des logiciels tels que Leximappe, on peut détecter la co-occurrence de mots et déterminer des indices d’équivalence. Les réseaux de mots associés permettent d’indiquer la place d’une recherche par rapport à un ensemble: centralité et densité dessinent des diagrammes stratégiques qui permettent d’évaluer la structure d’un domaine de recherche. Permet de prévoir dans le temps quels thèmes vont être développés. co-citations: industrie pharmaceutique est très proche de la recherche scientifique, alors que l’activité des transports fait beaucoup moins référence à des recherches scientifiques. L’Allemagne est le pays qui a le plus mobilisé sa science pour alimenter sa technologie. Le Royaume-Uni est le pays qui produit le plus de recherches scientifiques utilisables par l’industrie, mais ce sont surtout l’Allemagne et le japon qui ont utilisé ces recherches anglaises! L’étude des co-citations permet également de situer des fronts de chercheurs (clusters), c’est-à-dire des communautés cohérentes qui tentent de se positionner sur un domaine en se différenciant des autres Réseaux de citation: Garfield a reconstitué la chaîne de tous les articles qui, depuis le début du siècle, ont conduit à la découverte de la structure de l’ADN par Crick et Watson (mise en évidence de la recherche fondamentale) H. Small a différencié grâce à l’étude des contextes les apports respectifs de Gallo et Montagnier dans la découverte du virus du sida.