La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Les enjeux de la bibliométrie. Du côté des institutions : différentes échelles dévaluation Lavancement individuel des carrières tout comme lattribution.

Présentations similaires


Présentation au sujet: "Les enjeux de la bibliométrie. Du côté des institutions : différentes échelles dévaluation Lavancement individuel des carrières tout comme lattribution."— Transcription de la présentation:

1 Les enjeux de la bibliométrie

2 Du côté des institutions : différentes échelles dévaluation Lavancement individuel des carrières tout comme lattribution des crédits sappuient désormais sur lévaluation de lactivité des chercheurs vue à travers le prisme de leurs publications Dossiers soumis à l'Agence Nationale de la Recherche : pas d'évaluation officielle rigoureuse à l'heure actuelle, mais des éléments… En France, lObservatoire des Sciences et Techniques (OST) est chargé notamment (créé en 1990): - « de la conception et production d'indicateurs quantitatifs relatifs aux activités scientifiques […] » - « [de l] interprétation en termes de position de la France en Europe et dans le monde » - de la « publication, diffusion et valorisation [de ces] indicateurs ». Cf. site de lOST (consulté le ).site de lOST

3 La recherche mondiale 2008 Dépenses en R&D: E-U 34%, U-E 24%, Japon 13,5%, Chine 9,3% La Corée du Sud est au même niveau que la France et le R-U 3,7% Il y a autant de chercheurs en Chine quaux E-U 43% des étudiants du monde sont en Asie, 24% en Europe LOffice américain des Brevets a accordé plus de brevets en Asie (31%) quen Europe (16%)

4 La recherche française: quelques chiffres La recherche française, publique et privée, compte en ETP, personnes dont 59% sont des enseignants-chercheurs. 56,2% appartiennent au secteur privé, 45,8% au secteur public Rappel: les E-U comptent 1,4 M de chercheurs, soit 1/5 de la pop. mondiale des chercheurs (UE=1,3 M et Chine=1,1M) Plus de 4/10 sont en Ile de France et plus d1/10 en Rhône/Alpes (2005) La France compte 6,76 chercheurs pour 1000 actifs (Japon=10,6 et E- U=7,42, UE= 5,86, Asie=1,88). Le nbre de chercheurs a augmenté de 23% en France entre 2000 et 2005 Rappel: On compte, en 2007, près de 6,6 millions de chercheurs dans le monde. 40,6 % sont en Asie, 30,4 % en Europe et 24,3 % en Amérique du Nord.

5 La production scientifique de la France En 2006, 4,2% des publ.mondiales en sciences de la matière et de la vie sont publiées en F. (4,2% des citations mondiales). En mathématiques cette part est de 6,8. cf.rapport OST p.76 Lindice dimpact de la France est supérieur ou égal à la moy.mondiale dans presque toutes les disciplines (1,01). Cest en recherche médicale quil est le plus faible (0,91) et en biologie appliquée-écologie quil est le plus fort (3,28). En 10 ans, la part des publications a baissé (5,4% en 1996) mais lindice dimpact sest nettement amélioré (0,91 en 1993)

6 Retour OST sur production scientifique Brevets : En 2008, la part mondiale de la France dans le système de brevet européen est de 6,3 %, contre 8,9 % en Dans le système américain de brevets elle est de 2,0 % en 2008, contre 3,3 % en Participation PCRD (programme-cadre de recherche et développement) La France est présente dans plus dun tiers des projets du 7ème PCRD. Elle coordonne 11,4% des projets. Les équipes françaises ont reçu 12,1% du budget, soit 1542 millions deuros.

7 Le Programme 150 de la LOLF Les objectifs fixés aux établissements denseignement supérieur et de recherche sont présentés dans le rapport Programme 150 consultable sur le web.Programme 150 Lévaluation et lévolution de la recherche française sont déclinées selon 5 objectifs (pages 52 à 59)

8 Les objectifs du Programme 150 OBJECTIF n° 7 : Produire des connaissances scientifiques au meilleur niveau international OBJECTIF n° 8 : Développer le dynamisme et la réactivité de la recherche universitaire OBJECTIF n° 9 : Contribuer à lamélioration de la compétitivité de léconomie nationale par le transfert et la valorisation des résultats de la recherche OBJECTIF n° 10 : Concourir au développement de lattractivité internationale de la recherche française OBJECTIF n° 11 : Consolider lEurope de la recherche

9 Lévaluation de la recherche : qualitative et quantitative Il existe deux types dévaluation des publications scientifiques : Lévaluation qualitative. Cest le « peer reviewing » ou évaluation par les pairs. Le papier est examiné par le comité de rédaction de la revue composé dexperts de la discipline Lévaluation quantitative. Cest lévaluation de lactivité des chercheurs vue à travers le prisme de leurs publications. Cette évaluation est menée par des personnes qui ne sont pas forcément spécialistes de la discipline et de laxe de recherche concernés. Il ne sagit pas dentrer dans les contenus. Le recours à la statistique simpose donc et le critère retenu est le taux de citation de la publication.

10 Quest-ce que la scientométrie? Branche de la bibliométrie: applique à lanalyse des activités de communication rédigée de la recherche scientifique et technique les principes détude statistique La communauté scientifique: une élite qui publie beaucoup, une masse de chercheurs peu productifs Les « collèges invisibles »

11 Évaluation quantitative : lInstitute of Scientific Information (ISI) Créé par Eugène Garfield en Acquis par Thomson Scientific en 1992 Sa spécialité est lindexation de citations et leur analyse Maintient une base de données de citations couvrant des milliers de revues : le Science Citation Index (SCI), accessible seulement électroniquement à travers le service appelé Web of science Cette base de donnée permet d'identifier les articles les plus souvent cités et qui les a cités ISI publie aussi un rapport annuel, le Journal Citation Report, qui établit un facteur dimpact pour chaque journal suivi

12 Les méthodes de lISI :évaluation des revues Les données sont publiées dans le Journal Citation Report qui paraît au printemps pour lannée précédente Il analyse plus de titres issus de 60 pays différents Le but est de définir le « facteur dimpact » de chaque revue sur les deux années précédant lannée de référence

13 Calcul du facteur dimpact :exemple Quel est le facteur dimpact dEMBO Journal en 2006 ? 1 - Nombre darticles de cette revue publiés en 2004 et 2005 et cités dans les titres de la base en 2006 : 2005 = = 5131 Total = Nombre darticles qua publiés cette revue en 2005 et en 2004 : 2005 = = 462 Total = facteur dimpact = le nombre de citations divisé par le nombre darticles publiés : 8634 : 856 = = Le facteur dimpact de cette revue est de

14 2006 JCR Science Edition Journal Summary List Journal Title Changes Journals from: All Journals All Journals Sorted by: Journals (of 6166)Journals (of 6166) Page 1 of 309Page 1 of 309 Rank Abbreviated Journal Title (linked to journal information) ISSNTotal Cites Impact Factor Immediacy Index Articles Cited Half-life 1CA-CANCER J CLIN NEW ENGL J MED ANNU REV IMMUNOL ANNU REV BIOCHEM REV MOD PHYS >10.0 6NAT REV CANCER X PHYSIOL REV NAT REV MOL CELL BIO SCIENCE CELL NAT REV IMMUNOL NAT MED ANNU REV NEUROSCI X NAT IMMUNOL NATURE ANNU REV CELL DEV BI CHEM REV LANCET BRIEF BIOINFORM NAT GENET Journals (of 6166)Journals (of 6166) Page 1 of 309Page 1 of 309 Acceptable Use Policy Acceptable Use Policy Copyright © 2008 The Thomson Corporation.The Thomson Corporation [ 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 ] [ 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 ]

15 De nombreux biais et a priori Considère que seule la citation est une preuve « dutilité scientifique » Biais introduits par la différence de taille des communautés (acoustique est moins lue que la biologie) Biais introduits par les choix de titres dans la base WoS : Biologie, santé, médecine bien représentées Sciences humaines très mal représentées

16 Un système qui nest pas sans défaut… Quelques faiblesses du système ISI dévaluation des revues Le calcul sur deux ans nest pas adapté à toutes les spécialités. Dans certaines disciplines, le contenu des articles publiés est susceptible dêtre cité sur une durée plus longue. Depuis 2007, un IF sur 5 ans est calculé également. Pour les années antérieures, une méthode est proposée. Les « jeunes » périodiques peuvent être défavorisés le temps de prendre de limportance…Le système fonctionne comme une prime aux revues déjà installées et jouissant dune certaine notoriété Les articles de type « review » sont comptabilisés avec les articles de recherche ce qui « gonfle » les résultats des titres publiant de nombreuses « reviews » (même si ensuite, on peut afficher le détail du nombre de « reviews » sur le nombre total darticles publiés, le calcul du facteur dimpact nen tient pas compte) Les revues dans des langues autres que langlais et des alphabets autres que le latin, sont très défavorisées dans ce « jeu » des citations.

17 Les citations opportunistes Les articles « importants » sont parfois cités préférentiellement, pas forcément en rapport direct avec leur utilité dans la recherche poursuivie. Les articles des « grands journaux » sont plus souvent cités, et en meilleure place, que ceux publiés dans les journaux à tirage moyen Auto-citations, citations de collègues en vue, citations darticles du journal auquel on soumet un manuscrit, etc. Articles cités pour rectifier des erreurs nombreuses Articles considérés comme « classiques » et donc plus cités ou au contraire sur-citation des art.très originaux

18 La « peopleisation » des journaux scientifiques Un article peut être jugé important parce quil est publié dans un journal prestigieux comme Nature ou Science Certaines revues, pour préserver leur IF diminuent le nombre dart.publiés, elles favorisent les disciplines « à la mode », elles publient de plus en plus de « reviews »

19 Le problème de la définition des auteurs Des disparités entre les disciplines Quelle est la contribution des signataires du milieu? Quelle est la contribution des techniciens et laborantins signataires? Cf. les critères dauthorship de Vancouver

20 L'utilisation des données ISI Utilisation individuelle par le chercheur Connaître ses articles les plus cités Savoir qui cite les articles Utilisation comme outil d'évaluation Performances individuelles Performances d'un groupe Laboratoire Établissement Organisme

21 Tout ce qui est laissé de côté par cette méthode Originalité de la recherche, innovation conceptuelle, applications, utilité scientifique ou industrielle Rayonnement ou création dune école de pensée

22 Conclusion: PRUDENCE Les deux médailles Fields 2010, Cédric Villani cité 1520 fois par 629 auteurs et Ngo Bao Chau cité 102 fois par 52 auteurs, ne peuvent absolument pas être classés lun par rapport à lautre.

23 Le problème des SHS La citation devient dans le modèle de lISI une preuve « dutilité scientifique » ce qui ne sapplique pas aux SHS Parce que la monographie est la forme de publication majeure de ces domaines où les contenus ont une longue durée de vie. En France, une part importante des recherches sont publiées dans le cadre douvrages collectifs qui échappent à la recension de lISI Le principe de visibilité utilisé pour sélectionner les jrnx est également contestable: des périodiques à tirage limité et à faible indice dimpact sont cpdt fondamentaux pour leur communauté de chercheurs La prédominance de la langue anglaise nest pas attestée pour nbre de disciplines (archéologie, littératures nationales) Parce que dans ces disciplines en particulier, les « pratiques de citation » française et anglo-saxonne diffèrent très nettement. Exemple sur lannée 2000 : Ecole Française de Rome, section Moyen-Age : 3858 références pour 283 articles Speculum : 3495 pour 167 articles Source : enquête CNRS sur les revues SHS

24 Mais il y a aussi des points positifs! Le chercheur peut ainsi étudier les revues de sa discipline et définir sa stratégie de publication : Meilleurs résultats dans les meilleures revues Résultats moins importants dans les autres Diversifier les sources dans des domaines voisins et des IF équivalents

25 Scopus et Scimago Nouvel indicateur prenant en compte les revues de tous les pays: le Journal Rank Indicator Plus de revues indexées depuis 1996 Les sciences sociales sont encore le parent pauvre mais sont représentées et permettent un classement des revues.

26 Les indicateurs relationnels Indicateur de co-publications internationales dun pays (2006: E-U sont le 1er partenaire de la F, présents dans 24,6% des cop.) Analyse du réseau de recherche dans lequel sinscrit un chercheur Analyse dynamique des liaisons entre les revues: permet de suivre la déformation et la réorganisation des domaines de recherche Analyse des citations darticles scientifiques dans les brevets (et inversement): relations entre sciences et techniques Analyse des réseaux de citations: étude dun contexte de recherche Lanalyse des mots associés: grâce à des logiciels tels que Leximappe, on peut détecter la co-occurrence de mots et déterminer des indices déquivalence. Les réseaux de mots associés permettent dindiquer la place dune recherche par rapport à un ensemble: centralité et densité dessinent des diagrammes stratégiques qui permettent dévaluer la structure dun domaine de recherche. Permet de prévoir dans le temps quels thèmes vont être développés.


Télécharger ppt "Les enjeux de la bibliométrie. Du côté des institutions : différentes échelles dévaluation Lavancement individuel des carrières tout comme lattribution."

Présentations similaires


Annonces Google