La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010.

Présentations similaires


Présentation au sujet: "Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010."— Transcription de la présentation:

1 Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

2 B. Bénichoux - 25 juin 20102 Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

3 B. Bénichoux - 25 juin 20103 Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

4 B. Bénichoux - 25 juin 20104 Vous avez dit « évaluation » ? Pour quoi ? Validation du travail scientifique Place de la recherche française Rôle des universités Par qui, pour qui ? LOLF, lAERES Les organismes de recherche, les universités Le grand public

5 B. Bénichoux - 25 juin 20105 De quoi ? Des chercheurs, Des publications, Des établissements Comment ? Les experts Les indicateurs bibliométriques

6 B. Bénichoux - 25 juin 20106 La LOLF Loi Organique relative aux Lois de Finances Nouveau cadre de gestion de ladministration Janvier 2006 Introduction dobjectifs et dindicateurs de performance

7 B. Bénichoux - 25 juin 20107

8 8 LAERES Evaluation des établissements denseignement supérieur et des organismes de recherche « … sur la base de critères objectifs » Établissements Activités de recherche Formations Procédures dévaluation

9 B. Bénichoux - 25 juin 20109 LAERES Experts 4 niveaux de notation… … sur 4 critères Qualité scientifique Rayonnement Stratégie, vie du laboratoire Appréciation du projet Et une note globale Chercheurs et enseignants-chercheurs Nombre de publications Autres indicateurs Pertinence recherches, Qualité des résultats Impact international, Prise de risque Qualité et quantité des publications Thèses encadrées Logiciels, brevets Diffusion de la connaissance, Obtention de contrats Notoriété, attractivité du laboratoire Relations internationales, Invitations, Prix ou distinctions, Contrats nationaux, Organisation de congrès, Comités éditoriaux, Instances dévaluation, Post-doctorants. Vitalité de lunité, Animation scintifique Incitation aux échanges Politique recrutement ouverte, Enseignement supérieur, Insertion dans lenvironnement. Cohérence, Potentiel humain, Affectation de moyens, Politique prévisionnelle

10 B. Bénichoux - 25 juin 201010 Organismes de recherche Décret de 1983 Instances Principe de collégialité Disciplinaire Organisation Rythme biennal ou quadriennal

11 B. Bénichoux - 25 juin 201011 Documents demandés Chercheurs du CNRS : compte-rendu annuel dactivités rapport dactivité détaillé tous les deux ans objectifs de recherche, tous les 4 ans mise à jour de la liste des publications tous les deux ans Au niveau collectif : Informations administratives Informations scientifiques

12 B. Bénichoux - 25 juin 201012 Critères Activité scientifique Objectifs et intérêt du projet Rayonnement Diversité Activités danimation et de valorisation Direction de recherches Enseignement Production scientifique indicateurs bibliométriques et autres Collectif Idem + organisation interne

13 B. Bénichoux - 25 juin 201013 Conséquences Pour le chercheur Recommandations écrites Primes Promotion Pour le collectif Recommandations … … si évaluation négative diminution des moyens, non renouvellement, fusion

14 B. Bénichoux - 25 juin 201014 En général … Activités de recherche : Résultats, collaborations, publications (nb, qualité, impact), innovation des thèmes et procédures de recherche Activités de valorisation : brevets, contrats Activités de gestion : animation déquipe, direction de projets, réponses à appels doffre Diffusion de la culture scientifique : Enseignement, direction thèses, expertises Mobilité thématique et géographique

15 B. Bénichoux - 25 juin 201015 Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

16 B. Bénichoux - 25 juin 201016 Qualité de lenseignement supérieur Un mouvement international… Processus de Bologne UNESCO, OCDE, Banque Mondiale Guide de bonnes pratiques, Lignes directrices… … avec des répercussions nationales

17 B. Bénichoux - 25 juin 201017 Une multitude de classements Classements internationaux Shanghaï THES (Times Higher Education Supplement) Les autres Généraux : Newsweek, Ecole des Mines de Paris Par discipline : Shanghaï, THE, management Objets particuliers : webometrics Classements régionaux CHE (Allemagne), CWTS (Leiden) Classement européen Classements nationaux US News and World Report Macleans (Canada), La Repubblic (Italie), Excelencia (Spain)…

18 B. Bénichoux - 25 juin 201018 Shanghaï 2003, Thomson Critères Anciens étudiants ayant reçu un prix Nobel ou la médaille Fields 10% Membre de léquipe universitaire ayant reçu… 20% Nombre de chercheurs parmi les plus cités 20% Articles publiés dans Nature ou Sciences 20% Articles indexés dans WoS 20% Résultats rapportés à la taille de linstitution 10%

19 B. Bénichoux - 25 juin 201019

20 B. Bénichoux - 25 juin 201020 1° : Harvard 2° : Stanford 3° : Berkeley 4° : Cambridge, UK 5° : MIT 40° : Paris 6 P.et M. Curie

21 B. Bénichoux - 25 juin 201021 Shanghaï - critiques Hétérogénéité des indicateurs Périodes différentes SHS nont pas le critère N&S Biais des données de base : affiliations, langue, couverture, DT Nobel Critères redondants Parution annuelle

22 B. Bénichoux - 25 juin 201022 THES-QS Depuis 2004, Times Higher Education Suppl., Quacquarelli Symonds Grand public. Comparaison internationale des universités mobilité des étudiants Indicateurs Qualité de la recherche : peer review 40%, nombre de citations 20% Qualité de lenseignement : ratio étudiants/enseignants (20%), recrutement 10% Ouverture internationale : enseignants (5%) et étudiants (5%) étrangers

23 B. Bénichoux - 25 juin 201023

24 B. Bénichoux - 25 juin 201024 28° : Ecole Nationale Supérieure 1° : Harvard, US 2° : Cambridge, UK 3° : Yale, US 4° : Univ College London 5° : Imperial College London

25 B. Bénichoux - 25 juin 201025 THES - critiques Collecte des données Prédominance de la langue anglaise Universités mondiales… sauf pays en développement ! Améliorations constantes Normalisation des scores WOS Scopus (couverture plus large…)

26 B. Bénichoux - 25 juin 201026 Paris Tech - Mines Classement professionnel Anciens étudiants qui occupent poste n°1 dans une des 500 plus grandes entreprises internationales

27 B. Bénichoux - 25 juin 201027 1° : Tokyo 2° : Harvard 3° : Stanford 4° : Waseda, Japon 5° : Séoul

28 B. Bénichoux - 25 juin 201028 Webometrics Mesure de lactivité scientifique sur le web visibilité Soutient lopen access, les PVD Classe 4000 universités et 1000 organismes de recherche Public visé : autorités universitaires, membres décideurs Résultats : Bons pour les établissements de recherche Moins bons pour les universités

29 B. Bénichoux - 25 juin 201029 Webometrics, critères « World Ranking » S (size) : nombre de pages 20% V (visibility) : liens entrants 50% R (rich files) : diversité des formats de fichiers 15% Sc (Scholar) : référencement GS 15%

30 B. Bénichoux - 25 juin 201030

31 B. Bénichoux - 25 juin 201031 1° : MIT 2° : Harvard 3° : Stanford 4° : Berkeley 5° : Cornell 129° : Université Paris 6 Pierre et Marie Curie

32 B. Bénichoux - 25 juin 201032 Leiden rankings 1000 universités européennes qui ont plus de 700 publications/an dans le WOS Indicateurs du CWTS Résultats différents en fonction des critères

33 B. Bénichoux - 25 juin 201033 Universités européennes

34 B. Bénichoux - 25 juin 201034 Et il y en a dautres… SCImago institutions rankings The Carnegie classification of institutions of higher education, Stanford Performance ranking of scientific papers for world universities, Taïwan US News and World reports Echelle de Vincennes Classement par dominance ….

35 B. Bénichoux - 25 juin 201035 SCImago institutions rankings

36 B. Bénichoux - 25 juin 201036

37 B. Bénichoux - 25 juin 201037 On y pense…. Valérie Pécresse Commission Européenne classement Pluridemnesionnel Indépendant Transparent Dampleur mondiale CHERPA Contextes Institutions comparables Classements par disciplines

38 B. Bénichoux - 25 juin 201038 Classement de ShanghaiClassement TH-QS 1Harvard (États-Unis) 2Stanford (États-Unis)Cambridge (Royaume-Uni) 3Berkeley (États-Unis)Oxford (Royaume-Uni) 4Cambridge (Royaume-Uni)Yale (États-Unis) 5MIT (États-Unis)Imperial College London (Royaume- Uni) 6California Institute of technology (États-Unis) Princeton (États-Unis) 7Columbia (États-Unis)California Institute of technology (États-Unis) 8Princeton (États-Unis)Chicago (États-Unis) 9 University College London (Royaume- Uni) 10Oxford (Royaume-Uni)MIT (États-Unis) 11Yale (États-Unis)Columbia (États-Unis) 12Cornell (États-Unis)Mc Gill (Canada) 13UCLA (États-Unis)Duke (États-Unis) 14California-San Diego (États-Unis)Pennsylvania (États-Unis) 15Pennsylvania (États-Unis)John Hopkins (États-Unis) 16Washington-Seattle (États-Unis)Australian National (Australie) 17Wisconsin-Madison (États-Unis)Tokyo (Japon) 18California - San Francisco (États- Unis) Hong-Kong (Hong-Kong) 19John Hopkins (États-Unis)Stanford (États-Unis) 20Tokyo (Japon)Carnegie Mellon (États-Unis)

39 B. Bénichoux - 25 juin 201039

40 B. Bénichoux - 25 juin 201040 LES 100 MEILLEURES UNIVERSITÉS MONDIALES D'APRÈS LE CLASSEMENT DE SHANGHAI RÉPARTITION PAR PAYS

41 B. Bénichoux - 25 juin 201041 LES 100 MEILLEURES UNIVERSITÉS MONDIALES D'APRÈS LE CLASSEMENT DU TH-QS RÉPARTITION PAR PAYS

42 B. Bénichoux - 25 juin 201042 Place des établissements français Shanghai Place des établissements français THE-QS 1 Université Pierre et Marie Curie (Paris VI) (39) École Normale Supérieure (Paris) (26) 2 Université Paris XI (52) École Polytechnique (28) 3 École Normale Supérieure (Paris) (83) Université Pierre et Marie Curie (Paris VI) (132) 4 Université L Pasteur (Strasbourg I) (99) École Normale Supérieure (Lyon) (157) 5 Université Paris VII (102-150) Université Louis Pasteur (Strasbourg I) (184) 6 Université Grenoble I (151-202) 7 Université Paris V (151-202) 8 École Polytechnique (203-304) 9 Université Lyon I (203-304) 10 Université Aix-Marseille II (203- 304) 11 Université Montpellier II (203-304) 12 Université Toulouse III (203-304) 13 ÉcoleÉcole Nationale Supérieure des Mines de Paris (305-402) 14 École supérieure de Physique Chimie industrielles (305-402) 15 Université Aix Marseille I (305-402) 16 Université Bordeaux I (305-402) 17 Université Nancy I (305-402) 18 Université Paris IX (305-402) 19 École Normale Supérieure (Lyon) (403-510) 20 Université Bordeaux II (403-510) 21 Université Lille I (403-510) 22 Université Nice (403-510) 23 Université Rennes I (403-510)

43 B. Bénichoux - 25 juin 201043 Place des universités françaises dans les classements de Leiden Classement en fonction du nombre de publications Classement en fonction du nombre de citations par publication 1 Université Paris VI Pierre et Marie Curie (6) 57(*)* Université Paris XI Sud (52) Indicateur = 1,13 2 Université Paris XI Sud (24) Université Grenoble I Joseph Fourier (55) Indicateur = 1,13 3 Université Lyon I Claude Bernard (71) Université Paris V René Descartes (59) Indicateur = 1,12 4 Université Toulouse III (77) Université Paris VI Pierre et Marie Curie (64) Indicateur = 1,09 5 Université Paris VII Denis Diderot (81) Université Paris VII Denis Diderot Indicateur = 1,07 6 Université Paris V René Descartes (84) Université Lyon I Claude Bernard (86) Indicateur = 0,99 7 Université Grenoble I Joseph Fourier (85) Université Toulouse III (87) Indicateur = 0,99

44 B. Bénichoux - 25 juin 201044 Les 10 meilleurs établissements mondiaux classement École des Mines Tokyo Harvard Stanford Waseda (Japon) Séoul HEC Duke univ Univ Oxford Univ Pennsylv ENA

45 B. Bénichoux - 25 juin 201045 COMPARATIVE ANALYSIS: TOP 200

46 B. Bénichoux - 25 juin 201046 COMPARATIVE ANALYSIS: TOP 500

47 B. Bénichoux - 25 juin 201047 Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

48 B. Bénichoux - 25 juin 201048 Bibliométrie Bibliométrie : « Application de méthodes mathématiques et statistiques aux livres et autres moyens de communication » Pritchard (1969) Postulat : la recherche scientifique est la production de connaissance, la littérature scientifique en est la matière constitutive

49 B. Bénichoux - 25 juin 201049 Bibliométrie Résultats Indicateurs Comptage des publications Quantité Comptage des citations Performance Comptage des co-citations Connexion entre les chercheurs ou les domaines de recherche Objectifs Cognitifs Opérationnels

50 B. Bénichoux - 25 juin 201050 Création des indicateurs Création dun corpus danalyse Reformatage Sélection des données Traitements À partir de sources existantes ou non Utilisation des indicateurs existants ou création dindicateurs « home made »

51 B. Bénichoux - 25 juin 201051 Sources Couverture Taille du corpus Identification auteurs et affiliations Erreurs de typographie, longueur des articles, nombre de coauteurs, de références citées…. Définition des disciplines

52 B. Bénichoux - 25 juin 201052 Citations « impact » « reward/rhetorical » Des parasites… auto-citations non cités « over citation » Impact nest pas corrélé avec la qualité, mais avec la visibilité

53 B. Bénichoux - 25 juin 201053 Pourquoi cite-t-on ? Citations négatives Consensus social Prestige Diffusion Conventions de citations Linguistique En quoi tous ces facteurs sont-ils liés à la qualité de larticle ?

54 B. Bénichoux - 25 juin 201054 Soyons prudents ! Illusion de la métrique Erreurs de mesure Manipulation Technique monopolistique Vision partielle

55 B. Bénichoux - 25 juin 201055 Pour beaucoup … « any number beats no number » M. Zitt : « si la scientométrie est un miroir de la science en action, alors la responsabilité des scientométriciens est de polir ce miroir et de prévenir des illusions doptique »

56 B. Bénichoux - 25 juin 201056 Les indicateurs sont souvent misunderstood, misinterpreted, misused Aucun indicateur ne devrait être utilisé seul Les indicateurs doivent être utilisés par des personnes compétentes La réalité est trop complexe pour être mesurée en nombres et statistiques

57 B. Bénichoux - 25 juin 201057 Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

58 B. Bénichoux - 25 juin 201058 Les indicateurs Quantitatifs La revue Le chercheur ou linstitution Qualitatifs En amont peer review En aval commentaires, blogs, récompenses, prix, invitations Nb darticles ou brevets Nb de citations nb cit/article, Article Influence Score H index, m index, g index, Field normalized citation score, Journal normalized citation score,… Facteur dimpact, SJR, Eigen factor score, Y factor, Journal cost-effectiveness, facteurs dusage, SNIP, …

59 B. Bénichoux - 25 juin 201059 Comptage des publications A partir des bases de données bibliographiques et/ou de la structure évaluée Mesure simplifiée et approximative de la production Indicateurs dérivés analyse de la productivité Surtout valable pour des chiffres élevés Brevets Co-publications chercheurs

60 B. Bénichoux - 25 juin 201060 Comptage des citations A partir de certaines bases de données bibliographiques Mesure de limpact Indicateurs dérivés Moyenne de citations/article ou par chercheur Pourcentage de la production mondiale Corrélation avec nombre de déchargements Co-citations Uncitedness chercheurs

61 B. Bénichoux - 25 juin 201061 Comptage de présence Attribution à chaque élément dune part entière Sinterprète en termes de participation Comptage fractionnaire Attribution à chaque élément en fonction de sa participation Sinterprète en termes de contribution

62 B. Bénichoux - 25 juin 201062 Indice h Plus grande valeur de h pour laquelle le chercheur a publié h articles qui ont reçu au moins h citations Allie le comptage des publications et la distribution des citations Dépend de la discipline Créé pour un auteur, mais sera appliqué à un groupe dauteurs ou à une revue chercheurs

63 B. Bénichoux - 25 juin 201063 Indice h Mais Auto-citations Co-publications Obtention données sources exactes est difficile Basé sur le long terme Ne peut diminuer Age de lauteur m-quotient chercheurs

64 B. Bénichoux - 25 juin 201064 … et les autres… Age académique des auteurs v-index (Vaidya 2005) Prise en compte des articles très cités g-index (Egghe, 2005) Co auteurs comptage fractionnaire des citations et des articles hm-index, pure h-index (Schreiber, Chai) Prise en compte du nombre de citations dans le h- core a-index, m-index, R-index Nombre de citations augmente AR-index chercheurs

65 B. Bénichoux - 25 juin 201065 …. Adaptation pour les institutions h1 et h2 (Praathap, 2006) Différenciation des auteurs qui ont le même h e- index (Zhang, 2009) Plus de poids aux articles plus récents contemporary h-index (Sidiropoulos, 2006) En fonction du nombre dauteurs individual h- index chercheurs

66 B. Bénichoux - 25 juin 201066 Les comptages normalisés Comparaisons de limpact reçu par lentité avec la moyenne mondiale relative impact index Journal/Field normalized citation score Crown indicator, CWTS, Leiden Top 5% (CWTS) Nb de publications, de citations, de citations/article, avec ou sans autocitations chercheurs

67 B. Bénichoux - 25 juin 201067 Les indicateurs de Thomson ISI, Garfield Thomson, Reuters Base de données, WOS Nb publications, Nb des citations Tris H index JCR Facteur dimpact Indice immédiateté Demi-vie citée et citante ESI Tri des auteurs, organismes, pays, articles les plus cités

68 B. Bénichoux - 25 juin 201068 02468101214161820 Immediacy Index Window Impact Factor Window50% ofcitations Time after publication (Years ) Citations Cited half-life From : M. Amin, M. Mabe.- Impact Factors : use and abuse

69 B. Bénichoux - 25 juin 201069 Facteur d'impact Indique le nombre moyen de citations auquel un article (publié dans un journal donné) peut prétendre Evaluation de l'importance relative d'un périodique dans un domaine donné =nb de citations (année N) aux articles (N-1 et N-2) nb d'articles (années N-1 et N-2) pour un périodique revues

70 B. Bénichoux - 25 juin 201070 Indice d'immédiateté (R) Même calcul que Facteur dImpact, mais concerne les citations pendant lannée N darticles publiés pendant lannée N (pour un périodique donné) = nb de citations aux articles nb total d'articles dans l'année de la parution Indique la rapidité de citation des articles d'une revue Plus il est élevé, plus la revue est dynamique revues

71 B. Bénichoux - 25 juin 201071 Journal cited half-life (R) Âge médian des articles du journal cités dans lannée en cours = nb d'années nécessaire pour obtenir 50% des citations aux articles du journal N'est pas un élément d'évaluation pour un périodique, mais plutôt de gestion de collection et/ou archivage. Cited journal table : liste des titres qui citent le périodique en question et nombre d'occurrences par année Cited-only journals : dont les références ne sont pas indexées par l'ISI revues

72 B. Bénichoux - 25 juin 201072 Journal citing half life (R) Âge médian des articles cités par le journal = nb d'années nécessaires pour obtenir 50% des citations par ce journal Evaluation de la moyenne d'âge des articles cités par un périodique Citing journal table: liste des titres le plus souvent cités par les articles du journal en question revues

73 B. Bénichoux - 25 juin 201073 Facteur dimpact - Critiques Numérateur/dénominateur Fenêtre temporelle courbes différentes Mais… (maths) Auto-citations Variations disciplines Langue Variation dune année sur lautre En quoi est-ce un indicateur de qualité scientifique ? revues

74 B. Bénichoux - 25 juin 201074 Variantes du Facteur dImpact Influence weight (Pinski, Narin 1976) : les citations dun journal plus influent ont plus de poids Median Impact Factor ( Rousseau, 2004) : fenêtre temporelle est la cited half-life H-type index (Braun, 2005) Article-count impact factor (2008) Eigen factor score and Article influence score (2007) SJR Scimago journal ranking (2008) revues

75 B. Bénichoux - 25 juin 201075 Essential Science Indicators Sur 10 ans du web of science (+ 6 mois) Articles scientifiques, articles de synthèse, proceedings papers, research notes MAJ : 2 à 4 mois 22 domaines de recherche Lien vers Web of Science revues chercheurs

76 B. Bénichoux - 25 juin 201076 ESI - indicateurs Tri des auteurs, organismes, revues, ou pays les plus importants (citation rankings) "most cited papers" Highly cited papers Hot papers Analyse de citations Baselines Research fronts revues chercheurs

77 B. Bénichoux - 25 juin 201077 Seuil dacceptabilité Le nombre de citations/article suit une loi de distribution : Beaucoup darticles sont peu cités Peu darticles sont beaucoup cités Méthode de sélection : Tri décroissant Sélection du « top » : 1% pour les auteurs et les organismes, 50% pour les revues et les pays

78 B. Bénichoux - 25 juin 201078 Dautres producteurs CSIC SJR CWTS SNIP Carl Bergstrom Eigen factor OST

79 B. Bénichoux - 25 juin 201079 SCImago et le SJR Open source, CSIC (Espagne) Indicateurs pour pays et revues Source : Scopus depuis 1996 Indicateurs SJR = Nombre de citations reçues par les articles dune revue/nb total darticles publiés dans lannée + pondération itérative h-index (revue) Documents, cites, references, citable documents, self cites, cited documents, cites per doct ( 2, 3, 4 ans ) Couverture géographique et linguistique plus large Auto-citations restreintes Forte corrélation entre SJR et FI revues

80 B. Bénichoux - 25 juin 201080

81 B. Bénichoux - 25 juin 201081

82 B. Bénichoux - 25 juin 201082

83 B. Bénichoux - 25 juin 201083 Eigen metrics Eigen factor Prend en compte le poids des revues qui citent Autocitations éliminées Sur 5 ans Sciences + sciences sociales Eigen Factor Score Nombre de fois où un article des 5 dernières années de la revue a été cité dans l "année JCR" Article Influence Score Importance relative dune revue sur la base des articles (EFS divisé par les articles publiés dans la revue) revues

84 B. Bénichoux - 25 juin 201084

85 B. Bénichoux - 25 juin 201085

86 B. Bénichoux - 25 juin 201086 Comptages normalisés SNIP = source normalized impact per paper Raw impact per paper (RIP) ÷ Relative Database Citation Potential (RDCP) RIP se calcule comme FI Sur 3 ans Corrige les inégalités dans la couverture de la base Exclut les auto-cit. aux éditoriaux et non-citable docts RDCP Citation potential : moyenne du nb des références citées (1-3ans) par article citant revues

87 B. Bénichoux - 25 juin 201087 SNIP Corrige différence en termes de potentiel de citations entre 2 revues de catégories différentes Prend en compte la couverture de la base de données Les revues dans les domaines peu couverts ne sont pas défavorisées (SHS, Sc appliquées) revues

88 B. Bénichoux - 25 juin 201088

89 B. Bénichoux - 25 juin 201089

90 B. Bénichoux - 25 juin 201090 Comptages normalisés Facteur daudience FI pondéré En proportion inverse du nb moyen de références appartenant à la fenêtre de citation choisie revues

91 B. Bénichoux - 25 juin 201091 LOST, producteur dindicateurs Observatoire des sciences et techniques Conception et production dindicateurs sur la recherche et le développement Base de données sur la recherche internationale Permettre aux acteurs de la recherche de caractériser leur activité scientifique

92 B. Bénichoux - 25 juin 201092 Indicateurs OST Pour une institution, un pays Part de publications, de citations Indice de spécialisation scientifique Indice dimpact relatif Indice dimpact espéré Ratio de citations relatif Indice dactivité par classe de citations Part darticles en co-publication Indicateurs à la demande LOLF IPERU

93 B. Bénichoux - 25 juin 201093 Part de publications scientifiques Source : http://www.obs-ost.fr

94 B. Bénichoux - 25 juin 201094 Source : http://www.obs-ost.fr

95 B. Bénichoux - 25 juin 201095 Source : http://www.obs-ost.fr

96 B. Bénichoux - 25 juin 201096 Indice de spécialisation scque

97 B. Bénichoux - 25 juin 201097

98 B. Bénichoux - 25 juin 201098 Part de citations

99 B. Bénichoux - 25 juin 201099 Indice dimpact relatif

100 B. Bénichoux - 25 juin 2010100 Indice dimpact espéré

101 B. Bénichoux - 25 juin 2010101 Ration de citations relatif

102 B. Bénichoux - 25 juin 2010102 Indice dactivité par classe de citations

103 B. Bénichoux - 25 juin 2010103 Part darticles en co-publication

104 B. Bénichoux - 25 juin 2010104 Facteur dusage des articles Prestige vs. Popularité Les + Disponible rapidement, avant les citations Pas uniquement articles Différents aspects de limpact Recouvrement usage factor/impact factor articles

105 B. Bénichoux - 25 juin 2010105 Facteur dusage des articles Les – Pas beaucoup de recul Pas beaucoup de données Bruit Activité humaine Robots Précautions dans linterprétation

106 B. Bénichoux - 25 juin 2010106

107 B. Bénichoux - 25 juin 2010107

108 B. Bénichoux - 25 juin 2010108 COUNTER UKSG (2002) = Counting Online User NeTworked Electronic Resources SUSHI (Standardized Usage Statistics Harvesting Initiative) usage reports Indicateurs Comptages Usage impact factor Utilisé par Thomson : Journal Use Reports

109 B. Bénichoux - 25 juin 2010109 MESUR Los Alamos Laboratory MEtrics from Scholarly Usage of Resources Modélisation des relations agent- document-contexte Nombreux indicateurs

110 B. Bénichoux - 25 juin 2010110 Indicateurs qualitatifs Evaluation par comité de lecture, a priori = peer reviewing… condition sine qua non Choix des experts Sur dossier ou par entretien Mais … Anonymat favorise désengagement Expertise, efficacité qualitative Logiques de carrière Longueur et coût du processus Rôle de filtre ?

111 B. Bénichoux - 25 juin 2010111 Indicateurs qualitatifs Modèles alternatifs Open peer-review : anonymat des experts levé Critiques argumentées Evaluation par les lecteurs a posteriori = peer commenting Co-existence de deux modèles Autocensure (crédibilité) dans les archives ouvertes Prix Articles/chercheurs

112 B. Bénichoux - 25 juin 2010112 Faculty of 1000 Evalue les articles Biologie et médecine Experts 2 à 4 articles /mois Commentaire + classement typologique + note Controverse (dissent) articles

113 B. Bénichoux - 25 juin 2010113

114 B. Bénichoux - 25 juin 2010114 Processus dévaluation Bibliométrie Indicateurs Quantitatifs Qualitatifs Sources de données WOS Scopus Google scholar Cite Base Normalisation des adresses Classement des universités

115 B. Bénichoux - 25 juin 2010115 Web of Science, Thomson Généralités Vise la qualité (sélection stricte) Cover to cover MAJ hebdomadaire Lien texte intégral Index de recherche auteurs, sources Sauvegarde historique – Alerte requête, citation Brevets Produits dérivés qui calculent les indicateurs : citation report (indice h), dans le WOS JCR (facteur dimpact, indice dimmédiateté), ESI (classement des auteurs, des organismes, des articles)

116 B. Bénichoux - 25 juin 2010116 en positif… Les atouts en tant que base bibliométrique Antériorité Multidisciplinarité Amélioration du traitement du champ auteur Lien auteur/affiliation En entier depuis 1975, prénom depuis 2006 Index Author finder Distinct Author Set Résultats : nb articles, nb citations Cited reference search

117 B. Bénichoux - 25 juin 2010117 Tris (« analyze » ou « refine results ») Auteur Type de document Institution Langue Année publication Titre revue Citation Report Nb total de citations Nb citations/an Nb moyen de citation/article H-index Sans les auto-citations

118 B. Bénichoux - 25 juin 2010118

119 B. Bénichoux - 25 juin 2010119

120 B. Bénichoux - 25 juin 2010120

121 B. Bénichoux - 25 juin 2010121 Prénom en entier Lien auteur- affiliation

122 B. Bénichoux - 25 juin 2010122

123 B. Bénichoux - 25 juin 2010123

124 B. Bénichoux - 25 juin 2010124

125 B. Bénichoux - 25 juin 2010125 graphe publications/an graphe citations/an Nb total de citations H-index Nb moyen de citations/ article possibilité de retirer des articles Auto-citations

126 B. Bénichoux - 25 juin 2010126 et en négatif… Coût élevé Couverture anglophone, anglo-saxonne Homogénéisation du champ adresse par les américains DT Pas (ou peu) darchives ouvertes PLoS Keywords + bruit Noms dauteurs Difficile de trouver toutes les explications

127 B. Bénichoux - 25 juin 2010127 Scopus, Elsevier Généralités Vise lexhaustivité Couverture géographique variée Ressources alternatives, articles sous presse Couplage avec Scirus Brevets Indexation manuelle avec thesauri, traitement affiliations MAJ quotidienne Lien texte intégral Sauvegarde – Alerte (requête, citation art./auteur)

128 B. Bénichoux - 25 juin 2010128 Scopus, couverture géographique

129 B. Bénichoux - 25 juin 2010129 Scopus Les + Multidisciplinarité Traitement des noms dauteur et fiche auteur Nombre de champs de recherche Résultats : nb articles, nb citations Analyse des résultats Indicateurs : Indice h et h graph dans citation tracker Journal Analyzer : nb documents, nb citations, SNIP, SJR, % articles non cités pour une revue ou comparaison

130 B. Bénichoux - 25 juin 2010130 Différentes formulations du nom

131 B. Bénichoux - 25 juin 2010131 Fiche auteur

132 B. Bénichoux - 25 juin 2010132 Différentes formulations de ladresse

133 B. Bénichoux - 25 juin 2010133

134 B. Bénichoux - 25 juin 2010134 Citation tracker

135 B. Bénichoux - 25 juin 2010135

136 B. Bénichoux - 25 juin 2010136

137 B. Bénichoux - 25 juin 2010137 journal

138 B. Bénichoux - 25 juin 2010138 NEW

139 B. Bénichoux - 25 juin 2010139 Scopus Les – Faible antériorité pour lanalyse des citations (1996) h index calculé avec données limitées Coût élevé

140 B. Bénichoux - 25 juin 2010140 Quelques différences WOS Funding information Cited reference search EndNoteWeb Index recherche auteurs et revues Analyze limité à 100 000 Citation report pour moins de 10 000 SCOPUS Citation tracker par tranches de 5 000 Recherche dans « all fields », et nombreux champs Tris affichés demblée dans résultats Troncature automatique

141 B. Bénichoux - 25 juin 2010141 Google Scholar Les + Gratuit Couverture : éditeurs scientifiques, sociétés savantes, serveurs universitaires, bases de données Type de document : articles scientifiques, thèses, rapports, livres, preprints, catalogues Multidisciplinaire Langue Recherche par domaine sur version anglaise Résultats : nb articles, nb citations (cited by) Doublons, mais regroupés

142 B. Bénichoux - 25 juin 2010142 Google Scholar Les – Base non contrôlée, donc non reproductible, mise à jour Indexation en texte intégral Comptage des citations imprécis, doublons Contenu varie en permanence, couverture inconnue MAJ : fréquence inconnue, tous les 3 mois ? Mauvaises performances avant 1990 Aucun traitement manuel Fonctionnalités limitées

143 B. Bénichoux - 25 juin 2010143

144 B. Bénichoux - 25 juin 2010144 Publish or Perish / Harzing Les + Gratuité, logiciel à décharger Nombreux indicateurs dont h index, g index Avantages de Google Scholar Présentation Les - Les inconvénients de Google Scholar Recherche par auteur

145 B. Bénichoux - 25 juin 2010145

146 B. Bénichoux - 25 juin 2010146 Whitesides, GM 1996-2010 HarzingScopusWoS Nb articles 8061047643 Nb citations 401538399148039 Citations/ articles 49.8280.2274.71 H index97140109

147 B. Bénichoux - 25 juin 2010147 Cite Base Les + Littérature scientifique libre (archives OAI-PMH) Couverture : physique, maths, sc information et biomédecine Index les références bibliogr, les métadonnées Indicateurs : nb citations des articles, des auteurs, nb déchargements des articles, des auteurs, cocitations Lien vers le texte intégral Les – Base expérimentale Look de linterface

148 B. Bénichoux - 25 juin 2010148 autres CiteSeerx Archives institutionnelles Bases spécifiques SHS ERIH AERES JournalBase Certaines bases thématiques introduisent les références bibliographiques Chemical abstracts Mathsci Net BioMed Central E-LIS …

149 B. Bénichoux - 25 juin 2010149 Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

150 B. Bénichoux - 25 juin 2010150 Prévenir les chercheurs/auteurs ! Quadvient-il de leur « manuscrit » ? Editeur Producteur base de données Producteur indicateurs

151 B. Bénichoux - 25 juin 2010151 Traitement par Thomson Hiérarchie descendante Inversion de lordre « And » deux lignes Normalisation Lien auteur-affiliation Une seule main organization par ligne Recherche information dans toute la ligne … mais uniquement OG dans ESI Multi affiliations mono-ligne ou multi lignes

152 B. Bénichoux - 25 juin 2010152 Exemple hiérarchie Affiliation dun auteur Unité de physiologie animale, INRA, F-35000 Rennes OU INRA, Unité de physiologie animale, F-35000 Rennes Sera retranscrite dans le WOS, selon un modèle hiérarchique descendant : [main organization]=INRA [sub organization]=unité de physiologie animale

153 B. Bénichoux - 25 juin 2010153 Problème de repérage de main organization Author(s): Valton, S. Peyrin, F. Delpierre, P. Debarbieux, F. Bonissent, A. Khoury, R. Meessen, C. Morel, C., Sappey- Marinier, D. Addresses: Sappey-Marinier D (reprint author), CREATIS, CNRS, UMR 5515, F-69621 Villeurbanne, France CREATIS, CNRS, UMR 5515, F-69621 Villeurbanne, France CREATIS, INSERM, U630, F-69621 Villeurbanne, France Inst Natl Sci Appl, CREATIS, F-69621 Villeurbanne, France Univ Lyon 1, CREATIS, F-69677 Bron, France Univ Mediterranee Aix Marseille 2, CPPM, CNRS, INP3, UMR 6550, F-13288 Marseille, France

154 B. Bénichoux - 25 juin 2010154

155 B. Bénichoux - 25 juin 2010155 Problème de repérage Author(s): Valton, S. Peyrin, F. Delpierre, P. Debarbieux, F. Bonissent, A. Khoury, R. Meessen, C. Morel, C., Sappey- Marinier, D. Addresses: Sappey-Marinier D (reprint author), CREATIS, CNRS, UMR 5515, F-69621 Villeurbanne, France CREATIS, CNRS, UMR 5515, F-69621 Villeurbanne, France CREATIS, INSERM, U630, F-69621 Villeurbanne, France Inst Natl Sci Appl, CREATIS, F-69621 Villeurbanne, France Univ Lyon 1, CREATIS, F-69677 Bron, France Univ Mediterranee Aix Marseille 2, CPPM, CNRS, INP3, UMR 6550, F-13288 Marseille, France

156 B. Bénichoux - 25 juin 2010156 Multi-affiliations Laboratoires mixtes Tutelles sur la même ligne = monoligne Adresse scindée en plusieurs lignes = multiligne

157 B. Bénichoux - 25 juin 2010157 Multi-affiliations Conséquences Avantages multi ligne : rétablit mauvaise prise en compte multi affiliations dans WoS toutes les tutelles dune UMR sont identifiées Inconvénients multi ligne : modifie calcul de certains indicateurs empêche didentifier tutelles dune unité et collaboration

158 B. Bénichoux - 25 juin 2010158 Modèle multi ligne …

159 B. Bénichoux - 25 juin 2010159 … dans le WoS

160 B. Bénichoux - 25 juin 2010160 Modèle mono ligne…

161 B. Bénichoux - 25 juin 2010161 … dans le WoS

162 B. Bénichoux - 25 juin 2010162 Conséquences Perte de visibilité des organismes français Pertinence du calcul des indicateurs Exhaustivité didentification Choix du type de comptage

163 B. Bénichoux - 25 juin 2010163 Recommandations / propositions? Appellation unique Hiérarchie ascendante/descendante Monoligne/multiligne Monoligne : univ Marne la Vallée Multiligne : INSERM, CNRS Adresse Détaillée pour auteur référent (IRD, université, INSERM) Sans cedex Unicité acronyme unité (IRD) Unités mixtes Structures pérennes et stables Ponctuation Sans trait dunion : « Université Paris Descartes »

164 B. Bénichoux - 25 juin 2010164 Normadresses OST, fin 2006 Améliorer libellé des adresses françaises dans WoS Normalisation des adresses Information sur les modes de calcul des producteurs Trois propositions Normalisation adresses, forme descendante Listes dautorité Laboratoires multi-affiliés

165 B. Bénichoux - 25 juin 2010165 Merci …. brigitte.benichoux@inist.fr


Télécharger ppt "Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010."

Présentations similaires


Annonces Google