La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010.

Présentations similaires


Présentation au sujet: "Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010."— Transcription de la présentation:

1 Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

2 B. Bénichoux - 25 juin Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

3 B. Bénichoux - 25 juin Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

4 B. Bénichoux - 25 juin Vous avez dit « évaluation » ? Pour quoi ? Validation du travail scientifique Place de la recherche française Rôle des universités Par qui, pour qui ? LOLF, lAERES Les organismes de recherche, les universités Le grand public

5 B. Bénichoux - 25 juin De quoi ? Des chercheurs, Des publications, Des établissements Comment ? Les experts Les indicateurs bibliométriques

6 B. Bénichoux - 25 juin La LOLF Loi Organique relative aux Lois de Finances Nouveau cadre de gestion de ladministration Janvier 2006 Introduction dobjectifs et dindicateurs de performance

7 B. Bénichoux - 25 juin 20107

8 8 LAERES Evaluation des établissements denseignement supérieur et des organismes de recherche « … sur la base de critères objectifs » Établissements Activités de recherche Formations Procédures dévaluation

9 B. Bénichoux - 25 juin LAERES Experts 4 niveaux de notation… … sur 4 critères Qualité scientifique Rayonnement Stratégie, vie du laboratoire Appréciation du projet Et une note globale Chercheurs et enseignants-chercheurs Nombre de publications Autres indicateurs Pertinence recherches, Qualité des résultats Impact international, Prise de risque Qualité et quantité des publications Thèses encadrées Logiciels, brevets Diffusion de la connaissance, Obtention de contrats Notoriété, attractivité du laboratoire Relations internationales, Invitations, Prix ou distinctions, Contrats nationaux, Organisation de congrès, Comités éditoriaux, Instances dévaluation, Post-doctorants. Vitalité de lunité, Animation scintifique Incitation aux échanges Politique recrutement ouverte, Enseignement supérieur, Insertion dans lenvironnement. Cohérence, Potentiel humain, Affectation de moyens, Politique prévisionnelle

10 B. Bénichoux - 25 juin Organismes de recherche Décret de 1983 Instances Principe de collégialité Disciplinaire Organisation Rythme biennal ou quadriennal

11 B. Bénichoux - 25 juin Documents demandés Chercheurs du CNRS : compte-rendu annuel dactivités rapport dactivité détaillé tous les deux ans objectifs de recherche, tous les 4 ans mise à jour de la liste des publications tous les deux ans Au niveau collectif : Informations administratives Informations scientifiques

12 B. Bénichoux - 25 juin Critères Activité scientifique Objectifs et intérêt du projet Rayonnement Diversité Activités danimation et de valorisation Direction de recherches Enseignement Production scientifique indicateurs bibliométriques et autres Collectif Idem + organisation interne

13 B. Bénichoux - 25 juin Conséquences Pour le chercheur Recommandations écrites Primes Promotion Pour le collectif Recommandations … … si évaluation négative diminution des moyens, non renouvellement, fusion

14 B. Bénichoux - 25 juin En général … Activités de recherche : Résultats, collaborations, publications (nb, qualité, impact), innovation des thèmes et procédures de recherche Activités de valorisation : brevets, contrats Activités de gestion : animation déquipe, direction de projets, réponses à appels doffre Diffusion de la culture scientifique : Enseignement, direction thèses, expertises Mobilité thématique et géographique

15 B. Bénichoux - 25 juin Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

16 B. Bénichoux - 25 juin Qualité de lenseignement supérieur Un mouvement international… Processus de Bologne UNESCO, OCDE, Banque Mondiale Guide de bonnes pratiques, Lignes directrices… … avec des répercussions nationales

17 B. Bénichoux - 25 juin Une multitude de classements Classements internationaux Shanghaï THES (Times Higher Education Supplement) Les autres Généraux : Newsweek, Ecole des Mines de Paris Par discipline : Shanghaï, THE, management Objets particuliers : webometrics Classements régionaux CHE (Allemagne), CWTS (Leiden) Classement européen Classements nationaux US News and World Report Macleans (Canada), La Repubblic (Italie), Excelencia (Spain)…

18 B. Bénichoux - 25 juin Shanghaï 2003, Thomson Critères Anciens étudiants ayant reçu un prix Nobel ou la médaille Fields 10% Membre de léquipe universitaire ayant reçu… 20% Nombre de chercheurs parmi les plus cités 20% Articles publiés dans Nature ou Sciences 20% Articles indexés dans WoS 20% Résultats rapportés à la taille de linstitution 10%

19 B. Bénichoux - 25 juin

20 B. Bénichoux - 25 juin ° : Harvard 2° : Stanford 3° : Berkeley 4° : Cambridge, UK 5° : MIT 40° : Paris 6 P.et M. Curie

21 B. Bénichoux - 25 juin Shanghaï - critiques Hétérogénéité des indicateurs Périodes différentes SHS nont pas le critère N&S Biais des données de base : affiliations, langue, couverture, DT Nobel Critères redondants Parution annuelle

22 B. Bénichoux - 25 juin THES-QS Depuis 2004, Times Higher Education Suppl., Quacquarelli Symonds Grand public. Comparaison internationale des universités mobilité des étudiants Indicateurs Qualité de la recherche : peer review 40%, nombre de citations 20% Qualité de lenseignement : ratio étudiants/enseignants (20%), recrutement 10% Ouverture internationale : enseignants (5%) et étudiants (5%) étrangers

23 B. Bénichoux - 25 juin

24 B. Bénichoux - 25 juin ° : Ecole Nationale Supérieure 1° : Harvard, US 2° : Cambridge, UK 3° : Yale, US 4° : Univ College London 5° : Imperial College London

25 B. Bénichoux - 25 juin THES - critiques Collecte des données Prédominance de la langue anglaise Universités mondiales… sauf pays en développement ! Améliorations constantes Normalisation des scores WOS Scopus (couverture plus large…)

26 B. Bénichoux - 25 juin Paris Tech - Mines Classement professionnel Anciens étudiants qui occupent poste n°1 dans une des 500 plus grandes entreprises internationales

27 B. Bénichoux - 25 juin ° : Tokyo 2° : Harvard 3° : Stanford 4° : Waseda, Japon 5° : Séoul

28 B. Bénichoux - 25 juin Webometrics Mesure de lactivité scientifique sur le web visibilité Soutient lopen access, les PVD Classe 4000 universités et 1000 organismes de recherche Public visé : autorités universitaires, membres décideurs Résultats : Bons pour les établissements de recherche Moins bons pour les universités

29 B. Bénichoux - 25 juin Webometrics, critères « World Ranking » S (size) : nombre de pages 20% V (visibility) : liens entrants 50% R (rich files) : diversité des formats de fichiers 15% Sc (Scholar) : référencement GS 15%

30 B. Bénichoux - 25 juin

31 B. Bénichoux - 25 juin ° : MIT 2° : Harvard 3° : Stanford 4° : Berkeley 5° : Cornell 129° : Université Paris 6 Pierre et Marie Curie

32 B. Bénichoux - 25 juin Leiden rankings 1000 universités européennes qui ont plus de 700 publications/an dans le WOS Indicateurs du CWTS Résultats différents en fonction des critères

33 B. Bénichoux - 25 juin Universités européennes

34 B. Bénichoux - 25 juin Et il y en a dautres… SCImago institutions rankings The Carnegie classification of institutions of higher education, Stanford Performance ranking of scientific papers for world universities, Taïwan US News and World reports Echelle de Vincennes Classement par dominance ….

35 B. Bénichoux - 25 juin SCImago institutions rankings

36 B. Bénichoux - 25 juin

37 B. Bénichoux - 25 juin On y pense…. Valérie Pécresse Commission Européenne classement Pluridemnesionnel Indépendant Transparent Dampleur mondiale CHERPA Contextes Institutions comparables Classements par disciplines

38 B. Bénichoux - 25 juin Classement de ShanghaiClassement TH-QS 1Harvard (États-Unis) 2Stanford (États-Unis)Cambridge (Royaume-Uni) 3Berkeley (États-Unis)Oxford (Royaume-Uni) 4Cambridge (Royaume-Uni)Yale (États-Unis) 5MIT (États-Unis)Imperial College London (Royaume- Uni) 6California Institute of technology (États-Unis) Princeton (États-Unis) 7Columbia (États-Unis)California Institute of technology (États-Unis) 8Princeton (États-Unis)Chicago (États-Unis) 9 University College London (Royaume- Uni) 10Oxford (Royaume-Uni)MIT (États-Unis) 11Yale (États-Unis)Columbia (États-Unis) 12Cornell (États-Unis)Mc Gill (Canada) 13UCLA (États-Unis)Duke (États-Unis) 14California-San Diego (États-Unis)Pennsylvania (États-Unis) 15Pennsylvania (États-Unis)John Hopkins (États-Unis) 16Washington-Seattle (États-Unis)Australian National (Australie) 17Wisconsin-Madison (États-Unis)Tokyo (Japon) 18California - San Francisco (États- Unis) Hong-Kong (Hong-Kong) 19John Hopkins (États-Unis)Stanford (États-Unis) 20Tokyo (Japon)Carnegie Mellon (États-Unis)

39 B. Bénichoux - 25 juin

40 B. Bénichoux - 25 juin LES 100 MEILLEURES UNIVERSITÉS MONDIALES D'APRÈS LE CLASSEMENT DE SHANGHAI RÉPARTITION PAR PAYS

41 B. Bénichoux - 25 juin LES 100 MEILLEURES UNIVERSITÉS MONDIALES D'APRÈS LE CLASSEMENT DU TH-QS RÉPARTITION PAR PAYS

42 B. Bénichoux - 25 juin Place des établissements français Shanghai Place des établissements français THE-QS 1 Université Pierre et Marie Curie (Paris VI) (39) École Normale Supérieure (Paris) (26) 2 Université Paris XI (52) École Polytechnique (28) 3 École Normale Supérieure (Paris) (83) Université Pierre et Marie Curie (Paris VI) (132) 4 Université L Pasteur (Strasbourg I) (99) École Normale Supérieure (Lyon) (157) 5 Université Paris VII ( ) Université Louis Pasteur (Strasbourg I) (184) 6 Université Grenoble I ( ) 7 Université Paris V ( ) 8 École Polytechnique ( ) 9 Université Lyon I ( ) 10 Université Aix-Marseille II ( ) 11 Université Montpellier II ( ) 12 Université Toulouse III ( ) 13 ÉcoleÉcole Nationale Supérieure des Mines de Paris ( ) 14 École supérieure de Physique Chimie industrielles ( ) 15 Université Aix Marseille I ( ) 16 Université Bordeaux I ( ) 17 Université Nancy I ( ) 18 Université Paris IX ( ) 19 École Normale Supérieure (Lyon) ( ) 20 Université Bordeaux II ( ) 21 Université Lille I ( ) 22 Université Nice ( ) 23 Université Rennes I ( )

43 B. Bénichoux - 25 juin Place des universités françaises dans les classements de Leiden Classement en fonction du nombre de publications Classement en fonction du nombre de citations par publication 1 Université Paris VI Pierre et Marie Curie (6) 57(*)* Université Paris XI Sud (52) Indicateur = 1,13 2 Université Paris XI Sud (24) Université Grenoble I Joseph Fourier (55) Indicateur = 1,13 3 Université Lyon I Claude Bernard (71) Université Paris V René Descartes (59) Indicateur = 1,12 4 Université Toulouse III (77) Université Paris VI Pierre et Marie Curie (64) Indicateur = 1,09 5 Université Paris VII Denis Diderot (81) Université Paris VII Denis Diderot Indicateur = 1,07 6 Université Paris V René Descartes (84) Université Lyon I Claude Bernard (86) Indicateur = 0,99 7 Université Grenoble I Joseph Fourier (85) Université Toulouse III (87) Indicateur = 0,99

44 B. Bénichoux - 25 juin Les 10 meilleurs établissements mondiaux classement École des Mines Tokyo Harvard Stanford Waseda (Japon) Séoul HEC Duke univ Univ Oxford Univ Pennsylv ENA

45 B. Bénichoux - 25 juin COMPARATIVE ANALYSIS: TOP 200

46 B. Bénichoux - 25 juin COMPARATIVE ANALYSIS: TOP 500

47 B. Bénichoux - 25 juin Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

48 B. Bénichoux - 25 juin Bibliométrie Bibliométrie : « Application de méthodes mathématiques et statistiques aux livres et autres moyens de communication » Pritchard (1969) Postulat : la recherche scientifique est la production de connaissance, la littérature scientifique en est la matière constitutive

49 B. Bénichoux - 25 juin Bibliométrie Résultats Indicateurs Comptage des publications Quantité Comptage des citations Performance Comptage des co-citations Connexion entre les chercheurs ou les domaines de recherche Objectifs Cognitifs Opérationnels

50 B. Bénichoux - 25 juin Création des indicateurs Création dun corpus danalyse Reformatage Sélection des données Traitements À partir de sources existantes ou non Utilisation des indicateurs existants ou création dindicateurs « home made »

51 B. Bénichoux - 25 juin Sources Couverture Taille du corpus Identification auteurs et affiliations Erreurs de typographie, longueur des articles, nombre de coauteurs, de références citées…. Définition des disciplines

52 B. Bénichoux - 25 juin Citations « impact » « reward/rhetorical » Des parasites… auto-citations non cités « over citation » Impact nest pas corrélé avec la qualité, mais avec la visibilité

53 B. Bénichoux - 25 juin Pourquoi cite-t-on ? Citations négatives Consensus social Prestige Diffusion Conventions de citations Linguistique En quoi tous ces facteurs sont-ils liés à la qualité de larticle ?

54 B. Bénichoux - 25 juin Soyons prudents ! Illusion de la métrique Erreurs de mesure Manipulation Technique monopolistique Vision partielle

55 B. Bénichoux - 25 juin Pour beaucoup … « any number beats no number » M. Zitt : « si la scientométrie est un miroir de la science en action, alors la responsabilité des scientométriciens est de polir ce miroir et de prévenir des illusions doptique »

56 B. Bénichoux - 25 juin Les indicateurs sont souvent misunderstood, misinterpreted, misused Aucun indicateur ne devrait être utilisé seul Les indicateurs doivent être utilisés par des personnes compétentes La réalité est trop complexe pour être mesurée en nombres et statistiques

57 B. Bénichoux - 25 juin Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

58 B. Bénichoux - 25 juin Les indicateurs Quantitatifs La revue Le chercheur ou linstitution Qualitatifs En amont peer review En aval commentaires, blogs, récompenses, prix, invitations Nb darticles ou brevets Nb de citations nb cit/article, Article Influence Score H index, m index, g index, Field normalized citation score, Journal normalized citation score,… Facteur dimpact, SJR, Eigen factor score, Y factor, Journal cost-effectiveness, facteurs dusage, SNIP, …

59 B. Bénichoux - 25 juin Comptage des publications A partir des bases de données bibliographiques et/ou de la structure évaluée Mesure simplifiée et approximative de la production Indicateurs dérivés analyse de la productivité Surtout valable pour des chiffres élevés Brevets Co-publications chercheurs

60 B. Bénichoux - 25 juin Comptage des citations A partir de certaines bases de données bibliographiques Mesure de limpact Indicateurs dérivés Moyenne de citations/article ou par chercheur Pourcentage de la production mondiale Corrélation avec nombre de déchargements Co-citations Uncitedness chercheurs

61 B. Bénichoux - 25 juin Comptage de présence Attribution à chaque élément dune part entière Sinterprète en termes de participation Comptage fractionnaire Attribution à chaque élément en fonction de sa participation Sinterprète en termes de contribution

62 B. Bénichoux - 25 juin Indice h Plus grande valeur de h pour laquelle le chercheur a publié h articles qui ont reçu au moins h citations Allie le comptage des publications et la distribution des citations Dépend de la discipline Créé pour un auteur, mais sera appliqué à un groupe dauteurs ou à une revue chercheurs

63 B. Bénichoux - 25 juin Indice h Mais Auto-citations Co-publications Obtention données sources exactes est difficile Basé sur le long terme Ne peut diminuer Age de lauteur m-quotient chercheurs

64 B. Bénichoux - 25 juin … et les autres… Age académique des auteurs v-index (Vaidya 2005) Prise en compte des articles très cités g-index (Egghe, 2005) Co auteurs comptage fractionnaire des citations et des articles hm-index, pure h-index (Schreiber, Chai) Prise en compte du nombre de citations dans le h- core a-index, m-index, R-index Nombre de citations augmente AR-index chercheurs

65 B. Bénichoux - 25 juin …. Adaptation pour les institutions h1 et h2 (Praathap, 2006) Différenciation des auteurs qui ont le même h e- index (Zhang, 2009) Plus de poids aux articles plus récents contemporary h-index (Sidiropoulos, 2006) En fonction du nombre dauteurs individual h- index chercheurs

66 B. Bénichoux - 25 juin Les comptages normalisés Comparaisons de limpact reçu par lentité avec la moyenne mondiale relative impact index Journal/Field normalized citation score Crown indicator, CWTS, Leiden Top 5% (CWTS) Nb de publications, de citations, de citations/article, avec ou sans autocitations chercheurs

67 B. Bénichoux - 25 juin Les indicateurs de Thomson ISI, Garfield Thomson, Reuters Base de données, WOS Nb publications, Nb des citations Tris H index JCR Facteur dimpact Indice immédiateté Demi-vie citée et citante ESI Tri des auteurs, organismes, pays, articles les plus cités

68 B. Bénichoux - 25 juin Immediacy Index Window Impact Factor Window50% ofcitations Time after publication (Years ) Citations Cited half-life From : M. Amin, M. Mabe.- Impact Factors : use and abuse

69 B. Bénichoux - 25 juin Facteur d'impact Indique le nombre moyen de citations auquel un article (publié dans un journal donné) peut prétendre Evaluation de l'importance relative d'un périodique dans un domaine donné =nb de citations (année N) aux articles (N-1 et N-2) nb d'articles (années N-1 et N-2) pour un périodique revues

70 B. Bénichoux - 25 juin Indice d'immédiateté (R) Même calcul que Facteur dImpact, mais concerne les citations pendant lannée N darticles publiés pendant lannée N (pour un périodique donné) = nb de citations aux articles nb total d'articles dans l'année de la parution Indique la rapidité de citation des articles d'une revue Plus il est élevé, plus la revue est dynamique revues

71 B. Bénichoux - 25 juin Journal cited half-life (R) Âge médian des articles du journal cités dans lannée en cours = nb d'années nécessaire pour obtenir 50% des citations aux articles du journal N'est pas un élément d'évaluation pour un périodique, mais plutôt de gestion de collection et/ou archivage. Cited journal table : liste des titres qui citent le périodique en question et nombre d'occurrences par année Cited-only journals : dont les références ne sont pas indexées par l'ISI revues

72 B. Bénichoux - 25 juin Journal citing half life (R) Âge médian des articles cités par le journal = nb d'années nécessaires pour obtenir 50% des citations par ce journal Evaluation de la moyenne d'âge des articles cités par un périodique Citing journal table: liste des titres le plus souvent cités par les articles du journal en question revues

73 B. Bénichoux - 25 juin Facteur dimpact - Critiques Numérateur/dénominateur Fenêtre temporelle courbes différentes Mais… (maths) Auto-citations Variations disciplines Langue Variation dune année sur lautre En quoi est-ce un indicateur de qualité scientifique ? revues

74 B. Bénichoux - 25 juin Variantes du Facteur dImpact Influence weight (Pinski, Narin 1976) : les citations dun journal plus influent ont plus de poids Median Impact Factor ( Rousseau, 2004) : fenêtre temporelle est la cited half-life H-type index (Braun, 2005) Article-count impact factor (2008) Eigen factor score and Article influence score (2007) SJR Scimago journal ranking (2008) revues

75 B. Bénichoux - 25 juin Essential Science Indicators Sur 10 ans du web of science (+ 6 mois) Articles scientifiques, articles de synthèse, proceedings papers, research notes MAJ : 2 à 4 mois 22 domaines de recherche Lien vers Web of Science revues chercheurs

76 B. Bénichoux - 25 juin ESI - indicateurs Tri des auteurs, organismes, revues, ou pays les plus importants (citation rankings) "most cited papers" Highly cited papers Hot papers Analyse de citations Baselines Research fronts revues chercheurs

77 B. Bénichoux - 25 juin Seuil dacceptabilité Le nombre de citations/article suit une loi de distribution : Beaucoup darticles sont peu cités Peu darticles sont beaucoup cités Méthode de sélection : Tri décroissant Sélection du « top » : 1% pour les auteurs et les organismes, 50% pour les revues et les pays

78 B. Bénichoux - 25 juin Dautres producteurs CSIC SJR CWTS SNIP Carl Bergstrom Eigen factor OST

79 B. Bénichoux - 25 juin SCImago et le SJR Open source, CSIC (Espagne) Indicateurs pour pays et revues Source : Scopus depuis 1996 Indicateurs SJR = Nombre de citations reçues par les articles dune revue/nb total darticles publiés dans lannée + pondération itérative h-index (revue) Documents, cites, references, citable documents, self cites, cited documents, cites per doct ( 2, 3, 4 ans ) Couverture géographique et linguistique plus large Auto-citations restreintes Forte corrélation entre SJR et FI revues

80 B. Bénichoux - 25 juin

81 B. Bénichoux - 25 juin

82 B. Bénichoux - 25 juin

83 B. Bénichoux - 25 juin Eigen metrics Eigen factor Prend en compte le poids des revues qui citent Autocitations éliminées Sur 5 ans Sciences + sciences sociales Eigen Factor Score Nombre de fois où un article des 5 dernières années de la revue a été cité dans l "année JCR" Article Influence Score Importance relative dune revue sur la base des articles (EFS divisé par les articles publiés dans la revue) revues

84 B. Bénichoux - 25 juin

85 B. Bénichoux - 25 juin

86 B. Bénichoux - 25 juin Comptages normalisés SNIP = source normalized impact per paper Raw impact per paper (RIP) ÷ Relative Database Citation Potential (RDCP) RIP se calcule comme FI Sur 3 ans Corrige les inégalités dans la couverture de la base Exclut les auto-cit. aux éditoriaux et non-citable docts RDCP Citation potential : moyenne du nb des références citées (1-3ans) par article citant revues

87 B. Bénichoux - 25 juin SNIP Corrige différence en termes de potentiel de citations entre 2 revues de catégories différentes Prend en compte la couverture de la base de données Les revues dans les domaines peu couverts ne sont pas défavorisées (SHS, Sc appliquées) revues

88 B. Bénichoux - 25 juin

89 B. Bénichoux - 25 juin

90 B. Bénichoux - 25 juin Comptages normalisés Facteur daudience FI pondéré En proportion inverse du nb moyen de références appartenant à la fenêtre de citation choisie revues

91 B. Bénichoux - 25 juin LOST, producteur dindicateurs Observatoire des sciences et techniques Conception et production dindicateurs sur la recherche et le développement Base de données sur la recherche internationale Permettre aux acteurs de la recherche de caractériser leur activité scientifique

92 B. Bénichoux - 25 juin Indicateurs OST Pour une institution, un pays Part de publications, de citations Indice de spécialisation scientifique Indice dimpact relatif Indice dimpact espéré Ratio de citations relatif Indice dactivité par classe de citations Part darticles en co-publication Indicateurs à la demande LOLF IPERU

93 B. Bénichoux - 25 juin Part de publications scientifiques Source :

94 B. Bénichoux - 25 juin Source :

95 B. Bénichoux - 25 juin Source :

96 B. Bénichoux - 25 juin Indice de spécialisation scque

97 B. Bénichoux - 25 juin

98 B. Bénichoux - 25 juin Part de citations

99 B. Bénichoux - 25 juin Indice dimpact relatif

100 B. Bénichoux - 25 juin Indice dimpact espéré

101 B. Bénichoux - 25 juin Ration de citations relatif

102 B. Bénichoux - 25 juin Indice dactivité par classe de citations

103 B. Bénichoux - 25 juin Part darticles en co-publication

104 B. Bénichoux - 25 juin Facteur dusage des articles Prestige vs. Popularité Les + Disponible rapidement, avant les citations Pas uniquement articles Différents aspects de limpact Recouvrement usage factor/impact factor articles

105 B. Bénichoux - 25 juin Facteur dusage des articles Les – Pas beaucoup de recul Pas beaucoup de données Bruit Activité humaine Robots Précautions dans linterprétation

106 B. Bénichoux - 25 juin

107 B. Bénichoux - 25 juin

108 B. Bénichoux - 25 juin COUNTER UKSG (2002) = Counting Online User NeTworked Electronic Resources SUSHI (Standardized Usage Statistics Harvesting Initiative) usage reports Indicateurs Comptages Usage impact factor Utilisé par Thomson : Journal Use Reports

109 B. Bénichoux - 25 juin MESUR Los Alamos Laboratory MEtrics from Scholarly Usage of Resources Modélisation des relations agent- document-contexte Nombreux indicateurs

110 B. Bénichoux - 25 juin Indicateurs qualitatifs Evaluation par comité de lecture, a priori = peer reviewing… condition sine qua non Choix des experts Sur dossier ou par entretien Mais … Anonymat favorise désengagement Expertise, efficacité qualitative Logiques de carrière Longueur et coût du processus Rôle de filtre ?

111 B. Bénichoux - 25 juin Indicateurs qualitatifs Modèles alternatifs Open peer-review : anonymat des experts levé Critiques argumentées Evaluation par les lecteurs a posteriori = peer commenting Co-existence de deux modèles Autocensure (crédibilité) dans les archives ouvertes Prix Articles/chercheurs

112 B. Bénichoux - 25 juin Faculty of 1000 Evalue les articles Biologie et médecine Experts 2 à 4 articles /mois Commentaire + classement typologique + note Controverse (dissent) articles

113 B. Bénichoux - 25 juin

114 B. Bénichoux - 25 juin Processus dévaluation Bibliométrie Indicateurs Quantitatifs Qualitatifs Sources de données WOS Scopus Google scholar Cite Base Normalisation des adresses Classement des universités

115 B. Bénichoux - 25 juin Web of Science, Thomson Généralités Vise la qualité (sélection stricte) Cover to cover MAJ hebdomadaire Lien texte intégral Index de recherche auteurs, sources Sauvegarde historique – Alerte requête, citation Brevets Produits dérivés qui calculent les indicateurs : citation report (indice h), dans le WOS JCR (facteur dimpact, indice dimmédiateté), ESI (classement des auteurs, des organismes, des articles)

116 B. Bénichoux - 25 juin en positif… Les atouts en tant que base bibliométrique Antériorité Multidisciplinarité Amélioration du traitement du champ auteur Lien auteur/affiliation En entier depuis 1975, prénom depuis 2006 Index Author finder Distinct Author Set Résultats : nb articles, nb citations Cited reference search

117 B. Bénichoux - 25 juin Tris (« analyze » ou « refine results ») Auteur Type de document Institution Langue Année publication Titre revue Citation Report Nb total de citations Nb citations/an Nb moyen de citation/article H-index Sans les auto-citations

118 B. Bénichoux - 25 juin

119 B. Bénichoux - 25 juin

120 B. Bénichoux - 25 juin

121 B. Bénichoux - 25 juin Prénom en entier Lien auteur- affiliation

122 B. Bénichoux - 25 juin

123 B. Bénichoux - 25 juin

124 B. Bénichoux - 25 juin

125 B. Bénichoux - 25 juin graphe publications/an graphe citations/an Nb total de citations H-index Nb moyen de citations/ article possibilité de retirer des articles Auto-citations

126 B. Bénichoux - 25 juin et en négatif… Coût élevé Couverture anglophone, anglo-saxonne Homogénéisation du champ adresse par les américains DT Pas (ou peu) darchives ouvertes PLoS Keywords + bruit Noms dauteurs Difficile de trouver toutes les explications

127 B. Bénichoux - 25 juin Scopus, Elsevier Généralités Vise lexhaustivité Couverture géographique variée Ressources alternatives, articles sous presse Couplage avec Scirus Brevets Indexation manuelle avec thesauri, traitement affiliations MAJ quotidienne Lien texte intégral Sauvegarde – Alerte (requête, citation art./auteur)

128 B. Bénichoux - 25 juin Scopus, couverture géographique

129 B. Bénichoux - 25 juin Scopus Les + Multidisciplinarité Traitement des noms dauteur et fiche auteur Nombre de champs de recherche Résultats : nb articles, nb citations Analyse des résultats Indicateurs : Indice h et h graph dans citation tracker Journal Analyzer : nb documents, nb citations, SNIP, SJR, % articles non cités pour une revue ou comparaison

130 B. Bénichoux - 25 juin Différentes formulations du nom

131 B. Bénichoux - 25 juin Fiche auteur

132 B. Bénichoux - 25 juin Différentes formulations de ladresse

133 B. Bénichoux - 25 juin

134 B. Bénichoux - 25 juin Citation tracker

135 B. Bénichoux - 25 juin

136 B. Bénichoux - 25 juin

137 B. Bénichoux - 25 juin journal

138 B. Bénichoux - 25 juin NEW

139 B. Bénichoux - 25 juin Scopus Les – Faible antériorité pour lanalyse des citations (1996) h index calculé avec données limitées Coût élevé

140 B. Bénichoux - 25 juin Quelques différences WOS Funding information Cited reference search EndNoteWeb Index recherche auteurs et revues Analyze limité à Citation report pour moins de SCOPUS Citation tracker par tranches de Recherche dans « all fields », et nombreux champs Tris affichés demblée dans résultats Troncature automatique

141 B. Bénichoux - 25 juin Google Scholar Les + Gratuit Couverture : éditeurs scientifiques, sociétés savantes, serveurs universitaires, bases de données Type de document : articles scientifiques, thèses, rapports, livres, preprints, catalogues Multidisciplinaire Langue Recherche par domaine sur version anglaise Résultats : nb articles, nb citations (cited by) Doublons, mais regroupés

142 B. Bénichoux - 25 juin Google Scholar Les – Base non contrôlée, donc non reproductible, mise à jour Indexation en texte intégral Comptage des citations imprécis, doublons Contenu varie en permanence, couverture inconnue MAJ : fréquence inconnue, tous les 3 mois ? Mauvaises performances avant 1990 Aucun traitement manuel Fonctionnalités limitées

143 B. Bénichoux - 25 juin

144 B. Bénichoux - 25 juin Publish or Perish / Harzing Les + Gratuité, logiciel à décharger Nombreux indicateurs dont h index, g index Avantages de Google Scholar Présentation Les - Les inconvénients de Google Scholar Recherche par auteur

145 B. Bénichoux - 25 juin

146 B. Bénichoux - 25 juin Whitesides, GM HarzingScopusWoS Nb articles Nb citations Citations/ articles H index

147 B. Bénichoux - 25 juin Cite Base Les + Littérature scientifique libre (archives OAI-PMH) Couverture : physique, maths, sc information et biomédecine Index les références bibliogr, les métadonnées Indicateurs : nb citations des articles, des auteurs, nb déchargements des articles, des auteurs, cocitations Lien vers le texte intégral Les – Base expérimentale Look de linterface

148 B. Bénichoux - 25 juin autres CiteSeerx Archives institutionnelles Bases spécifiques SHS ERIH AERES JournalBase Certaines bases thématiques introduisent les références bibliographiques Chemical abstracts Mathsci Net BioMed Central E-LIS …

149 B. Bénichoux - 25 juin Processus dévaluation Classement des universités Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses

150 B. Bénichoux - 25 juin Prévenir les chercheurs/auteurs ! Quadvient-il de leur « manuscrit » ? Editeur Producteur base de données Producteur indicateurs

151 B. Bénichoux - 25 juin Traitement par Thomson Hiérarchie descendante Inversion de lordre « And » deux lignes Normalisation Lien auteur-affiliation Une seule main organization par ligne Recherche information dans toute la ligne … mais uniquement OG dans ESI Multi affiliations mono-ligne ou multi lignes

152 B. Bénichoux - 25 juin Exemple hiérarchie Affiliation dun auteur Unité de physiologie animale, INRA, F Rennes OU INRA, Unité de physiologie animale, F Rennes Sera retranscrite dans le WOS, selon un modèle hiérarchique descendant : [main organization]=INRA [sub organization]=unité de physiologie animale

153 B. Bénichoux - 25 juin Problème de repérage de main organization Author(s): Valton, S. Peyrin, F. Delpierre, P. Debarbieux, F. Bonissent, A. Khoury, R. Meessen, C. Morel, C., Sappey- Marinier, D. Addresses: Sappey-Marinier D (reprint author), CREATIS, CNRS, UMR 5515, F Villeurbanne, France CREATIS, CNRS, UMR 5515, F Villeurbanne, France CREATIS, INSERM, U630, F Villeurbanne, France Inst Natl Sci Appl, CREATIS, F Villeurbanne, France Univ Lyon 1, CREATIS, F Bron, France Univ Mediterranee Aix Marseille 2, CPPM, CNRS, INP3, UMR 6550, F Marseille, France

154 B. Bénichoux - 25 juin

155 B. Bénichoux - 25 juin Problème de repérage Author(s): Valton, S. Peyrin, F. Delpierre, P. Debarbieux, F. Bonissent, A. Khoury, R. Meessen, C. Morel, C., Sappey- Marinier, D. Addresses: Sappey-Marinier D (reprint author), CREATIS, CNRS, UMR 5515, F Villeurbanne, France CREATIS, CNRS, UMR 5515, F Villeurbanne, France CREATIS, INSERM, U630, F Villeurbanne, France Inst Natl Sci Appl, CREATIS, F Villeurbanne, France Univ Lyon 1, CREATIS, F Bron, France Univ Mediterranee Aix Marseille 2, CPPM, CNRS, INP3, UMR 6550, F Marseille, France

156 B. Bénichoux - 25 juin Multi-affiliations Laboratoires mixtes Tutelles sur la même ligne = monoligne Adresse scindée en plusieurs lignes = multiligne

157 B. Bénichoux - 25 juin Multi-affiliations Conséquences Avantages multi ligne : rétablit mauvaise prise en compte multi affiliations dans WoS toutes les tutelles dune UMR sont identifiées Inconvénients multi ligne : modifie calcul de certains indicateurs empêche didentifier tutelles dune unité et collaboration

158 B. Bénichoux - 25 juin Modèle multi ligne …

159 B. Bénichoux - 25 juin … dans le WoS

160 B. Bénichoux - 25 juin Modèle mono ligne…

161 B. Bénichoux - 25 juin … dans le WoS

162 B. Bénichoux - 25 juin Conséquences Perte de visibilité des organismes français Pertinence du calcul des indicateurs Exhaustivité didentification Choix du type de comptage

163 B. Bénichoux - 25 juin Recommandations / propositions? Appellation unique Hiérarchie ascendante/descendante Monoligne/multiligne Monoligne : univ Marne la Vallée Multiligne : INSERM, CNRS Adresse Détaillée pour auteur référent (IRD, université, INSERM) Sans cedex Unicité acronyme unité (IRD) Unités mixtes Structures pérennes et stables Ponctuation Sans trait dunion : « Université Paris Descartes »

164 B. Bénichoux - 25 juin Normadresses OST, fin 2006 Améliorer libellé des adresses françaises dans WoS Normalisation des adresses Information sur les modes de calcul des producteurs Trois propositions Normalisation adresses, forme descendante Listes dautorité Laboratoires multi-affiliés

165 B. Bénichoux - 25 juin Merci ….


Télécharger ppt "Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010."

Présentations similaires


Annonces Google