Outils pour l’évaluation de la recherche scientifique

Présentation au sujet: "Outils pour l’évaluation de la recherche scientifique"— Transcription de la présentation:

1 Outils pour l’évaluation de la recherche scientifique
Brigitte Bénichoux INIST-CNRS 25 juin 2010 Evaluation de la recherche, des organismes de recherche et d’enseignement supérieur.

2 Normalisation des adresses Processus d’évaluation
Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses Processus d’évaluation Classement des universités Indicateurs ET PRODUCTEURS B. Bénichoux - 25 juin 2010

3 Processus d’évaluation
Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses Processus d’évaluation Classement des universités Indicateurs ET PRODUCTEURS B. Bénichoux - 25 juin 2010

4 Vous avez dit « évaluation » ?
Pour quoi ? Validation du travail scientifique Place de la recherche française Rôle des universités Par qui, pour qui ? LOLF, l’AERES Les organismes de recherche, les universités Le grand public B. Bénichoux - 25 juin 2010

5 De quoi ? Comment ? Des chercheurs, Des publications,
Des établissements Comment ? Les experts Les indicateurs bibliométriques B. Bénichoux - 25 juin 2010

6 La LOLF Loi Organique relative aux Lois de Finances
Nouveau cadre de gestion de l’administration Janvier 2006 Introduction d’objectifs et d’indicateurs de performance Dépense justifiée dès le 1° euro Analyse du coût des actions Modernisation de la comptabilité de l’Etat B. Bénichoux - 25 juin 2010

7 B. Bénichoux - 25 juin 2010

8 L’AERES Evaluation des établissements d’enseignement supérieur et des organismes de recherche « … sur la base de critères objectifs » Établissements Activités de recherche Formations Procédures d’évaluation B. Bénichoux - 25 juin 2010

9 L’AERES Experts Chercheurs et enseignants-chercheurs
Pertinence recherches, Qualité des résultats Impact international, Prise de risque Qualité et quantité des publications Thèses encadrées Logiciels, brevets Diffusion de la connaissance, Obtention de contrats L’AERES Notoriété, attractivité du laboratoire Relations internationales, Invitations, Prix ou distinctions, Contrats nationaux, Organisation de congrès, Comités éditoriaux, Instances d’évaluation, Post-doctorants. Experts 4 niveaux de notation… … sur 4 critères Qualité scientifique Rayonnement Stratégie , vie du laboratoire Appréciation du projet Et une note globale Chercheurs et enseignants-chercheurs Nombre de publications Autres indicateurs Vitalité de l’unité, Animation scintifique Incitation aux échanges Politique recrutement ouverte, Enseignement supérieur, Insertion dans l’environnement. Cohérence, Potentiel humain, Affectation de moyens, Politique prévisionnelle Experts  évaluation QUALITATIVE de l’établissement Notation + conclusion, points forts, points faibles, recommandations 2 critères concernent le présent, 2 concernent le futur Chercheurs : autres indicateurs = nb citations, facteur h… B. Bénichoux - 25 juin 2010

10 Organismes de recherche
Décret de 1983 Instances Principe de collégialité Disciplinaire Organisation Rythme biennal ou quadriennal B. Bénichoux - 25 juin 2010

11 Documents demandés Chercheurs du CNRS : Au niveau collectif :
compte-rendu annuel d’activités rapport d’activité détaillé tous les deux ans objectifs de recherche, tous les 4 ans mise à jour de la liste des publications tous les deux ans Au niveau collectif : Informations administratives Informations scientifiques rapport d’activité détaillé tous les deux ans : activités de recherche (résultats, collaborations, publications), de diffusion de la culture scientifique (enseignement, direction de thèse ou de post-doctorat, organisation de conférence, vulgarisation), de valorisation (contrats, brevets ou logiciels, consulting) et de gestion (animation d’équipe ou d’unité, direction de projets) B. Bénichoux - 25 juin 2010

12 Critères Activité scientifique
Objectifs et intérêt du projet Rayonnement Diversité Activités d’animation et de valorisation Direction de recherches Enseignement Production scientifique  indicateurs bibliométriques et autres Collectif Idem + organisation interne B. Bénichoux - 25 juin 2010

13 Conséquences Pour le chercheur Pour le collectif
Recommandations écrites Primes Promotion Pour le collectif Recommandations … … si évaluation négative  diminution des moyens, non renouvellement, fusion B. Bénichoux - 25 juin 2010

14 En général … Activités de recherche : Résultats, collaborations, publications (nb, qualité, impact), innovation des thèmes et procédures de recherche Activités de valorisation : brevets, contrats Activités de gestion : animation d’équipe, direction de projets, réponses à appels d’offre Diffusion de la culture scientifique : Enseignement, direction thèses, expertises Mobilité thématique et géographique B. Bénichoux - 25 juin 2010

15 Classement des universités
Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses Processus d’évaluation Classement des universités Indicateurs ET PRODUCTEURS B. Bénichoux - 25 juin 2010

16 Qualité de l’enseignement supérieur
Un mouvement international… Processus de Bologne UNESCO, OCDE, Banque Mondiale  Guide de bonnes pratiques, Lignes directrices… … avec des répercussions nationales B. Bénichoux - 25 juin 2010

17 Une multitude de classements
Classements internationaux Shanghaï THES (Times Higher Education Supplement) Les autres Généraux : Newsweek, Ecole des Mines de Paris Par discipline : Shanghaï, THE, management Objets particuliers : webometrics Classements régionaux CHE (Allemagne), CWTS (Leiden) Classement européen Classements nationaux US News and World Report Maclean’s (Canada), La Repubblic (Italie), Excelencia (Spain)… B. Bénichoux - 25 juin 2010

18 Shanghaï 2003, Thomson Critères
Anciens étudiants ayant reçu un prix Nobel ou la médaille Fields 10% Membre de l’équipe universitaire ayant reçu… 20% Nombre de chercheurs parmi les plus cités 20% Articles publiés dans Nature ou Sciences 20% Articles indexés dans WoS 20% Résultats rapportés à la taille de l’institution 10% ARWU-Field, ARWU-Subject 2003 Thomson B. Bénichoux - 25 juin 2010

19 B. Bénichoux - 25 juin 2010

20 40° : Paris 6 P.et M. Curie 1° : Harvard 2° : Stanford 3° : Berkeley
4° : Cambridge, UK 5° : MIT 40° : Paris 6 P.et M. Curie B. Bénichoux - 25 juin 2010

21 Shanghaï - critiques Hétérogénéité des indicateurs
Périodes différentes SHS n’ont pas le critère N&S Biais des données de base : affiliations, langue, couverture, DT Nobel Critères redondants Parution annuelle B. Bénichoux - 25 juin 2010

22 THES-QS Depuis 2004, Times Higher Education Suppl., Quacquarelli Symonds Grand public. Comparaison internationale des universités  mobilité des étudiants Indicateurs Qualité de la recherche : peer review 40%, nombre de citations 20% Qualité de l’enseignement : ratio étudiants/enseignants (20%), recrutement 10% Ouverture internationale : enseignants (5%) et étudiants (5%) étrangers Utilise Scopus depuis 2007 (avant, WOS) B. Bénichoux - 25 juin 2010

23 B. Bénichoux - 25 juin 2010

24 28° : Ecole Nationale Supérieure
1° : Harvard, US 2° : Cambridge, UK 3° : Yale, US 4° : Univ College London 5° : Imperial College London 28° : Ecole Nationale Supérieure B. Bénichoux - 25 juin 2010

25 THES - critiques Collecte des données
Prédominance de la langue anglaise Universités mondiales… sauf pays en développement ! Améliorations constantes Normalisation des scores WOS  Scopus (couverture plus large…) Collecte : Disparate (scopus, institutions publiques, universités)  une plus grosse université sera mieux armée pour les fournir B. Bénichoux - 25 juin 2010

26 Paris Tech - Mines Classement professionnel
Anciens étudiants qui occupent poste n°1 dans une des 500 plus grandes entreprises internationales Fortune Global 500 Pas de critère en rapport avec la recherche B. Bénichoux - 25 juin 2010

27 1° : Tokyo 2° : Harvard 3° : Stanford 4° : Waseda, Japon 5° : Séoul
B. Bénichoux - 25 juin 2010

28 Webometrics Mesure de l’activité scientifique sur le web  visibilité
Soutient l’open access, les PVD Classe 4000 universités et 1000 organismes de recherche Public visé : autorités universitaires, membres décideurs Résultats : Bons pour les établissements de recherche Moins bons pour les universités À partir de universités ou enseignement sup et 4500 organismes de recherche Autorités universitaires qui doivent améliorer si nécessaire leur activité sur le web + membres décideurs de la faculté qui devrait dans un avenir proche considérer l’information du web comme aussi importante que les indicateurs bibliométriques pour l’évaluation B. Bénichoux - 25 juin 2010

29 Webometrics, critères « World Ranking » S (size) : nombre de pages 20%
V (visibility) : liens entrants 50% R (rich files) : diversité des formats de fichiers 15% Sc (Scholar) : référencement GS 15% Indicateur s’appelle « world ranking » Le facteur S (size) mesure pour le site web d’une institution donnée le nombre de pages uniques référencées sur quatre moteurs de recherche : Google, Yahoo, MSN et Exalead. 20% Le facteur V (visibility) mesure (à partir des données fournies par les mêmes 4 moteurs de recherche ; non  Yahoo search) le nombre de liens entrants vers les sites de ces institutions. 50% Le facteur R (rich files) est plus qualitatif : il mesure à partir des données des 4 moteurs la diversité des formats de fichiers proposés sur ces sites. 15% Enfin le facteur Sc (Scholar) mesure plus spécifiquement et pour ces mêmes sites le nombre de références d’articles, le nombre d’articles ou de rapports issus de ces sites et référencés par GS. 15% L’indicateur WR est alors calculé en attribuant un facteur de pondération de 50% au facteur V, de 25% au facteur S et de 12.5% pour les facteurs R et Sc, équilibrant ainsi dans l’indicateur composite le facteur de visibilité d’une part et les facteurs plus descriptifs de la taille et de la composition qualitative des sites web analysés. B. Bénichoux - 25 juin 2010

30 B. Bénichoux - 25 juin 2010

31 129° : Université Paris 6 Pierre et Marie Curie
1° : MIT 2° : Harvard 3° : Stanford 4° : Berkeley 5° : Cornell 129° : Université Paris 6 Pierre et Marie Curie B. Bénichoux - 25 juin 2010

32 Leiden rankings 1000 universités européennes qui ont plus de 700 publications/an dans le WOS Indicateurs du CWTS Résultats différents en fonction des critères Aboutit à classement des 100 meilleures B. Bénichoux - 25 juin 2010

33 Universités européennes
B. Bénichoux - 25 juin 2010

34 Et il y en a d’autres… SCImago institutions rankings
The Carnegie classification of institutions of higher education, Stanford Performance ranking of scientific papers for world universities, Taïwan US News and World reports Echelle de Vincennes Classement par dominance …. B. Bénichoux - 25 juin 2010

35 SCImago institutions rankings
B. Bénichoux - 25 juin 2010

36 Taiwan Performance ranking of scientific papers for world universities
Utilise ESI pour sélectionner les universités et JCR, WOS pour obtenir des données indicateurs. Nettoie les affiliations 725 universités repérées par ESI puis comparaison avec Shanghai, THES, US news Research productivity : nb art 11 dernières années (10%); nb articles année en cours (10%) Research impact : nb citations 11 ans (10%); nb citations année en cours (10%); nb moyen citations 11 ans Research excellence : hindex 2 dernières années (20%); nb highly cited papers (15%); nb articles dans revues à ht FI, année en cours (15%) B. Bénichoux - 25 juin 2010

37 On y pense…. Valérie Pécresse Commission Européenne  classement
Pluridemnesionnel Indépendant Transparent D’ampleur mondiale CHERPA Contextes Institutions comparables Classements par disciplines B. Bénichoux - 25 juin 2010

38 Classement de Shanghai
Classement TH-QS 1 Harvard (États-Unis) 2 Stanford (États-Unis) Cambridge (Royaume-Uni) 3 Berkeley (États-Unis) Oxford (Royaume-Uni) 4 Yale (États-Unis) 5 MIT (États-Unis) Imperial College London (Royaume-Uni) 6 California Institute of technology (États-Unis) Princeton (États-Unis) 7 Columbia (États-Unis) 8 Chicago (États-Unis) 9 University College London (Royaume-Uni) 10 11 12 Cornell (États-Unis) Mc Gill (Canada) 13 UCLA (États-Unis) Duke (États-Unis) 14 California-San Diego (États-Unis) Pennsylvania (États-Unis) 15 John Hopkins (États-Unis) 16 Washington-Seattle (États-Unis) Australian National (Australie) 17 Wisconsin-Madison (États-Unis) Tokyo (Japon) 18 California - San Francisco (États-Unis) Hong-Kong (Hong-Kong) 19 20 Carnegie Mellon (États-Unis) B. Bénichoux - 25 juin 2010

39 B. Bénichoux - 25 juin 2010

40 LES 100 MEILLEURES UNIVERSITÉS MONDIALES
D'APRÈS LE CLASSEMENT DE SHANGHAI RÉPARTITION PAR PAYS                                                                                                                  B. Bénichoux - 25 juin 2010

41 LES 100 MEILLEURES UNIVERSITÉS MONDIALES
D'APRÈS LE CLASSEMENT DU TH-QS RÉPARTITION PAR PAYS                                                                                                                                                                                                                                       B. Bénichoux - 25 juin 2010

42 Place des établissements français
Shanghai THE-QS 1 Université Pierre et Marie Curie (Paris VI) (39) École Normale Supérieure (Paris) (26) 2 Université Paris XI (52) École Polytechnique (28) 3 École Normale Supérieure (Paris) (83) Université Pierre et Marie Curie (Paris VI) (132) 4 Université L Pasteur (Strasbourg I) (99) École Normale Supérieure (Lyon) (157) 5 Université Paris VII ( ) Université Louis Pasteur (Strasbourg I) (184) 6 Université Grenoble I ( ) 7 Université Paris V ( ) 8 École Polytechnique ( ) 9 Université Lyon I ( ) 10 Université Aix-Marseille II ( ) 11 Université Montpellier II ( ) 12 Université Toulouse III ( ) 13 École Nationale Supérieure des Mines de Paris ( ) 14 École supérieure de Physique Chimie industrielles ( ) 15 Université Aix Marseille I ( ) 16 Université Bordeaux I ( ) 17 Université Nancy I ( ) 18 Université Paris IX ( ) 19 École Normale Supérieure (Lyon) ( ) 20 Université Bordeaux II ( ) 21 Université Lille I ( ) 22 Université Nice ( ) 23 Université Rennes I ( ) Place des établissements français dans les deux principaux classements B. Bénichoux - 25 juin 2010

43 Place des universités françaises dans les classements de Leiden
Classement en fonction du nombre de publications Classement en fonction du nombre de citations par publication 1 Université Paris VI Pierre et Marie Curie (6)57(*) Université Paris XI Sud (52) Indicateur = 1,13 2 Université Paris XI Sud (24) Université Grenoble I Joseph Fourier (55) 3 Université Lyon I Claude Bernard (71) Université Paris V René Descartes (59) Indicateur = 1,12 4 Université Toulouse III (77) Université Paris VI Pierre et Marie Curie (64) Indicateur = 1,09 5 Université Paris VII Denis Diderot (81) Université Paris VII Denis Diderot Indicateur = 1,07 6 Université Paris V René Descartes (84) Université Lyon I Claude Bernard (86) Indicateur = 0,99 7 Université Grenoble I Joseph Fourier (85) Université Toulouse III (87) B. Bénichoux - 25 juin 2010

44 Les 10 meilleurs établissements mondiaux classement École des Mines
Tokyo Harvard Stanford Waseda (Japon) Séoul HEC Duke univ Univ Oxford Univ Pennsylv ENA B. Bénichoux - 25 juin 2010

45 COMPARATIVE ANALYSIS: TOP 200
45 B. Bénichoux - 25 juin 2010 45

46 COMPARATIVE ANALYSIS: TOP 500
46 B. Bénichoux - 25 juin 2010 46

47 Bibliométrie Indicateurs Processus d’évaluation
Quantitatifs Qualitatifs Normalisation des adresses Processus d’évaluation Classement des universités Indicateurs ET PRODUCTEURS B. Bénichoux - 25 juin 2010

48 Bibliométrie Bibliométrie : « Application de méthodes mathématiques et statistiques aux livres et autres moyens de communication » Pritchard (1969) Postulat : la recherche scientifique est la production de connaissance, la littérature scientifique en est la matière constitutive Scientométrie : application de la bibliométrie à l’étude de la science, en comptabilisant les publications scientifiques « Bibliométrie » est devenu le terme générique pour mesures et indicateurs B. Bénichoux - 25 juin 2010

49 Bibliométrie Résultats Objectifs Indicateurs Cognitifs Opérationnels
Comptage des publications  Quantité Comptage des citations  Performance Comptage des co-citations  Connexion entre les chercheurs ou les domaines de recherche Objectifs Cognitifs Opérationnels Publications attribuées à un auteur, une institution, un pays Citations : impact des travaux publiés sur la communauté scientifique Objectifs opérationnels : politique scientifique, description stratégique, évaluation de la recherche, monitoring des acteurs de la recherche B. Bénichoux - 25 juin 2010

50 Création des indicateurs
Création d’un corpus d’analyse Reformatage Sélection des données Traitements À partir de sources existantes ou non Utilisation des indicateurs existants ou création d’indicateurs « home made » B. Bénichoux - 25 juin 2010

51 Sources Couverture Taille du corpus
Identification auteurs et affiliations Erreurs de typographie, longueur des articles, nombre de coauteurs, de références citées…. Définition des disciplines Couverture : Critères de sélection sont les mêmes pour toutes les disciplines or tradition de publication et de citations sont différentes Sélection dans ISI en fonction du FI…. Bases utilisées pour la bibliométrie n’ont pas été faites pour ça au départ B. Bénichoux - 25 juin 2010

52 Impact n’est pas corrélé avec la qualité, mais avec la visibilité
Citations « impact » « reward/rhetorical » Des parasites… auto-citations non cités « over citation » Impact n’est pas corrélé avec la qualité, mais avec la visibilité B. Bénichoux - 25 juin 2010

53 Pourquoi cite-t-on ? Citations négatives Consensus social Prestige Diffusion Conventions de citations Linguistique En quoi tous ces facteurs sont-ils liés à la qualité de l’article ? Reward : dette intellectuelle : papier dont on reconnaît la qualité, en positif ou en négatif Rethorical : peut en rapport avec la qualité de l’article cité Les statistiques basées sur les citations ne sont pas si objectives qu’on peut le croire/le dire B. Bénichoux - 25 juin 2010

54 Soyons prudents ! Illusion de la métrique Erreurs de mesure
Manipulation Technique monopolistique Vision partielle Technique monopolistique qui remplace une sorte de jugement par un autre B. Bénichoux - 25 juin 2010

55 « any number beats no number »
Pour beaucoup … « any number beats no number » M. Zitt : «  si la scientométrie est un miroir de la science en action, alors la responsabilité des scientométriciens est de polir ce miroir et de prévenir des illusions d’optique » B. Bénichoux - 25 juin 2010

56 Les indicateurs sont souvent “misunderstood, misinterpreted, misused ”
Aucun indicateur ne devrait être utilisé seul Les indicateurs doivent être utilisés par des personnes compétentes La réalité est trop complexe pour être mesurée en nombres et statistiques Les statistiques sont un peu fétiches dans notre société. On les trouve magiques. On les considère comme des représentation sabsolues de la réalité, on les utilise pour convertir des situations sociales compliquées en estimations, pourcentages, taux, plus faciles à comprendre On pense aux statistiques comme à des faits qu’on découvre et non come à des chiffres qu’on crée. B. Bénichoux - 25 juin 2010

57 Normalisation des adresses Processus d’évaluation
Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses Processus d’évaluation Classement des universités Indicateurs ET PRODUCTEURS B. Bénichoux - 25 juin 2010

58 Les indicateurs Quantitatifs Qualitatifs La revue
Facteur d’impact, SJR, Eigen factor score, Y factor, Journal cost-effectiveness, facteurs d’usage, SNIP, … Nb d’articles ou brevets Nb de citations nb cit/article, Article Influence Score H index, m index, g index, Field normalized citation score, Journal normalized citation score,… Quantitatifs La revue Le chercheur ou l’institution Qualitatifs En amont  peer review En aval  commentaires, blogs, récompenses, prix, invitations Quantitatifs = tout ce qui relève de la bibliométrie B. Bénichoux - 25 juin 2010

59 Comptage des publications
A partir des bases de données bibliographiques et/ou de la structure évaluée Mesure simplifiée et approximative de la production Indicateurs dérivés  analyse de la productivité Surtout valable pour des chiffres élevés Brevets Co-publications chercheurs Pour un chercheur ou une unité, mais plutôt valable pour une unité car trop de facteurs qui peuvent faire varier pour un chercheur Inconvénient : quand il s’agit d’une unité, ne prend pas en compte la taille de l’unité Usages fournit une première mesure, simplifiée et approximative, de la quantité de travail produit par un scientifique, un laboratoire, une faculté, une équipe nationale et/ou internationale de R-D, un pays, etc. Le nombre absolu de ces publications constitue un indicateur bibliométrique grossier, mais c’est seulement en examinant ces données de base par rapport à d’autres “masses” que l’on obtient des mesures plus significatives de la puissance relative des sujets étudiés. Ainsi, dans un domaine ou une discipline précis, le dynamisme de la recherche d’un pays, d’une équipe, peut être suivi et son évolution dans le temps mesurée. Si les données de base sont divisées par le nombre des chercheurs ou par les sommes d’argent investies, on obtient des indicateurs “dérivés” pouvant permettre, en quelque sorte, une analyse de la “productivité” des travaux en question. Limites Il est raisonnable d’utiliser le nombre de publis comme indicateur quand on se trouve face à des chiffres élevés : un pays, une université, un laboratoire, un domaine de recherche, etc., sont d’autant mieux représentés que les chiffres sont importants. Mesurer la production d’un chercheur individuel, uniquement en utilisant ce type d’indicateur, est moins à conseiller, étant donné qu’une telle mesure ne tient pas compte de la qualité des publications, même si on prend en considération le degré de sélectivité des revues incluses dans la base. Les publications peuvent aussi représenter un temps de recherche, un volume et une qualité de travaux fort différents. Ces indicateurs ne permettent pas de mesurer la quantité ou la qualité du travail que représente un article, et lorsque l’article est co-signé par plusieurs personnes, le rôle de chacune n’est connu que des auteurs eux-mêmes. B. Bénichoux - 25 juin 2010

60 Comptage des citations
A partir de certaines bases de données bibliographiques Mesure de l’impact Indicateurs dérivés Moyenne de citations/article ou par chercheur Pourcentage de la production mondiale Corrélation avec nombre de déchargements Co-citations Uncitedness chercheurs Inconvénients : Ne tient pas compte du fait que plus un article est vieux, plus il a de chance d’avoir des citations Articles de synthèse ont plus de citations Pratiques de citations différentes selon les disciplines ou du type de document Uncitedness : Pourcentage de publications d’une unité de recherche qui restent non-citées après une certaine période. Il faut enlever les auto-citations B. Bénichoux - 25 juin 2010

61 Comptage fractionnaire
Comptage de présence Attribution à chaque élément d’une part entière S’interprète en termes de participation Comptage fractionnaire Attribution à chaque élément en fonction de sa participation S’interprète en termes de contribution Compte de présence En compte de présence, les indicateurs répondent aux deux questions suivantes : - Combien de publications peut-on attendre de la participation d’un acteur ? - Combien de publications peut-on attendre de la collaboration entre deux acteurs ? On identifie en premier l’article que l’on attribue pour part entière à chacune des institutions identifiées dans l’affiliation. Dans ce cas, l’interprétation est immédiate mais les comptes ne peuvent être consolidés. L'indicateur s'interprète en termes de participation, la place de chaque acteur dans la production globale est mesurée indépendamment de celle des autres. Le compte de présence est utile pour la microanalyse. Il est aussi plus facilement interprétable pour les copublications. Compte fractionnaire La question à laquelle répondent les indicateurs calculés en compte fractionnaire est la suivante : - Au niveau d’un article publié, quelle est la part de contribution de chaque signataire ? Un article est alors considéré comme une unité. On attribue à chaque institution une part de cet article. D’interprétation moins immédiate, ce compte est consolidable à tous niveaux. Les indicateurs s'interprètent en termes de contribution, sans double compte entre acteurs. La place de chaque acteur dans la production commune est mesurée en relation avec celle des autres. De manière concrète, à partir d’un article qui comporte 5 lignes d’adresses, le nombre d’articles publiés par une des institutions sera de 1 en compte de présence et de 1/5 en compte fractionnaire Ce type de compte où chaque article a un poids unitaire, est additif à toutes les échelles et bien adapté à la macroanalyse. Plus précis sur l’appréciation de l’effort de production de chaque institution, il permet aussi de comparer directement le poids relatif des institutions par rapport à une référence commune. B. Bénichoux - 25 juin 2010

62 Indice h Plus grande valeur de h pour laquelle le chercheur a publié h articles qui ont reçu au moins h citations Allie le comptage des publications et la distribution des citations Dépend de la discipline Créé pour un auteur, mais sera appliqué à un groupe d’auteurs ou à une revue chercheurs Un chercheur ne peut avoir un h index élevé avec peu de publications; de plus, il faut que ses articles soient bien cités. Le classement des facultés en sc de l’info basés sur comptage de citation et sur h index se ressemblent Van Raan , 147 groupes de rech en chimie  corrélation de 0.89 entre h index et nb total de citations Thomson l’a inclus dans WOS…. Qu’est-ce que ça prouve ? B. Bénichoux - 25 juin 2010

63 Indice h Mais Auto-citations Co-publications
Obtention données sources exactes est difficile Basé sur le long terme Ne peut diminuer Age de l’auteur  m-quotient chercheurs m-index : h-index divisé par le nombre d’années depuis qu’il a publié son premier article. L’objectif est de compenser le peu de temps qu’a eu un jeune chercheur pour publier et ainsi être cité. .. particulièrement en SHS, où ça peut prendre 5 ans Pour les jeunes chercheurs, le FI du journal dans lequel ils publient peut être une mesure plus réaliste de l’éventuel impact. Le h index est une évaluation plus réaliste pour ceux qui publient depuis plus de 10 ans. m generally does not stabilise until later in one’s career and for junior researchers (with low h-indices) small changes in the h-index can lead to large changes in m. In addition, as Hirsch indicates, the first paper may not always be the appropriate starting point, especially if it was a minor contribution that was published well before the academic realised a sustained productivity. Moreover, m discriminates against academics that work part-time or have had career interruptions (generally women). B. Bénichoux - 25 juin 2010

64 … et les autres… Age académique des auteurs  v-index (Vaidya 2005)
Prise en compte des articles très cités  g-index (Egghe, 2005) Co auteurs comptage fractionnaire des citations et des articles  hm-index, pure h-index (Schreiber, Chai) Prise en compte du nombre de citations dans le h-core a-index, m-index, R-index Nombre de citations augmente  AR-index chercheurs Pour l’évaluation des institutions : Prathap (2006) in Current Science : h1 : l’institution a publié h1 articles, chacun ayant reçu au moins h1 citations et h2 : l’institution a h2 chercheurs qui ont chacun un h index individuel au moins égale à h2. une institution peut avoir un h1 élevé car beaucoup de chercheurs qui sont beaucoup cités, ou car quelques chercheurs qui ont un très haut h index. La différence se fera par le h2. B. Bénichoux - 25 juin 2010

65 …. Adaptation pour les institutions  h1 et h2 (Praathap, 2006)
Différenciation des auteurs qui ont le même h  e-index (Zhang, 2009) Plus de poids aux articles plus récents  contemporary h-index (Sidiropoulos, 2006) En fonction du nombre d’auteurs  individual h-index chercheurs B. Bénichoux - 25 juin 2010

66 Les comptages normalisés
Comparaisons de l’impact reçu par l’entité avec la moyenne mondiale  relative impact index Journal/Field normalized citation score Crown indicator, CWTS, Leiden Top 5% (CWTS) Nb de publications, de citations, de citations/article, avec ou sans autocitations chercheurs On arrive ici à des choses plus complexes, CWTS  introduction de la notion de « producteur d’indicateurs » qui se poursuivra avec Thomson et les indicateurs pour les revues Centre pour les Etudes de la Science et de la Technologie, Leiden Consacré aux études quantitatives de la science et de la technologie, en prenant en compte ses dimensions sociales, politiques et managériales. La recherche du centre est orientée vers le traitement de problèmes et promeut une approche interdisciplinaire, en utilisant principalement des méthodes scientométriques mais aussi des méthodes de sciences sociales et du comportement. Développement de méthodes et de techniques pour la construction et l’application d’indicateurs quantitatifs des principales caractéristiques de la science et de la technologie. Fournit des indicateurs à des clients à partir des données qui lui sont fournies par le client B. Bénichoux - 25 juin 2010

67 Les indicateurs de Thomson
ISI, Garfield  Thomson, Reuters Base de données, WOS Nb publications, Nb des citations Tris H index JCR Facteur d’impact Indice immédiateté Demi-vie citée et citante ESI Tri des auteurs, organismes, pays, articles les plus cités B. Bénichoux - 25 juin 2010

68 Time after publication (Years)
Immediacy Index Window Impact Factor Window 50% of 50% of citations citations Time after publication (Years) Citations Cited half-life L’ISI a créé trois mesures normalisées. Les citations aux articles publiés une année donnée augmente rapidement jusqu’à un pic entre 2 et 6 ans après la publication. Ensuite déclin. La courbe d’un journal peut être décrite par la taille de la courbe (surface sous la ligne), la proximité du pic de la courbe de son origine, et le pourcentage de déclin dans la 2° partie e la courbe. C’est la base des indicateurs de l’ISI. Copié de : M. Amin, M. Mabe.- Impact Factors : use and abuse.- in : Perspectives in publishing, October 2000, rév. Oct Elsevier From : M. Amin, M. Mabe.- Impact Factors : use and abuse B. Bénichoux - 25 juin 2010

69 Facteur d'impact Indique le nombre moyen de citations auquel un article (publié dans un journal donné) peut prétendre Evaluation de l'importance relative d'un périodique dans un domaine donné =nb de citations (année N) aux articles (N-1 et N-2) nb d'articles (années N-1 et N-2) pour un périodique revues On ne prend en considération dans le compte des articles (dénominateur) que les original research et review articles car les autres ne sont pas beaucoup cités MAIS, dans les citations, on ne peut faire la distinction ( car document type est marqué manuellement, et n’est donc pas marqué pour toutes les références citées ) : il peut donc y avoir temporairement disproportion d'une année sur l'autre si beaucoup de citations à des publications qui ne sont pas des articles Attention : le FI témoigne de la diffusion d’une revue, pas forcément de la qualité de ses publications. E. Garfield déconseille son emploi pour juger de la qualité scientifique d’un individu. Si FI=2.3, un article de 2003 ou 2004 peut s’attendre à avoir 2.3 citations en 2005 Aggregate impact factor = pour 1 subject category, nb de citations à tous les journaux/nb articles publiés dans tous les journaux Median impact factor = valeur médiane de tous les FI dans la catégorie FI tend à aplanir différences entre journaux importants et moins importants, anciens et nouveaux Trend = 5 derniers FI = point d’entrée quand on arrive du WoS Mais : 20% des articles d’une revue reçoivent 80% des citations Richard Monastersky (2005) : the impact factor is the « number that’s devouring science » B. Bénichoux - 25 juin 2010

70 Indice d'immédiateté (R)
Même calcul que Facteur d’Impact, mais concerne les citations pendant l’année N d’articles publiés pendant l’année N (pour un périodique donné) = nb de citations aux articles nb total d'articles dans l'année de la parution Indique la rapidité de citation des articles d'une revue Plus il est élevé, plus la revue est dynamique revues Les journaux avec parution plus fréquente ont un avantage car les articles publiés tôt dans l'année ont plus de chances de se voir cités. Une revue qui n'est publiée qu'une fois par an risque de voir son Indice d'immédiateté=0 Is a per article average Fréquence de citation dans l' année en cours Utile pour trouver un journal dont les articles courants seront cités rapidement, pour changer une politique éditoriale, pour savoir quel journal publie des "hots articles«  Nb de citations aux articles de 2001/nb d’articles publiés en 2001 B. Bénichoux - 25 juin 2010

71 Journal cited half-life (R)
Âge médian des articles du journal cités dans l’année en cours = nb d'années nécessaire pour obtenir 50% des citations aux articles du journal N'est pas un élément d'évaluation pour un périodique, mais plutôt de gestion de collection et/ou archivage. Cited journal table : liste des titres qui citent le périodique en question et nombre d'occurrences par année Cited-only journals : dont les références ne sont pas indexées par l'ISI revues Étude de données comparatives de half-life : différences de format et d'historique de publication N’est pas un indicateur de valeur pour la revue min.100 citations à un journal pour que cited half life soit calculée Cited half-life = indique âge médian des articles cités. Facilite la gestion de la recherche et les décisions d’archivage en indiquant l’âge de la majorité des articles cités publiés dans une revue. Permet aux éditeurs d’adapter leur politique rédactionnelle à différents segments de marché Si les observations d'une variable sont ordonnées par valeur, la valeur médiane correspond à l'observation qui se trouve au point milieu de cette liste ordonnée. Elle correspond plus précisément à un pourcentage cumulé de 50 % (c'est-à-dire que 50 % des valeurs sont supérieures à la médiane et 50 % lui sont inférieures). La position de la médiane est : (n + 1) ÷ 2 , n désignant le nombre de valeurs dans un ensemble de données. Pour calculer la médiane, il faut d'abord classer les données. La médiane est le nombre qui se situe au point milieu. Médiane = la valeur intermédiaire d'un ensemble de données B. Bénichoux - 25 juin 2010

72 Journal citing half life (R)
Âge médian des articles cités par le journal = nb d'années nécessaires pour obtenir 50% des citations par ce journal Evaluation de la moyenne d'âge des articles cités par un périodique Citing journal table: liste des titres le plus souvent cités par les articles du journal en question revues Ex : citing half life = 9.0  50% des articles cités par ce journal ont été publiés entre 1996 et 2004 Seuls les journaux qui publient au minimum 100 références auront une citing half life B. Bénichoux - 25 juin 2010

73 Facteur d’impact - Critiques
Numérateur/dénominateur Fenêtre temporelle  courbes différentes Mais… (maths) Auto-citations Variations disciplines Langue Variation d’une année sur l’autre  En quoi est-ce un indicateur de qualité scientifique ? revues Maths : 90% des citations se font en dehors des deux ans MAIS à 5 ou 10 ans ne change pas grand-chose see [26] B. Bénichoux - 25 juin 2010

74 Variantes du Facteur d’Impact
Influence weight (Pinski, Narin 1976) : les citations d’un journal plus influent ont plus de poids Median Impact Factor ( Rousseau, 2004) : fenêtre temporelle est la cited half-life H-type index (Braun, 2005) Article-count impact factor (2008) Eigen factor score and Article influence score (2007) SJR Scimago journal ranking (2008) revues B. Bénichoux - 25 juin 2010

75 Essential Science Indicators
Sur 10 ans du web of science (+ 6 mois) Articles scientifiques, articles de synthèse, proceedings papers, research notes MAJ : 2 à 4 mois 22 domaines de recherche Lien vers Web of Science chercheurs revues Produit nouveau : 2001 Compilation d’informations statistiques (nb d’articles – indicateur de productivité ; nb de citations – indicateur d’influence, d’impact, nb de citation/article) pour les chercheurs, les organismes, les pays, les revues Citation dans les 10 dernières années sur des articles publiés dans les 10 dernières années. Chaque journal est affecté à un domaine et à un seul; les 60 revues multidisciplinaires sont ventilées article /article dans une discipline. Attention : la citation est attribuée à chaque auteur. Pour les institutions, seulement au premier élément de l'adresse (OG), mais un par adresse (dédoublonné si nécessaire, c-à-d si institution est citée dans plusieurs lignes). Donc, recommandations actuelles : autant d’adresses que d’appartenances pour apparaître Pour pays, idem Seulement les données des revues qu’ISI indexe dans WOS sont prises en compte. Les citations de livres, de chapitres de livres ou d’articles provenant de sources non-indexées ne sont pas prises en compte 20 domaines en sciences, 2 en sciences sociales (psychiatrie/psychologie, sc sociales-général) B. Bénichoux - 25 juin 2010

76 ESI - indicateurs Tri des auteurs, organismes, revues, ou pays les plus importants (“citation rankings“) "most cited papers" Highly cited papers Hot papers  Analyse de citations Baselines Research fronts chercheurs revues "les plus importants" = les plus cités dans chaque discipline Chaque journal et chaque article est assigné à une discipline et une seule (sur 22) Citations à des scientific articles, review articles, proceedings papers, research notes, mais pouvant provenir de n’importe quel document. Nb d'articles = >productivité Nb de citations => utilité et influence Seuils : avec, en plus, un minimum à assurer, différent par discipline et par année pour les citations Auteurs, organismes : 1% (sur 10 ans) Revues, pays : 50% (sur 10 ans) Highly cited papers : 1% (sur 10 ans) Hot papers = 0.1% (sur 2 ans): publiés dans les deux dernières années, les plus cités dans les deux derniers mois; à peu près 1400 articles Baselines : chiffres-repères pour être les meilleurs Research fronts : identification des domaines de recherche précis par analyse de cocitations Tous les auteurs d’un article sont crédités de la même façon Toutes les citations sont attribuées de la même façon à tous les auteurs de l’article B. Bénichoux - 25 juin 2010

77 Seuil d’acceptabilité
Le nombre de citations/article suit une loi de distribution : Beaucoup d’articles sont peu cités Peu d’articles sont beaucoup cités Méthode de sélection : Tri décroissant Sélection du « top » : 1% pour les auteurs et les organismes, 50% pour les revues et les pays 9.5 M d’articles sont analysés, mais seulement les meilleurs seront dans ESI Les pourcentages de seuil sont établis pour obtenir à peu près la même proportion de « lignes » dans les 4 entités. Pour savoir le nombre de citation/article nécessaire pour être dans le 1% en immunologie (par ex.), cf in-cites : « citation thresholds » B. Bénichoux - 25 juin 2010

78 D’autres producteurs CSIC CWTS Carl Bergstrom OST SJR SNIP
Eigen factor OST B. Bénichoux - 25 juin 2010

79 SCImago et le SJR  Forte corrélation entre SJR et FI
Open source, CSIC (Espagne) Indicateurs pour pays et revues Source : Scopus depuis 1996 Indicateurs SJR = Nombre de citations reçues par les articles d’une revue/nb total d’articles publiés dans l’année + pondération itérative h-index (revue) Documents, cites, references, citable documents, self cites, cited documents, cites per doct (2, 3, 4 ans) Couverture géographique et linguistique plus large Auto-citations restreintes  Forte corrélation entre SJR et FI revues Nb de documents = tous les documents dans l’année ou les trois années précédentes Citable documents = articles + synthèses dans les trois années précédentes References = total des réf bib de la revues dans l’année Cites = citations reçues par la revue dans les trois ans précédents Autocitations restreintes à 33% Fenêtre de 3 ans Pour un pays : H index, documents, citable documents, citations, self citations, citations/documents  corrélation SJR/FI B. Bénichoux - 25 juin 2010

80 B. Bénichoux - 25 juin 2010

81 Fonction « map generator », co-citation network, France, 2007-2008
B. Bénichoux - 25 juin 2010

82 H-index is situated in the X axis (the H-index is constant for all periods, based on all documents and citations received from 1999 to 2007). The Y axis contains the Cites per Document indicator of subjet areas. The Z variable is the size of the bubble, that is, the size of scholarly literature or Subject area. B. Bénichoux - 25 juin 2010

83 Eigen metrics Eigen factor Eigen Factor Score Article Influence Score
Prend en compte le poids des revues qui citent Autocitations éliminées Sur 5 ans Sciences + sciences sociales Eigen Factor Score Nombre de fois où un article des 5 dernières années de la revue a été cité dans l’ "année JCR" Article Influence Score Importance relative d’une revue sur la base des articles (EFS divisé par les articles publiés dans la revue) revues Carl Bergstrom, Seattle Indicateurs normalisés : Somme des EF de toutes les revues du JCR = 100 Article moyen du JCR a un « article influence » de 1.00 Les catégories sont issues de leur mapping de la science Chaque revue n’appartient qu’à une seule catégorie (4 pour le JCR) Pondération toutes catégories confondues Attention : le EF varie en fonction du nb d’articles de la revue AIS : la fraction est normalisée de manière à ce que la somme des articles de tous les journaux soit de 1 B. Bénichoux - 25 juin 2010

84 B. Bénichoux - 25 juin 2010

85 B. Bénichoux - 25 juin 2010

86 Comptages normalisés SNIP = source normalized impact per paper
Raw impact per paper (RIP) ÷ Relative Database Citation Potential (RDCP) RIP se calcule comme FI Sur 3 ans Corrige les inégalités dans la couverture de la base Exclut les auto-cit. aux éditoriaux et non-citable docts RDCP Citation potential : moyenne du nb des références citées (1-3ans) par article citant revues B. Bénichoux - 25 juin 2010

87 SNIP Corrige différence en termes de potentiel de citations entre 2 revues de catégories différentes Prend en compte la couverture de la base de données Les revues dans les domaines peu couverts ne sont pas défavorisées (SHS, Sc appliquées) revues B. Bénichoux - 25 juin 2010

88 B. Bénichoux - 25 juin 2010

89 B. Bénichoux - 25 juin 2010

90 Comptages normalisés Facteur d’audience FI pondéré
En proportion inverse du nb moyen de références appartenant à la fenêtre de citation choisie revues B. Bénichoux - 25 juin 2010

91 L’OST, producteur d’indicateurs
Observatoire des sciences et techniques Conception et production d’indicateurs sur la recherche et le développement Base de données sur la recherche internationale Permettre aux acteurs de la recherche de caractériser leur activité scientifique B. Bénichoux - 25 juin 2010

92 Indicateurs OST Pour une institution, un pays Indicateurs à la demande
Part de publications, de citations Indice de spécialisation scientifique Indice d’impact relatif Indice d’impact espéré Ratio de citations relatif Indice d’activité par classe de citations Part d’articles en co-publication Indicateurs à la demande LOLF IPERU IPERU: Indicateurs de production des établissements de recherche universitaire Le projet IPERU est soutenu par le ministère de l’Enseignement supérieur et de la Recherche. Après une période « pilote » de 2005 à 2008 qui a permis d’initialiser la production d’indicateurs standardisés, le projet se poursuit pour la période avec l’objectif de faire évoluer la production d’indicateurs en fonction des besoins de pilotage et d’analyse stratégique des établissements d'enseignement supérieur B. Bénichoux - 25 juin 2010

93 Part de publications scientifiques
En 2004, la part de la France dans la production mondiale de publications scientifiques est de 4.7%. Au début des années 90, cette part a augmenté pour atteindre 5.4 en Elle est restée ensuite stable pui, à partir de 1999, a biassé de façon continue. Source : B. Bénichoux - 25 juin 2010

94 Source : http://www.obs-ost.fr
En référence européenne, Londres est très orientée vers la recherche médicale et la biologie fondamentale. Paris est orientée vers les mathématiques, la biologie fondamentale et la recherche médicale alors que le Danemark est plutôt tourné vers la bioloige appliquée-écologie. Source : B. Bénichoux - 25 juin 2010

95 Source : http://www.obs-ost.fr
Depuis 1999, les principaux pays contribuant à la production scientifique mondiale voient leur part mondiale de publications diminuer alors que certains pays émergents, notamment en Asi, affichent des progressions très significatives de leur contribution. Source : B. Bénichoux - 25 juin 2010

96 Indice de spécialisation scque
En 2004, le profil disciplinaire de la France est équilibré, sauf une spécialisation forte en mathématiques (indice de 1.6). Les indices de spécialisation sont légèrement supérieures à 1 en physique et en sciences de l’univers, légèrement inférieurs à 1 en sciences pour l’ingénieur et en biologie appliquée-écologie. Entre 1999 et 2004, la France renforce sa spécialisation en mathématiques, physique et sciences pour l’ingénieur. D’autres disciplines, telles la chimie, la biologie appliquée-écologie ou la recherche médical, voient au contraire leur indice de spécialisation diminuer. B. Bénichoux - 25 juin 2010

97 La France est trsè spécialisée en mathématiques
La France est trsè spécialisée en mathématiques. Le Royaume Uni plutôt en recherche médicale B. Bénichoux - 25 juin 2010

98 Part de citations En 2004, la part de citations à deux ans de la France dans l’espace mondial est de 4.4%. Elle a suivi un cours similaire à celui de la part mondiale de publications, mais décalé dans le temps : elle a progressé jusqu’en 1997, et s’est effritée lentement à partir de 2001. B. Bénichoux - 25 juin 2010

99 Indice d’impact relatif
En 2004, l’indice d’impact à deux ans de la France dans l’espace mondial est de 0.94, inférieur donc à la moyenne mondiale égale à 1 par construction. Au total, l’indice d’impact de la France s’est amélioré sur l’ensemble de la période, passant de 0.91 en 1993 à 0.94 en 2004. B. Bénichoux - 25 juin 2010

100 Indice d’impact espéré
En 2003, la visibilité espérée de l’institution X est supérieure à la moyenne mondiale en biologie fondamentale et en recherche médicale avec des indices d’impact espérés en 2003 de 1.4 et de 2.25 respectivement. B. Bénichoux - 25 juin 2010

101 Ration de citations relatif
B. Bénichoux - 25 juin 2010

102 Indice d’activité par classe de citations
S’agissant des citations à deux ans, l’indice d’activité de la France toutes disciplines confondues est supérieur à la moyenne mondiale dans les 5 premières classes de citations; il est voisin de 1.0 dans les trois premières classes de citations, c’’st-à-dire parmi 20% d’articles les plus cités au niveau international. Il est proche de l’indice mondial dans les deux classes suivantes. Enfin, il est inférieur à la moyenne mondiale (0.96) dans la classe des articles peu ou pas cités. C’est biologie appliquée-écologie puis en sciences de l’univers et sciences pour l’ingénieur que la France a les plus forts indices d’activité dans la classe des 5% d’articles les plus cités au niveau mondial. Elle a également dans cette classe un indice d’activité supérieur à la moyenne mondiale en physique (1.14), mathématiques (1.14), et recherche médicale (1.04). B. Bénichoux - 25 juin 2010

103 Part d’articles en co-publication
En 2004, les Etats-Unis sont impliqués dans 24.7% des co-publications internationales de la France et sont notre premier partenaire. L’Allemagne et le Royaume-Uni sont presque à égalité, avec 15.3% et 14.1% des co-publications. Viennent ensuite des pays proches géographiquement : l’Italie, l’Espagne, la Suisse et la Belgique. Le Canada et la Russie, avec des parts inférieures à 6%, sont à la 8° et 10° places toutes disciplines confondues. B. Bénichoux - 25 juin 2010

104 Facteur d’usage des articles
Prestige vs. Popularité Les + Disponible rapidement, avant les citations Pas uniquement articles Différents aspects de l’impact Recouvrement usage factor/impact factor articles Tout le monde ne lit pas à des fins de citation Bruit : Activité des robots Activité humaine : intention ? Mais peut augmenter nb déchargement, n’augmentera pas contenu articles COUNTER Code de pratique. Faciliter l’enregistrement l’échange et l’interprétation des données d’usage en ligne en établissant des protocoles. Se veut consistant, crédible et compatible. Pas bcp de recul : totu le monde n’utilise pas encore les standards; manque de data sets qui combinent les données d’usage avec d’autres sources d’ibformation B. Bénichoux - 25 juin 2010

105 Facteur d’usage des articles
Pas beaucoup de recul Pas beaucoup de données Bruit Activité humaine Robots Précautions dans l’interprétation Secteur en mouvement B. Bénichoux - 25 juin 2010

106 E-LIS = E-prints in Library and Information Science
E-LIS = E-prints in Library and Information Science B. Bénichoux - 25 juin 2010

107 B. Bénichoux - 25 juin 2010

108 COUNTER UKSG (2002) = Counting Online User NeTworked Electronic Resources SUSHI (Standardized Usage Statistics Harvesting Initiative) usage reports Indicateurs Comptages Usage impact factor Utilisé par Thomson : Journal Use Reports JUR (2006): analyse dans le contexte de l’institution; combinaison de données du JCR, du WOS, des institutions pour leurs publications, et de COUNTER pour les données d’utilisation des revues B. Bénichoux - 25 juin 2010

109 MESUR Los Alamos Laboratory MEtrics from Scholarly Usage of Resources
Modélisation des relations agent-document-contexte Nombreux indicateurs Encore expérimental ? B. Bénichoux - 25 juin 2010

110 Indicateurs qualitatifs
Evaluation par comité de lecture, a priori = peer reviewing… condition sine qua non Choix des experts Sur dossier ou par entretien Mais … Anonymat favorise désengagement Expertise, efficacité qualitative Logiques de carrière Longueur et coût du processus Rôle de filtre ? Étendue des tâches scientifiques et administratives Coûts de la recherche B. Bénichoux - 25 juin 2010

111 Indicateurs qualitatifs
Modèles alternatifs Open peer-review : anonymat des experts levé Critiques argumentées Evaluation par les lecteurs a posteriori = peer commenting Co-existence de deux modèles Autocensure (crédibilité) dans les archives ouvertes Prix Articles/chercheurs B. Bénichoux - 25 juin 2010

112 Faculty of 1000 Faculty of 1000 Evalue les articles
Biologie et médecine Experts 2 à 4 articles /mois Commentaire + classement typologique + note Controverse (dissent) articles Typologie = Novel finding, Technical advance, Interesting hypothesis, Important confirmation, Controversial findings Note = 3,6,9 recommended, must read, exceptional Mot de passe B. Bénichoux - 25 juin 2010

113 B. Bénichoux - 25 juin 2010

114 Sources de données Processus d’évaluation Bibliométrie Indicateurs
WOS Scopus Google scholar Cite Base Normalisation des adresses Classement des universités Processus d’évaluation Bibliométrie Indicateurs Quantitatifs Qualitatifs B. Bénichoux - 25 juin 2010

115 Web of Science, Thomson Généralités
Vise la qualité (sélection stricte) Cover to cover MAJ hebdomadaire Lien texte intégral Index de recherche auteurs, sources Sauvegarde historique – Alerte requête, citation Brevets Produits dérivés qui calculent les indicateurs : citation report (indice h), dans le WOS JCR (facteur d’impact, indice d’immédiateté), ESI (classement des auteurs, des organismes, des articles) Produits dérivés: + Researcher ID, mais pas d’utilité ici B. Bénichoux - 25 juin 2010

116 en positif… Les atouts en tant que base bibliométrique Antériorité
Multidisciplinarité Amélioration du traitement du champ auteur Lien auteur/affiliation En entier depuis 1975, prénom depuis 2006 Index Author finder Distinct Author Set Résultats : nb articles, nb citations Cited reference search Auteur : DAIS, prénom Travail avec l’ost NormAdress Auteur : les noms entiers de tous les auteurs et jusqu'à 5 initiales par auteur (jusqu'à 1974, saisie de 8 caractères, espace, deux initiales).Trois auteurs seulement seront visibles dans la liste de résultats , « et alii », mais le seront tous sur la notice complète. Pour les références citées, max de 15 caractères, espace, deux initiales du premier auteur. Pour la recherche,le moteur de recherche fera de lui-même les variations nécessaires par rapport au nb de caractères Lien auteur-affiliation pour l’auteur responsable de la publication seulement (nom de l’auteur précisé) Affiliation : toutes saisies, dans l’ordre d’apparition par l’éditeur. B. Bénichoux - 25 juin 2010

117 Tris (« analyze » ou « refine results »)
Auteur Type de document Institution Langue Année publication Titre revue Citation Report Nb total de citations Nb citations/an Nb moyen de citation/article H-index Sans les auto-citations B. Bénichoux - 25 juin 2010

118 Calculé sur la période demandée (ici 2000-2010)
B. Bénichoux - 25 juin 2010

119 B. Bénichoux - 25 juin 2010

120 B. Bénichoux - 25 juin 2010

121 Lien auteur-affiliation
Prénom en entier Lien auteur-affiliation B. Bénichoux - 25 juin 2010

122 B. Bénichoux - 25 juin 2010

123 Visualisation limitée à 100 lignes
B. Bénichoux - 25 juin 2010

124 Possibilité de sauvegarder les résultats
Visualisation limitée à 500 lignes B. Bénichoux - 25 juin 2010

125 graphe publications/an Nb moyen de citations/ article
Nb total de citations graphe citations/an Auto-citations H-index possibilité de retirer des articles Auto-citations : élimination des papiers cités dont le premier auteur est un des auteurs du papier citant B. Bénichoux - 25 juin 2010

126 et en négatif… Coût élevé Couverture anglophone, anglo-saxonne DT
Homogénéisation du champ adresse par les américains DT Pas (ou peu) d’archives ouvertes PLoS Keywords +  bruit Noms d’auteurs Difficile de trouver toutes les explications DT : très peu d’ouvrages, proceedings inclus depuis 2009, ce qui exclut certaines disciplines B. Bénichoux - 25 juin 2010

127 Scopus, Elsevier Généralités Vise l’exhaustivité
Couverture géographique variée Ressources alternatives, articles sous presse Couplage avec Scirus Brevets Indexation manuelle avec thesauri, traitement affiliations MAJ quotidienne Lien texte intégral Sauvegarde – Alerte (requête, citation art./auteur) Titles that have been added since 2004 when Scopus was launched. Coverage of these titles begins from the date they were added to Scopus, sinon sont sans interruption depuis 1996 Ressources alternatives :1200 revues en OA + exhaustif surtout dans le domaines de l’ingénierie, plus riche dans la partie SHS (titres CAIRN) B. Bénichoux - 25 juin 2010

128 Scopus, couverture géographique
B. Bénichoux - 25 juin 2010

129 Scopus Les + Multidisciplinarité
Traitement des noms d’auteur et fiche auteur Nombre de champs de recherche Résultats : nb articles, nb citations Analyse des résultats Indicateurs : Indice h et h graph dans citation tracker Journal Analyzer : nb documents, nb citations, SNIP, SJR, % articles non cités pour une revue ou comparaison Produit date de 2004 1200 open access reviews Scopus journal alnalyzer : Using Scopus’ citations, the Scopus Journal Analyzer enables you to compare up to 10 journals simultaneously, back to 1996, On a variety of parameters: total number of citations, articles published, percentage of articles not cited, and trend line simili FI. Updated every two months Recherche dans les titres de réf citées Pas d’index pour recherche des revues B. Bénichoux - 25 juin 2010

130 Différentes formulations du nom
A partir de advanced search B. Bénichoux - 25 juin 2010

131 Fiche auteur B. Bénichoux - 25 juin 2010

132 Différentes formulations de l’adresse
Advanced search  author name or affiliation ou affiliation search directement B. Bénichoux - 25 juin 2010

133 B. Bénichoux - 25 juin 2010

134 Citation tracker B. Bénichoux - 25 juin 2010

135 B. Bénichoux - 25 juin 2010

136 B. Bénichoux - 25 juin 2010

137 journal B. Bénichoux - 25 juin 2010

138 NEW Cette revue est dans Scopus depuis 2004
SNIP : corrige différences dans la fréquence de citations des différentes disciplines SJR : mesure de prestige :valeur des citations normalisées par document B. Bénichoux - 25 juin 2010

139 Scopus Les – Faible antériorité pour l’analyse des citations (1996)
 h index calculé avec données limitées Coût élevé B. Bénichoux - 25 juin 2010

140 Quelques différences SCOPUS WOS Citation tracker par tranches de 5 000
Recherche dans « all fields », et nombreux champs Tris affichés d’emblée dans résultats Troncature automatique WOS Funding information Cited reference search EndNoteWeb Index recherche auteurs et revues Analyze limité à Citation report pour moins de Analyze : moins de , mais affiche seulement 500 premiers résultats Recherche possible par DOI, ISSN, Cas numbers, B. Bénichoux - 25 juin 2010

141 Google Scholar Les + Gratuit
Couverture : éditeurs scientifiques, sociétés savantes, serveurs universitaires, bases de données Type de document : articles scientifiques, thèses, rapports, livres, preprints, catalogues Multidisciplinaire Langue Recherche par domaine sur version anglaise Résultats : nb articles, nb citations (cited by) Doublons, mais regroupés 2004 , encore en version bêta Couverture : chargement récent de Elsevier (indexe sciendirect), HAL en texte intégral (donc pas notices simples) INIST et ABES. N’utilise pas les métadonnées existantes, mais les reconstitue. Parfois des sources non scientifiques Couverture un peu meilleure en SHS, en business, administration, finance, economics Indexation en texte intégral  recherche partout ou dans le titre MAJ : inconnue, mais certainement moins fréquente que WOS Possibilité d’export à condition que soit choisi dans scholar preferences Langue : anglais, français, allemand, espagnol, italien, portugais, chinois ? Il faut connaître les fonctions avancées de Google : Intitle:, allintitle: (tous les mots doivent y être), inurl:, allinurl:, author:, filetype:, site: +, -, OR Les + : Can help identify a significant number of unique citations Les - : Contenu : parfois, des documents qui n’ont rien de scientifique (notes administratives, visites de bibli…) et toutes les revues scientifiques importantes ne sont pas indexées. Définition des domaines ? B. Bénichoux - 25 juin 2010

142 Google Scholar Les – Base non contrôlée, donc non reproductible, mise à jour Indexation en texte intégral Comptage des citations imprécis, doublons Contenu varie en permanence, couverture inconnue MAJ : fréquence inconnue, tous les 3 mois ? Mauvaises performances avant 1990 Aucun traitement manuel Fonctionnalités limitées Avant 1990 : beaucoup de documents ne sont pas sur le web Pas de traitement manuel : pas de nettoyage, interprétation des virgules, points en tant que séparateurs ( un nom d’auteur peut devenir un titre) mauvaise gestion des homonymies Traitement des fi, ff fl avec lateX qui crée une ligature ex/ Bradfield Les doublons induisent des erreurs dans le calcul du h-index : si une publication a reçu 5 citations, mais se présente sous deux formes parce que venant de deux bases différentes par exemple, ce ne sera pas une publication avec 5 citations, mais deux publications, dont une avec 3, l’autre avec 2 citations. Des lacunes dans les résultats, pas exhaustif : exemple : cybergéo dans HALSHS  tous les éditoriaux, mais pas les articles… B. Bénichoux - 25 juin 2010

143 B. Bénichoux - 25 juin 2010

144 Publish or Perish / Harzing
Les + Gratuité, logiciel à décharger Nombreux indicateurs dont h index, g index Avantages de Google Scholar Présentation Les - Les inconvénients de Google Scholar Recherche par auteur Avantages Meilleure prise en compte des citations provenant d’autres types de documents (proceedings,…) Meilleure gestion des doublons que le Web of Science Limites Google Scholar peut inclure des citations « non-scientifiques » (provenant de travaux d’étudiants…) Toutes les revues scientifiques ne sont pas indexées par Google Scholar Disparité selon les disciplines Mauvaise représentation des publications anciennes L’ACI (Autonomous Citation Index) peut générer de grossières erreurs Comme dans toutes les bases : mauvaise gestion des auteurs Indicateurs : Total number of papers Total number of citations Average number of citations per paper : sont inclus dans le calcul seulement les articles, pas :book reviews, editorial comments, call for papers, submitted/fothcoming/under revision (de GS) Average number of papers/citations per author Hirsch's h-index and related parameters Egghe's g-index, The contemporary h-index, The age-weighted citation rate Two variations of individual h-indices An analysis of the number of authors per paper B. Bénichoux - 25 juin 2010

145 B. Bénichoux - 25 juin 2010

146 Whitesides, GM 1996-2010 Harzing Scopus WoS Nb articles 806 1047 643
Nb citations 40153 83991 48039 Citations/articles 49.82 80.22 74.71 H index 97 140 109 B. Bénichoux - 25 juin 2010

147 Cite Base Les + Littérature scientifique libre (archives OAI-PMH) Couverture : physique, maths, sc information et biomédecine Index les références bibliogr, les métadonnées Indicateurs : nb citations des articles, des auteurs, nb déchargements des articles, des auteurs, cocitations Lien vers le texte intégral Les – Base expérimentale Look de l’interface Ne pas oublier l’utilisation de bases bibliographiques par des bibliométriciens (Pascal, Medline…) Dédoublonnage : titre et premier auteur identiques Nb Hits relevés différemment d’une source à l’autre (arXiv depuis 1999, pas dans Cogprints) B. Bénichoux - 25 juin 2010

148 autres CiteSeerx Archives institutionnelles Bases spécifiques SHS
ERIH AERES JournalBase Certaines bases thématiques introduisent les références bibliographiques Chemical abstracts Mathsci Net BioMed Central E-LIS … Eprints in Library and information sc Cite seer x : Pennsylvania State University 1 500 000 documents, 29 000 000 citations en février 2010 la base initiale Citeseer est toujours visible mais caduque. Citeseerx constitue la version bêta en vigueur. Elle permet de visualiser le contexte dans lequel sont rédigées les citations, dans les articles citants eux-mêmes. literature in computer and information science Rather than creating just another digital library, CiteSeerx attempts to provide resources such as algorithms, data, metadata, services, techniques, and software that can be used to promote other digital libraries. Couverture Spécialisée en informatique, avec citations, mais aussi classement de conférences, journaux et auteurs. Résultats très différents de ceux du WOS Visualisation des résultats résumé + références bibliographiques avec lien vers le full text historique des différentes versions related documents = « active bibliography » (documents that cite the same works) and documents cited by the same works liste de most cited B. Bénichoux - 25 juin 2010

149 Normalisation des adresses
Bibliométrie Indicateurs Quantitatifs Qualitatifs Normalisation des adresses Processus d’évaluation Classement des universités Indicateurs ET PRODUCTEURS B. Bénichoux - 25 juin 2010

150 Prévenir les chercheurs/auteurs !
Qu’advient-il de leur « manuscrit » ? Editeur Producteur base de données Producteur indicateurs B. Bénichoux - 25 juin 2010

151 Traitement par Thomson
Hiérarchie descendante Inversion de l’ordre « And »  deux lignes Normalisation Lien auteur-affiliation Une seule main organization par ligne Recherche information dans toute la ligne … mais uniquement OG dans ESI Multi affiliations  mono-ligne ou multi lignes Hiérarchie descendante  parfois retraduction de l’affiliation, Inversion de l’ordre  retraduction de hiérarchie ou choix quasi systématique de l’université en MO Duplication si AND : peut provoquer fausse interpétation, si même ligne  coopération, si 2 lignes  co publication Main organisation : Pour la recherche d’info, on recherche sur n’importe quel mot de la ligne Comptes dans tris sont biaisés car analysent toutes les lignes B. Bénichoux - 25 juin 2010

152 Exemple hiérarchie Affiliation d’un auteur
Unité de physiologie animale, INRA, F Rennes OU INRA, Unité de physiologie animale, F Rennes Sera retranscrite dans le WOS, selon un modèle hiérarchique descendant : [main organization]=INRA [sub organization]=unité de physiologie animale B. Bénichoux - 25 juin 2010

153 Problème de repérage de main organization
Author(s): Valton, S. Peyrin, F. Delpierre, P. Debarbieux, F. Bonissent, A. Khoury, R. Meessen, C. Morel, C., Sappey-Marinier, D. Addresses: Sappey-Marinier D (reprint author), CREATIS, CNRS, UMR 5515, F Villeurbanne, France CREATIS, CNRS, UMR 5515, F Villeurbanne, France CREATIS, INSERM, U630, F Villeurbanne, France Inst Natl Sci Appl, CREATIS, F Villeurbanne, France Univ Lyon 1, CREATIS, F Bron, France Univ Mediterranee Aix Marseille 2, CPPM, CNRS, INP3, UMR 6550, F Marseille, France Adresse principale sur leur site = CREATIS-LRMN - INSA LYON  Bâtiment Blaise Pascal, 7 Avenue Jean Capelle, Villeurbanne Cedex Unité de recherche en imagerie médicale Mélange hiérarchie ascendante et descendante CNRS ne sera pas identifié comme OG B. Bénichoux - 25 juin 2010

154 « analyze » B. Bénichoux - 25 juin 2010

155 Problème de repérage Author(s): Valton, S. Peyrin, F. Delpierre, P. Debarbieux, F. Bonissent, A. Khoury, R. Meessen, C. Morel, C., Sappey-Marinier, D. Addresses: Sappey-Marinier D (reprint author), CREATIS, CNRS, UMR 5515, F Villeurbanne, France CREATIS, CNRS, UMR 5515, F Villeurbanne, France CREATIS, INSERM, U630, F Villeurbanne, France Inst Natl Sci Appl, CREATIS, F Villeurbanne, France Univ Lyon 1, CREATIS, F Bron, France Univ Mediterranee Aix Marseille 2, CPPM, CNRS, INP3, UMR 6550, F Marseille, France Adresse principale sur leur site = CREATIS-LRMN - INSA LYON  Bâtiment Blaise Pascal, 7 Avenue Jean Capelle, Villeurbanne Cedex Unité de recherche en imagerie médicale B. Bénichoux - 25 juin 2010

156 Multi-affiliations Laboratoires mixtes
Tutelles sur la même ligne = monoligne Adresse scindée en plusieurs lignes = multiligne Les laboratoires mixtes sont incités par certaines tutelles à scinder leur adresse en autant de lignes qu'ils ont de tutelles (adoption du libellé « multi-ligne»), alors que d'autres s'opposent à cette disposition. avantage : contrecarrer les effets de la mauvaise prise en compte des affiliations multiples par Thomson inconvénient : multiplier fictivement le nombre de laboratoires impliqués dans un article et de modifier le calcul de certains indicateurs. Avantages Toutes les tutelles d’une UMR sont correctement identifiées· Toutes les tutelles sont visibles dans ESI· Inconvénients : La notion d’UMR est perdue.· Il est impossible de distinguer tutelle d’une unité et collaboration entre ces tutelles· Non conformité avec les pratiques habituelles del’OST B. Bénichoux - 25 juin 2010

157 Multi-affiliations Conséquences Avantages multi ligne :
rétablit mauvaise prise en compte multi affiliations dans WoS toutes les tutelles d’une UMR sont identifiées Inconvénients multi ligne : modifie calcul de certains indicateurs empêche d’identifier tutelles d’une unité et collaboration B. Bénichoux - 25 juin 2010

158 Modèle multi ligne … Les auteurs ont appliqué le modèle multi-ligne : trois des auteurs appartiennent à une UMR à trois tutelles avec 3 renvois par auteur B. Bénichoux - 25 juin 2010

159 … dans le WoS Lancement de « analyze »
Cette fonction affecte les publications aux établissements identifiés comme [main organization]. Il s’agit d’un compte de présence B. Bénichoux - 25 juin 2010

160 Modèle mono ligne… B. Bénichoux - 25 juin 2010

161 … dans le WoS Thomson a réordonné les adresses au profit des universités. L’université Claude Bernard a été retranscrite sous l’appellation « univ Lyon 1 » Dans « analyze » du WoS et dans ESI, cette publication ne sera pas attribuée à l’INSERM ou à l’INRA, bien que ces organismes soient dans les tutelles des UMR, car ils sont identifiés comme des [sub organization] B. Bénichoux - 25 juin 2010

162 Conséquences Perte de visibilité des organismes français
Pertinence du calcul des indicateurs Exhaustivité d’identification Choix du type de comptage Sur , pourcentage de publis retenues dans ESI (seules les données du champ OG sont traitées) par rapport à WoS (on fait la recherche sur tous les éléments de l’adresse) : CNRS : 24%, INSERM : 17% Mais CEA : 82%, INRIA : 92% Exhaustivité d’identification : dépend de Recensement par les acteurs de leur propre production; conditionne l’exhaustivité des résultats d’interrogation Structuration de la base : conditionne la comparabilité des indicateurs entre les acteurs identifiés Choix du type de comptage : B. Bénichoux - 25 juin 2010

163 Recommandations /propositions?
Appellation unique Hiérarchie ascendante/descendante Monoligne/multiligne Monoligne : univ Marne la Vallée Multiligne : INSERM, CNRS Adresse Détaillée pour auteur référent (IRD, université, INSERM) Sans cedex Unicité acronyme unité (IRD) Unités mixtes Structures pérennes et stables Ponctuation Sans trait d’union : « Université Paris Descartes » Appellation unique : universités ne pas mettre le numéro qui peut ressembler à un classement Hiérarchie : au moins choisir la même pour tous les auteurs Ne mentionner que des structures ayant une pérennité et une stabilité dans le temps Privilégier le modèle multiligne si Thomson ne prend pas en compte plusieurs MO : meilleure visibilité mais inconvénient de fausser les valeurs des indicateurs de la LOLF (en compte fractionnaire et indicateurs de collaboration). Un choix de priorités est à faire B. Bénichoux - 25 juin 2010

164 Normadresses OST, fin 2006 Améliorer libellé des adresses françaises dans WoS Normalisation des adresses Information sur les modes de calcul des producteurs Trois propositions Normalisation adresses, forme descendante Listes d’autorité Laboratoires multi-affiliés B. Bénichoux - 25 juin 2010

165 Merci …. B. Bénichoux - 25 juin 2010