20/04/2018 École de bibliothéconomie et des sciences de l'information SCI6304 – Bibliométrie et communication savante Cours 9 Applications, défis actuels et effets pervers de la bibliométrie 4-11 novembre 2016 SCI6304 (A2012) - Vincent Larivière

Plan de la séance Langue de publication Études de cas: Défis actuels Évaluation de la recherche et classements Sociologie des sciences Développement de collections Défis actuels Effets pervers

Création de nouvelles revues selon la langue

La domination de l’anglais Création de nouvelles revues selon le pays et la langue

Québec et langue de publication

Auteurs québécois, revues canadiennes

Langue de publication des articles russes, 1973-2010 (Kirtchik et al

Impact scientifique des articles russes, selon le type de revue 1973-2010 (Kirtchik et al., 2012)

Quelques applications Bibliométrie et scientométrie Histoire des sciences Économie Sociologie des sciences Politiques scientifiques Sciences de l’information et de la documentation Évaluation de la recherche

Évaluation de la recherche (1) Forme traditionnelle: évaluation par les pairs Évaluation par les pairs: procédé par lequel un chercheur soumet ses travaux, un projet ou son dossier de recherche au regard des autres qui sont des experts dans le même domaine Appliqué à plusieurs niveaux dans la communauté scientifique: Publications Subventions et bourses Positions Permanence

Évaluation de la recherche (2) Désavantages de l’évaluation par les pairs dans l’évaluation de la recherche Dispendieux Taille optimale: individus ou groupes de recherche Moins efficace à l’échelle d’institutions ou de pays Subjectif La bibliométrie est donc de plus en plus utilisée afin de complémenter ou remplacer l’évaluation par les pairs

Évaluation de la recherche (3) Research Assessment Exercise en Grande-Bretagne Mesure la productivité et l’impact des départements et les finance (en partie) en fonction de leur classement Tenu aux 3-4-5 ans depuis 1986 Quatre scores peuvent être obtenus Chaque chercheur du département évalué fournit 4 articles qu’il veut voir inclus: Donc, on ne prend pas l’ensemble de la production scientifique des chercheurs Ni l’ensemble des chercheurs (personnel non-permanent exclu)

Les classements: Le ranking de Shanghai

Les classements: Le Times Higher Education Supplement Utilise les données de Thomson Reuters Méthode pas très claire: on dit que l’on normalise les citations selon la spécialité et la région du monde, mais le détail de la recette n’est pas fourni… Indicateurs: bibliométrie et sondage (16,639 répondants) Enseignement (sondage): 30% Recherche: publications, revenus et réputation (30%) Citations (30%) Revenus industriels (2,5%) Visibibité internationale: employés, étudiants et collaboration internationale des articles (7,5%) http://www.timeshighereducation.co.uk/world-university-rankings/

Sociologie des sciences: L’effet St-Matthieu à l’échelle des revues L’effet St-Matthieu: « For to all those who have, more will be given, and they will have an abundance; but from those who have nothing, even what they have will be taken away” (25:29) » Comment contrôler pour la qualité intrisèque des articles (ou des chercheurs)? Ceux qui ont davantage sont peut-être simplement meilleurs? Méthode: articles identiques publiés dans deux revues distinctes (4,532 paires publiées dans deux journaux à facteur d’impact différent, pour un total de 9,064 articles).

Citations reçues par les articles dupliqués (Larivière et Gingras, 2010)

Développement des collections: Transformation des pratiques de citation, 1900-aujourd’hui Quelles revues utilisent les chercheurs? À l’ère des grands ensembles Cite-t-on du matériel plus récent ou plus vieux? Autrement dit, est-ce que la durée de vie des documents est plus grande aujourd’hui qu’auparavant? Doit-on s’abonner aux documents rétrospectifs? Les citations sont elles plus « concentrées » entre certains articles ou distribuées de plus en plus uniformément? À combien de revues doit-on s’abonner? Plus ou moins?

Croissance exponentielle de la science Création de nouvelles revues (Base de données ULRICH)

Consolidation de l’édition savante

Consolidation de l’édition savante

Consolidation de l’édition savante

Consolidation de l’édition savante Profits de Elsevier

Concentration et triangulation des indicateurs

Nombre de revues centrales

Âge moyen de la littérature citée, 1900-2004

Âge médian de la littérature citée, 1900-2004

Âge médian de la littérature citée en astronomie et en physique des particules, 1900-2004

Pourcentage des articles ayant reçu au moins une citation, 1900-2004

Pourcentage cumulatif d’articles nécessaires afin d’obtenir 20%, 50% et 80% des citations, 1900-2004

Défis actuels: désambiguation des auteurs Homonymes!!! Faire le test: qui est l’auteur canadien le plus productif en 2011? Que prendre en compte pour faire la désambiguation? Disciplines/revues Co-auteurs Références Mots-clés Noms de famille rares

Défis actuels: mesures d’impact et couverture Prendre en compte la diversité des pratiques de citations Mesures de l’impact sur la société Twitter et autres médias sociaux? Augmentation de la couverture de la littérature Tout couvrir en Sciences Couverture des livres Couverture de la littérature locale, dans des langues autres que l’anglais

Effets pervers… L’effet « Hawthorne » Lorsque les “participants” d’une étude connaissent les critères d’évaluation et changent leur comportement… Que font les chercheurs en sachant qu’ils seront évalués par la bibliométrie? Prime à la publication dans les “grandes” revues dans certains pays Fraude scientifique… Prêtes-noms (ghost writing)

Nombre d’articles rétractés, 1973-2005 (Furman et al., 2012)

Citations pré- et post-rétractation (Furman et al., 2012)

Effet des rétractation (Mongeon et Larivière, 2015)

Taux d’admission de fraude (Fannelli, 2009)

Bibliographie Fanelli D. (2009) How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data. PLoS One, 4(5): e5738. Furman, J, Jensen, K, Murray, F. (2012) Governing knowledge in the scientific community: exploring the role of retractions in biomedicine. Research Policy, Research Policy 41: 276– 290, Kirchik, O., Gingras, Y., Larivière, V. (2012) Changes in publication languages and citation practices and their effect on the scientific impact of Russian Science (1993-2009). Journal of the American Society for Information Science and Technology, 63(7): 1411–1419. Larivière, V., Archambault, É., Gingras, Y. (2008) Long-term variations in the aging of scientific literature: from exponential growth to steady-state science (1900-2004). Journal of the American Society for Information Science and Technology, 59(2): 288–296. Larivière, V., Gingras, Y., Archambault, É. (2009) The decline in the concentration of citations, 1900-2007. Journal of the American Society for Information Science and Technology, 60(4): 858- 862. Larivière, V., Gingras, Y. (2010) The impact factor’s Matthew effect: a natural experiment in bibliometrics. Journal of the American Society for Information Science and Technology, 61(2): 424- 427. Mongeon, P., & Larivière, V. (2015). Costly collaborations: The impact of scientific fraud on co‐authors' careers. À paraître dans le Journal of the Association for Information Science and Technology. Merton, R.K. (1968). The Matthew Effect in science. Science, 159(3810): 56–63