Faculté des arts et des sciences SCI6304 Cours /8 1/25 Faculté des arts et des sciences École de bibliothéconomie et des sciences de l'information SCI6304 – Bibliométrie et communication savante Cours 7 Applications, défis actuels et effets pervers de la bibliométrie 7 novembre 2014

Faculté des arts et des sciences SCI6304 Cours /8 2/25 Plan de la séance  Brièvement: langue de publication  Études de cas:  Évaluation de la recherche et classements  Sociologie des sciences  Développement de collections  Défis actuels  Effets pervers

Faculté des arts et des sciences SCI6304 Cours /8 3/25 Langue de publication des articles Russes, (Kirtchik et al., 2012)

Faculté des arts et des sciences SCI6304 Cours /8 4/25 Impact scientifique des articles Russes, selon le type de revue (Kirtchik et al., 2012)

Faculté des arts et des sciences SCI6304 Cours /8 5/25 Quelques applications Bibliométrie et scientométrie Histoire des science Économie Sociologie des sciences Politiques scientifiques Sciences de l’information et de la documentation Évaluation de la recherche

Faculté des arts et des sciences SCI6304 Cours /8 6/25 Évaluation de la recherche (1)  Forme traditionnelle: évaluation par les pairs  Évaluation par les pairs: procédé par lequel un chercheur soumet ses travaux, un projet ou son dossier de recherche au regard des autres qui sont des experts dans le même domaine  Appliqué à plusieurs niveaux dans la communauté scientifique: Publications Subventions et bourses Positions Permanence

Faculté des arts et des sciences SCI6304 Cours /8 7/25 Évaluation de la recherche (2)  Désavantages de l’évaluation par les pairs dans l’évaluation de la recherche  Dispendieux  Taille optimale: individus ou groupes de recherche Moins efficace à l’échelle d’institutions ou de pays  Subjectif  La bibliométrie est donc de plus en plus utilisée afin de complémenter ou remplacer l’évaluation par les pairs

Faculté des arts et des sciences SCI6304 Cours /8 8/25 Évaluation de la recherche (3)  Research Assessment Exercise en Grande- Bretagne  Mesure productivité et l’impact des départements et les finance (en partie) en fonction de leur classement.  Tenu aux ans depuis 1986  Quatre scores peuvent-être obtenus.  Chaque chercheur du département évalué fournit 4 articles qu’il veut voir inclus:  Donc, on ne prends pas l’ensemble de la production scientifique des chercheurs Ni l’ensemble des chercheurs (personnel non- permanent exclut)

Faculté des arts et des sciences SCI6304 Cours /8 9/25 Les Classements: Le ranking de Shanghai

Faculté des arts et des sciences SCI6304 Cours /8 10/25 Les Classements: Le Times Higher Education Supplement  Utilise les données de Thomson Reuters  Méthode pas très claire: on dit que l’on normalise les citations selon la spécialité et la région du monde, mais le détail de la recette n’est pas fournit…  Indicateurs: bibliométrie et sondage (16,639 répondants)  Enseignement (sondage): 30%  Recherche: publications, revenus et réputation (30%)  Citations (30%)  Revenus industriels (2,5%)  Visibibité Internationale: employés, étudiants et collaboration internationale des articles (7,5%)

Faculté des arts et des sciences SCI6304 Cours /8 11/25 Sociologie des sciences: L’effet St-Matthieu à l’échelle des revues  L’effet St-Matthieu: « For to all those who have, more will be given, and they will have an abundance; but from those who have nothing, even what they have will be taken away” (25:29) »  Comment contrôler pour la qualité intrisèque des articles (ou des chercheurs)?  Ceux qui ont davantage sont peut-être simplement meilleurs?  Méthode: articles identiques publiés dans deux revues distinctes (4,532 paires publiées dans deux journaux à facteur d’impact différent, pour un total de 9,064 articles).

Faculté des arts et des sciences SCI6304 Cours /8 12/25 Citations reçues par les articles dupliqués (Lariviere et Gingras, 2010)

Faculté des arts et des sciences SCI6304 Cours /8 13/25 Développement des collections: Transformation des pratiques de citation, 1900-aujourd’hui  Cite-t-on du matériel plus récent ou plus vieux? Autrement dit, est-ce que la durée de vie des documents est plus rapide aujourd’hui qu’auparavant?  Doit-on s’abonner aux documents rétrospectifs?  Les citations sont elles plus « concentrées » entre certains papiers ou distribuées de plus en plus uniformément?  À combien de revues doit-on s’abonner? Plus ou moins?

Faculté des arts et des sciences SCI6304 Cours /8 14/25 Âge moyen de la littérature citée,

Faculté des arts et des sciences SCI6304 Cours /8 15/25 Âge médian de la littérature citée,

Faculté des arts et des sciences SCI6304 Cours /8 16/25 Âge médian de la littérature citée en astronomie et en physique des particules,

Faculté des arts et des sciences SCI6304 Cours /8 17/25 Pourcentage des articles ayant reçu au moins une citation,

Faculté des arts et des sciences SCI6304 Cours /8 18/25 Pourcentage cumulatif d’articles nécessaires afin d’obtenir 20%, 50% et 80% des citations,

Faculté des arts et des sciences SCI6304 Cours /8 19/25 Défis actuels: désambiguation des auteurs  Homonymes!!!  Faire le test: qui est l’auteur canadien le plus productif en 2011?  Que prendre en compte pour faire la désambiguation?  Disciplines/revues  Co-auteurs  Références  Mots-clés  Noms de famille rares

Faculté des arts et des sciences SCI6304 Cours /8 20/25 Défis actuels: mesures d’impact et couverture  Prendre en compte la diversité des pratiques de citations  Mesures de l’impact sur la société  Twitter et autres médias sociaux?  Augmentation de la couverture de la littérature  Tout couvrir en Sciences  Couverture des livres  Couverture de la littérature locale, dans des langues autres que l’anglais

Faculté des arts et des sciences SCI6304 Cours /8 21/25 Effets pervers…  L’effet « Hawthorne »  Lorsque les “participants” d’une étude connaissent les critères d’évaluation et changent leur comportement…  Que font les chercheurs en sachant qu’ils seront évalués par la bibliométrie?  Prime à la publication dans les “grandes” revues dans certains pays  Fraude scientifique…  Prêtes-noms (ghost writing)

Faculté des arts et des sciences SCI6304 Cours /8 22/25 Nombre d’articles rétractés, (Furman et al., 2012)

Faculté des arts et des sciences SCI6304 Cours /8 23/25 Citations pré- et post-rétractation (Furman et al., 2012)

Faculté des arts et des sciences SCI6304 Cours /8 24/25 Taux d’admission de fraude (Fannelli, 2009)

Faculté des arts et des sciences SCI6304 Cours /8 25/25 Fanelli D. (2009) How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data. PLoS One, 4(5): e5738. Furman, J, Jensen, K, Murray, F. (2012) Governing knowledge in the scientific community: exploring the role of retractions in biomedicine. Research Policy, Research Policy 41: 276– 290, Kirchik, O., Gingras, Y., Larivière, V. (2012) Changes in publication languages and citation practices and their effect on the scientific impact of Russian Science ( ). Journal of the American Society for Information Science and Technology, 63(7): 1411–1419. Larivière, V., Archambault, É., Gingras, Y. (2008) Long-term variations in the aging of scientific literature: from exponential growth to steady-state science ( ). Journal of the American Society for Information Science and Technology, 59(2): 288–296. Larivière, V., Gingras, Y., Archambault, É. (2009) The decline in the concentration of citations, Journal of the American Society for Information Science and Technology, 60(4): Larivière, V., Gingras, Y. (2010) The impact factor’s Matthew effect: a natural experiment in bibliometrics. Journal of the American Society for Information Science and Technology, 61(2): Merton, R.K. (1968). The Matthew Effect in science. Science, 159(3810): 56–63 Bibliographie