20/04/2018 École de bibliothéconomie et des sciences de l'information

Présentation au sujet: "20/04/2018 École de bibliothéconomie et des sciences de l'information"— Transcription de la présentation:

1 20/04/2018 École de bibliothéconomie et des sciences de l'information SCI6304 – Bibliométrie et communication savante Cours 9 Applications, défis actuels et effets pervers de la bibliométrie 4-11 novembre 2016 SCI6304 (A2012) - Vincent Larivière

2 Plan de la séance Langue de publication Études de cas: Défis actuels
Évaluation de la recherche et classements Sociologie des sciences Développement de collections Défis actuels Effets pervers

3 Création de nouvelles revues selon la langue

4 La domination de l’anglais
Création de nouvelles revues selon le pays et la langue

5 Québec et langue de publication

6 Auteurs québécois, revues canadiennes

7 Langue de publication des articles russes, 1973-2010 (Kirtchik et al

8 Impact scientifique des articles russes, selon le type de revue 1973-2010 (Kirtchik et al., 2012)

9 Quelques applications
Bibliométrie et scientométrie Histoire des sciences Économie Sociologie des sciences Politiques scientifiques Sciences de l’information et de la documentation Évaluation de la recherche

10 Évaluation de la recherche (1)
Forme traditionnelle: évaluation par les pairs Évaluation par les pairs: procédé par lequel un chercheur soumet ses travaux, un projet ou son dossier de recherche au regard des autres qui sont des experts dans le même domaine Appliqué à plusieurs niveaux dans la communauté scientifique: Publications Subventions et bourses Positions Permanence

11 Évaluation de la recherche (2)
Désavantages de l’évaluation par les pairs dans l’évaluation de la recherche Dispendieux Taille optimale: individus ou groupes de recherche Moins efficace à l’échelle d’institutions ou de pays Subjectif La bibliométrie est donc de plus en plus utilisée afin de complémenter ou remplacer l’évaluation par les pairs

12 Évaluation de la recherche (3)
Research Assessment Exercise en Grande-Bretagne Mesure la productivité et l’impact des départements et les finance (en partie) en fonction de leur classement Tenu aux ans depuis 1986 Quatre scores peuvent être obtenus Chaque chercheur du département évalué fournit 4 articles qu’il veut voir inclus: Donc, on ne prend pas l’ensemble de la production scientifique des chercheurs Ni l’ensemble des chercheurs (personnel non-permanent exclu)

13 Les classements: Le ranking de Shanghai

14 Les classements: Le Times Higher Education Supplement
Utilise les données de Thomson Reuters Méthode pas très claire: on dit que l’on normalise les citations selon la spécialité et la région du monde, mais le détail de la recette n’est pas fourni… Indicateurs: bibliométrie et sondage (16,639 répondants) Enseignement (sondage): 30% Recherche: publications, revenus et réputation (30%) Citations (30%) Revenus industriels (2,5%) Visibibité internationale: employés, étudiants et collaboration internationale des articles (7,5%)

15 Sociologie des sciences: L’effet St-Matthieu à l’échelle des revues
L’effet St-Matthieu: « For to all those who have, more will be given, and they will have an abundance; but from those who have nothing, even what they have will be taken away” (25:29) » Comment contrôler pour la qualité intrisèque des articles (ou des chercheurs)? Ceux qui ont davantage sont peut-être simplement meilleurs? Méthode: articles identiques publiés dans deux revues distinctes (4,532 paires publiées dans deux journaux à facteur d’impact différent, pour un total de 9,064 articles).

16 Citations reçues par les articles dupliqués (Larivière et Gingras, 2010)

17 Développement des collections: Transformation des pratiques de citation, 1900-aujourd’hui
Quelles revues utilisent les chercheurs? À l’ère des grands ensembles Cite-t-on du matériel plus récent ou plus vieux? Autrement dit, est-ce que la durée de vie des documents est plus grande aujourd’hui qu’auparavant? Doit-on s’abonner aux documents rétrospectifs? Les citations sont elles plus « concentrées » entre certains articles ou distribuées de plus en plus uniformément? À combien de revues doit-on s’abonner? Plus ou moins?

18 Croissance exponentielle de la science
Création de nouvelles revues (Base de données ULRICH)

19 Consolidation de l’édition savante

20 Consolidation de l’édition savante

21 Consolidation de l’édition savante

22 Consolidation de l’édition savante
Profits de Elsevier

23 Concentration et triangulation des indicateurs

24 Nombre de revues centrales

25 Âge moyen de la littérature citée, 1900-2004

26 Âge médian de la littérature citée, 1900-2004

27 Âge médian de la littérature citée en astronomie et en physique des particules, 1900-2004

28 Pourcentage des articles ayant reçu au moins une citation, 1900-2004

29 Pourcentage cumulatif d’articles nécessaires afin d’obtenir 20%, 50% et 80% des citations, 1900-2004

30 Défis actuels: désambiguation des auteurs
Homonymes!!! Faire le test: qui est l’auteur canadien le plus productif en 2011? Que prendre en compte pour faire la désambiguation? Disciplines/revues Co-auteurs Références Mots-clés Noms de famille rares

31 Défis actuels: mesures d’impact et couverture
Prendre en compte la diversité des pratiques de citations Mesures de l’impact sur la société Twitter et autres médias sociaux? Augmentation de la couverture de la littérature Tout couvrir en Sciences Couverture des livres Couverture de la littérature locale, dans des langues autres que l’anglais

32 Effets pervers… L’effet « Hawthorne »
Lorsque les “participants” d’une étude connaissent les critères d’évaluation et changent leur comportement… Que font les chercheurs en sachant qu’ils seront évalués par la bibliométrie? Prime à la publication dans les “grandes” revues dans certains pays Fraude scientifique… Prêtes-noms (ghost writing)

33 Nombre d’articles rétractés, 1973-2005 (Furman et al., 2012)

34 Citations pré- et post-rétractation (Furman et al., 2012)

35 Effet des rétractation (Mongeon et Larivière, 2015)

36 Taux d’admission de fraude (Fannelli, 2009)

37 Bibliographie Fanelli D. (2009) How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data. PLoS One, 4(5): e5738. Furman, J, Jensen, K, Murray, F. (2012) Governing knowledge in the scientific community: exploring the role of retractions in biomedicine. Research Policy, Research Policy 41: 276– 290, Kirchik, O., Gingras, Y., Larivière, V. (2012) Changes in publication languages and citation practices and their effect on the scientific impact of Russian Science ( ). Journal of the American Society for Information Science and Technology, 63(7): 1411–1419. Larivière, V., Archambault, É., Gingras, Y. (2008) Long-term variations in the aging of scientific literature: from exponential growth to steady-state science ( ). Journal of the American Society for Information Science and Technology, 59(2): 288–296. Larivière, V., Gingras, Y., Archambault, É. (2009) The decline in the concentration of citations, Journal of the American Society for Information Science and Technology, 60(4): Larivière, V., Gingras, Y. (2010) The impact factor’s Matthew effect: a natural experiment in bibliometrics. Journal of the American Society for Information Science and Technology, 61(2): Mongeon, P., & Larivière, V. (2015). Costly collaborations: The impact of scientific fraud on co‐authors' careers. À paraître dans le Journal of the Association for Information Science and Technology. Merton, R.K. (1968). The Matthew Effect in science. Science, 159(3810): 56–63