Faculté des arts et des sciences SCI6304 Cours /8 1/25 Faculté des arts et des sciences École de bibliothéconomie et des sciences de l'information SCI6304.

Présentation au sujet: "Faculté des arts et des sciences SCI6304 Cours /8 1/25 Faculté des arts et des sciences École de bibliothéconomie et des sciences de l'information SCI6304."— Transcription de la présentation:

1 Faculté des arts et des sciences SCI6304 Cours /8 1/25 Faculté des arts et des sciences École de bibliothéconomie et des sciences de l'information SCI6304 – Bibliométrie et communication savante Cours 7 Applications, défis actuels et effets pervers de la bibliométrie 7 novembre 2014

2 Faculté des arts et des sciences SCI6304 Cours /8 2/25 Plan de la séance  Brièvement: langue de publication  Études de cas:  Évaluation de la recherche et classements  Sociologie des sciences  Développement de collections  Défis actuels  Effets pervers

3 Faculté des arts et des sciences SCI6304 Cours /8 3/25 Langue de publication des articles Russes, 1973-2010 (Kirtchik et al., 2012)

4 Faculté des arts et des sciences SCI6304 Cours /8 4/25 Impact scientifique des articles Russes, selon le type de revue 1973-2010 (Kirtchik et al., 2012)

5 Faculté des arts et des sciences SCI6304 Cours /8 5/25 Quelques applications Bibliométrie et scientométrie Histoire des science Économie Sociologie des sciences Politiques scientifiques Sciences de l’information et de la documentation Évaluation de la recherche

6 Faculté des arts et des sciences SCI6304 Cours /8 6/25 Évaluation de la recherche (1)  Forme traditionnelle: évaluation par les pairs  Évaluation par les pairs: procédé par lequel un chercheur soumet ses travaux, un projet ou son dossier de recherche au regard des autres qui sont des experts dans le même domaine  Appliqué à plusieurs niveaux dans la communauté scientifique: Publications Subventions et bourses Positions Permanence

7 Faculté des arts et des sciences SCI6304 Cours /8 7/25 Évaluation de la recherche (2)  Désavantages de l’évaluation par les pairs dans l’évaluation de la recherche  Dispendieux  Taille optimale: individus ou groupes de recherche Moins efficace à l’échelle d’institutions ou de pays  Subjectif  La bibliométrie est donc de plus en plus utilisée afin de complémenter ou remplacer l’évaluation par les pairs

8 Faculté des arts et des sciences SCI6304 Cours /8 8/25 Évaluation de la recherche (3)  Research Assessment Exercise en Grande- Bretagne  Mesure productivité et l’impact des départements et les finance (en partie) en fonction de leur classement.  Tenu aux 3-4-5 ans depuis 1986  Quatre scores peuvent-être obtenus.  Chaque chercheur du département évalué fournit 4 articles qu’il veut voir inclus:  Donc, on ne prends pas l’ensemble de la production scientifique des chercheurs Ni l’ensemble des chercheurs (personnel non- permanent exclut)

9 Faculté des arts et des sciences SCI6304 Cours /8 9/25 Les Classements: Le ranking de Shanghai

10 Faculté des arts et des sciences SCI6304 Cours /8 10/25 Les Classements: Le Times Higher Education Supplement  Utilise les données de Thomson Reuters  Méthode pas très claire: on dit que l’on normalise les citations selon la spécialité et la région du monde, mais le détail de la recette n’est pas fournit…  Indicateurs: bibliométrie et sondage (16,639 répondants)  Enseignement (sondage): 30%  Recherche: publications, revenus et réputation (30%)  Citations (30%)  Revenus industriels (2,5%)  Visibibité Internationale: employés, étudiants et collaboration internationale des articles (7,5%) http://www.timeshighereducation.co.uk/world-university-rankings/

11 Faculté des arts et des sciences SCI6304 Cours /8 11/25 Sociologie des sciences: L’effet St-Matthieu à l’échelle des revues  L’effet St-Matthieu: « For to all those who have, more will be given, and they will have an abundance; but from those who have nothing, even what they have will be taken away” (25:29) »  Comment contrôler pour la qualité intrisèque des articles (ou des chercheurs)?  Ceux qui ont davantage sont peut-être simplement meilleurs?  Méthode: articles identiques publiés dans deux revues distinctes (4,532 paires publiées dans deux journaux à facteur d’impact différent, pour un total de 9,064 articles).

12 Faculté des arts et des sciences SCI6304 Cours /8 12/25 Citations reçues par les articles dupliqués (Lariviere et Gingras, 2010)

13 Faculté des arts et des sciences SCI6304 Cours /8 13/25 Développement des collections: Transformation des pratiques de citation, 1900-aujourd’hui  Cite-t-on du matériel plus récent ou plus vieux? Autrement dit, est-ce que la durée de vie des documents est plus rapide aujourd’hui qu’auparavant?  Doit-on s’abonner aux documents rétrospectifs?  Les citations sont elles plus « concentrées » entre certains papiers ou distribuées de plus en plus uniformément?  À combien de revues doit-on s’abonner? Plus ou moins?

14 Faculté des arts et des sciences SCI6304 Cours /8 14/25 Âge moyen de la littérature citée, 1900-2004

15 Faculté des arts et des sciences SCI6304 Cours /8 15/25 Âge médian de la littérature citée, 1900-2004

16 Faculté des arts et des sciences SCI6304 Cours /8 16/25 Âge médian de la littérature citée en astronomie et en physique des particules, 1900-2004

17 Faculté des arts et des sciences SCI6304 Cours /8 17/25 Pourcentage des articles ayant reçu au moins une citation, 1900-2004

18 Faculté des arts et des sciences SCI6304 Cours /8 18/25 Pourcentage cumulatif d’articles nécessaires afin d’obtenir 20%, 50% et 80% des citations, 1900-2004

19 Faculté des arts et des sciences SCI6304 Cours /8 19/25 Défis actuels: désambiguation des auteurs  Homonymes!!!  Faire le test: qui est l’auteur canadien le plus productif en 2011?  Que prendre en compte pour faire la désambiguation?  Disciplines/revues  Co-auteurs  Références  Mots-clés  Noms de famille rares

20 Faculté des arts et des sciences SCI6304 Cours /8 20/25 Défis actuels: mesures d’impact et couverture  Prendre en compte la diversité des pratiques de citations  Mesures de l’impact sur la société  Twitter et autres médias sociaux?  Augmentation de la couverture de la littérature  Tout couvrir en Sciences  Couverture des livres  Couverture de la littérature locale, dans des langues autres que l’anglais

21 Faculté des arts et des sciences SCI6304 Cours /8 21/25 Effets pervers…  L’effet « Hawthorne »  Lorsque les “participants” d’une étude connaissent les critères d’évaluation et changent leur comportement…  Que font les chercheurs en sachant qu’ils seront évalués par la bibliométrie?  Prime à la publication dans les “grandes” revues dans certains pays  Fraude scientifique…  Prêtes-noms (ghost writing)

22 Faculté des arts et des sciences SCI6304 Cours /8 22/25 Nombre d’articles rétractés, 1973-2005 (Furman et al., 2012)

23 Faculté des arts et des sciences SCI6304 Cours /8 23/25 Citations pré- et post-rétractation (Furman et al., 2012)

24 Faculté des arts et des sciences SCI6304 Cours /8 24/25 Taux d’admission de fraude (Fannelli, 2009)

25 Faculté des arts et des sciences SCI6304 Cours /8 25/25 Fanelli D. (2009) How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data. PLoS One, 4(5): e5738. Furman, J, Jensen, K, Murray, F. (2012) Governing knowledge in the scientific community: exploring the role of retractions in biomedicine. Research Policy, Research Policy 41: 276– 290, Kirchik, O., Gingras, Y., Larivière, V. (2012) Changes in publication languages and citation practices and their effect on the scientific impact of Russian Science (1993-2009). Journal of the American Society for Information Science and Technology, 63(7): 1411–1419. Larivière, V., Archambault, É., Gingras, Y. (2008) Long-term variations in the aging of scientific literature: from exponential growth to steady-state science (1900-2004). Journal of the American Society for Information Science and Technology, 59(2): 288–296. Larivière, V., Gingras, Y., Archambault, É. (2009) The decline in the concentration of citations, 1900-2007. Journal of the American Society for Information Science and Technology, 60(4): 858- 862. Larivière, V., Gingras, Y. (2010) The impact factor’s Matthew effect: a natural experiment in bibliometrics. Journal of the American Society for Information Science and Technology, 61(2): 424- 427. Merton, R.K. (1968). The Matthew Effect in science. Science, 159(3810): 56–63 Bibliographie