09/05/2018 École de bibliothéconomie et des sciences de l'information SCI6304 – Bibliométrie et communication savante Cours 3 Évaluation par les pairs et authorat 16 septembre 2016 SCI6304 (A2012) - Vincent Larivière

Au programme aujourd'hui 09/05/2018 École de bibliothéconomie et des sciences de l'information Au programme aujourd'hui L’évaluation par les pairs: rôle, formes et limites L’authorat Démonstration du Web of Knowledge de Thomson Reuters TP2 SCI6304 (A2012) - Vincent Larivière

L’évaluation par les pairs 09/05/2018 École de bibliothéconomie et des sciences de l'information L’évaluation par les pairs SCI6304 (A2012) - Vincent Larivière

L’évaluation par les pairs 09/05/2018 École de bibliothéconomie et des sciences de l'information L’évaluation par les pairs Rôles Présente partout dans le système de la recherche Découvertes Subventions / bourses postdoctorales Postes de professeurs-chercheurs Promotion et permanence Évaluation “éditoriale” vs. Évaluation par les pairs Processus (au tableau) Types Simple aveugle Double aveugle Ouverte (à date, peu efficace) Évaluation post-publication SCI6304 (A2012) - Vincent Larivière

Publication et évaluation par les pairs 09/05/2018 École de bibliothéconomie et des sciences de l'information Publication et évaluation par les pairs Origines Démonstration publiques que les témoins peuvent corroborer Livres et “license to publish”  censure Royal Society of London crée un “committee on papers” pour les Philosophical Transactions en 1752. Royal Society of Edinburg en avait un dès 1731. Dès le départ, basé sur la confiance envers les auteurs Science et Journal of the American Medical Association (JAMA) l’établissent dans sa forme actuelle dans les années 1940. SCI6304 (A2012) - Vincent Larivière

L’évaluation par les pairs: critiques 09/05/2018 École de bibliothéconomie et des sciences de l'information L’évaluation par les pairs: critiques Poids sur les chercheurs Goulot d’étranglement, délais d’évaluation Pas d’accès aux données source  basé sur la confiance Ne détecte pas les fraudes Copinage et conflit d’intérêts Favorise la “science normale” (Conservateur) Biais (Effet St-Matthieu, etc.) Qui choisit les évaluateurs?? Qu’arrive-t-il avec les articles refusés??? SCI6304 (A2012) - Vincent Larivière

Einstein et l’évaluation par les pairs (Kennefick, 2005) 09/05/2018 Einstein et l’évaluation par les pairs (Kennefick, 2005) Soumission à la revue américaine Physical Review (1936) Dear Sir, We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorized you to show it to specialists before it is printed. I see no reason to address the in any case erroneous comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere. Respectfully, P.S. Mr. Rosen, who has left for the Soviet Union, has authorized me to represent him in this matter. SCI6304 (A2012) - Vincent Larivière

L’évaluation par les pairs: critiques 09/05/2018 L’évaluation par les pairs: critiques Petite expérimentation Article de 600 mots contenant 8 erreurs envoyé à 300 évaluateurs Résultats Aucun évaluateur n’a trouvé plus de 5 erreurs Nombre médian d’erreurs trouvé: 2 20% des évaluateurs n’ont pas trouvé d’erreurs “If peer review was a drug it would never get on the market because we have lots of evidence of its adverse effects and don’t have evidence of its benefit.” SCI6304 (A2012) - Vincent Larivière

09/05/2018 Le cas de F1000 Research SCI6304 (A2012) - Vincent Larivière

F1000: Qui sont les pairs? Évaluateurs Commentateurs 09/05/2018 F1000: Qui sont les pairs? Évaluateurs Scientific expertise: Referees must have demonstrated expertise in the key topics of the study presented and/or the methods used. They must have published as lead authors at least 5 articles in international journals. Level of experience: Referees must have a formal appointment at PhD or MD level or higher at a recognised institution or organization. Independence: Referees must not be working at the same institute as the authors, should not be close collaborators of the authors or in other ways personally, financially or professionally associated with them. Referees must declare any conflicts of interest on the published report. Commentateurs Tout le monde. SCI6304 (A2012) - Vincent Larivière

F1000: Quelles sont les recommandations? 09/05/2018 F1000: Quelles sont les recommandations? Approved: No or only minor changes are required. For original research, this means that the experimental design, including controls and methods, is adequate; results are presented accurately and the conclusions are justified and supported by the data. Approved with Reservations: The article is not fully technically sound in its current version, but the reviewer’s criticisms could be addressed with specific, sometimes major, revisions. Not Approved: The article is of very poor quality and there are fundamental flaws in the article that seriously undermine the findings and conclusions. SCI6304 (A2012) - Vincent Larivière

Que se passe-t-il après l’évaluation (F1000 Research) 09/05/2018 Que se passe-t-il après l’évaluation (F1000 Research) The approval status is shown on the article, together with the referee’s name and affiliation, and the detailed report supporting the status they selected. If an author decides to revise the article to address the reviewers’ comments, all referees are invited to provide additional reports on the new version; in particular if they had originally given an ‘Approved with Reservations’ or ‘Not Approved’ status, we ask them to assess whether the work has been sufficiently improved to achieve a better approval status. SCI6304 (A2012) - Vincent Larivière

Que se passe-t-il après l’évaluation (F1000 Research) 09/05/2018 Que se passe-t-il après l’évaluation (F1000 Research) Les articles sont indexés par Google Scholar dès leur publication. Après avoir reçu: deux statuts ‘Approved’ OU un statut ‘Approved’ et deux statuts ‘Approved with Reservations’, l’article sera indexé par PubMed, PubMed Central, Europe PMC, Scopus, Chemical Abstract Service, British Library, CrossRef, DOAJ and Embase. Formalisation du processus d’acceptation des manuscrits. SCI6304 (A2012) - Vincent Larivière

Que se passe-t-il après l’évaluation (F1000 Research) 09/05/2018 Que se passe-t-il après l’évaluation (F1000 Research) SCI6304 (A2012) - Vincent Larivière

Taux d’approbation (F1000 Research) 09/05/2018 Taux d’approbation (F1000 Research) http://scholarlykitchen.sspnet.org/2013/03/27/how-rigorous-is-the-post-publication-review-process-at-f1000-research/ SCI6304 (A2012) - Vincent Larivière

L’ouverture aux commentaires: Le cas Nature 09/05/2018 L’ouverture aux commentaires: Le cas Nature SCI6304 (A2012) - Vincent Larivière

L’ouverture aux commentaires: Le cas Nature 09/05/2018 L’ouverture aux commentaires: Le cas Nature SCI6304 (A2012) - Vincent Larivière

L’ouverture aux commentaires: Le cas Nature 09/05/2018 L’ouverture aux commentaires: Le cas Nature Seuls les éditoriaux, lettres à l’éditeur, nouvelles— bref, tous les documents non-évalués par les pairs—peuvent être commentés Censure et délai de publication des commentaires. On perd ainsi la possibilité d’avoir une discussion réelle Et cette discussion n’est pas reliée aux découvertes à proprement parler! SCI6304 (A2012) - Vincent Larivière

La fermeture aux commentaires: Popular Science 09/05/2018 La fermeture aux commentaires: Popular Science http://www.washingtonpost.com/blogs/compost/wp/2013/09/24/down-with-comments-popular-science-makes-the-right-call/ SCI6304 (A2012) - Vincent Larivière

Les commentaires sur les plateformes: PubMed Commons 09/05/2018 Les commentaires sur les plateformes: PubMed Commons SCI6304 (A2012) - Vincent Larivière

Qui sont les « pairs » de PubMed Commons 09/05/2018 Qui sont les « pairs » de PubMed Commons Only those individuals listed as an author on a PubMed citation may make comments in PubMed; If possible, provide detailed references to papers (eg. page numbers, figure pointers) and unpublished data; refer to external websites if a longer comment or reference to other work is necessary; Do not describe or share unpublished work by others; Comments should not contain discriminatory, racist, offensive, inflammatory, or unlawful language; Comments should not contain partisan political views; Comments should not have explicit commercial endorsements. SCI6304 (A2012) - Vincent Larivière

Taux de rejet des revues 09/05/2018 École de bibliothéconomie et des sciences de l'information Taux de rejet des revues En écologie, plus le facteur d’impact d’une revue est élevé, plus le taux de rejet l’est également (Aarssen et al., 2008) Revues la plus difficile: Journal of Universal Rejection http://www.universalrejection.org SCI6304 (A2012) - Vincent Larivière

Taux de rejet des revues… (2) 09/05/2018 École de bibliothéconomie et des sciences de l'information Taux de rejet des revues… (2) En sciences de l’information: autour de 60% Science, Nature: 5-10% d’acceptation... Voire moins! Espace de publication et revues électroniques Ingelfinger rule SCI6304 (A2012) - Vincent Larivière

09/05/2018 École de bibliothéconomie et des sciences de l'information Taux de rejet des revues… (3) selon la discipline (Sugimoto et al. 2013) SCI6304 (A2012) - Vincent Larivière

09/05/2018 École de bibliothéconomie et des sciences de l'information Taux de rejet des revues… (4) selon le pays de l’éditeur (Sugimoto et al. 2013) SCI6304 (A2012) - Vincent Larivière

09/05/2018 Taux de rejet des revues… (5) selon le nombre d’évaluateurs (Sugimoto et al. 2013) École de bibliothéconomie et des sciences de l'information SCI6304 (A2012) - Vincent Larivière

Taux de rejet des subventions (Gordon et Poulin, 2009) 09/05/2018 École de bibliothéconomie et des sciences de l'information Taux de rejet des subventions (Gordon et Poulin, 2009) Taux de financement plus bas en médecine et en sciences sociales et humaines qu’en sciences naturelles SCI6304 (A2012) - Vincent Larivière

09/05/2018 École de bibliothéconomie et des sciences de l'information Authorat Fonctions dans la communauté savante (Biagioli, 1999; Birnhotz, 2006): Attribue le crédit pour des idées ou une découverte Assigne la propriété de ces idées / découvertes, mais également une responsabilité Permet l’existence d’une économie de la réputation (capital symbolique) SCI6304 (A2012) - Vincent Larivière

Authorat… (2) Les auteurs Leur contribution 09/05/2018 École de bibliothéconomie et des sciences de l'information Authorat… (2) Les auteurs Leur contribution On parle de plus en plus de contributeur, et non d’auteur SCI6304 (A2012) - Vincent Larivière

09/05/2018 École de bibliothéconomie et des sciences de l'information Badges d’auteurs http://news.sciencemag.org/scientific-community/2014/11/could-digital-badges-clarify-roles-co-authors SCI6304 (A2012) - Vincent Larivière

Qui cautionne? British Medical Journal 09/05/2018 École de bibliothéconomie et des sciences de l'information Qui cautionne? British Medical Journal Contributors: W-HZ designed data collection tools, monitored data collection for the whole trial, wrote the statistical analysis plan, cleaned and analysed the data, and drafted and revised the paper. She is guarantor. CD-T implemented the trial in France, analysed the data, and drafted and revised the paper. PB analysed the data and drafted and revised the paper. EJ wrote the statistical analysis plan, monitored data collection for the whole trial, and revised the draft paper. MJ designed data collection tools,, monitored data collection for the whole trial, and revised the draft paper. SA initiated the collaborative project, designed data collection tools, implemented the trial for the all countries, monitored data collection for the whole trial, analysed the data, and drafted and revised the paper. All members of EUPHRATES designed the trial. Diogo Ayres-de-Campos, Istvan Berbik, Marie-Hélène Bouvier-Colle, Vicenç Cararach, Risto Erkkola, Mathias Klein, Walter Prendiville, Jos van Roosmalen, Babill Stray-Pedersen, and Carolyn Troeger implemented the trial in, respectively, Portugal, Hungary, France, Spain, Finland, Austria, Republic of Ireland, Netherlands, Norway, and Switzerland, and revised the draft paper. Gérard Bréart analysed the data and revised the draft paper. Alison Macfarlane and Clare Winter revised the draft paper. SCI6304 (A2012) - Vincent Larivière

Les formes d’attributions de l’autorat 09/05/2018 École de bibliothéconomie et des sciences de l'information Les formes d’attributions de l’autorat Pontille (2004) Physique et la liste d’auteurs standard Biomédecine et le laboratoire Droit et la hiérachie Sciences sociales et écriture Division du travail et recherche quantitative SCI6304 (A2012) - Vincent Larivière

09/05/2018 École de bibliothéconomie et des sciences de l'information Les règles de l’International Committee of Medical Journal Editors (ICMJE) “1) substantial contributions to the conception or design of the work; or the acquisition, analysis, or interpretation of data for the work; AND 2) drafting the work or revising it critically for important intellectual content; AND 3) final approval of the version to be published; AND, 4) agreement to be accountable for all aspects of the work in ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved” SCI6304 (A2012) - Vincent Larivière

Bibliographie sommaire Aarssen, L.W. et al. (2008). Bang for Your Buck: Rejection Rates and Impact Factors in Ecological Journals. The Open Ecology Journal, 1:14-19. Biagioli, M. (1999). Aporias of scientific authorship: Credit and responsibility in contemporary biomedicine, in Biagioli, M. (Ed.) The science studies reader, London: Routledge, pp. 12–31. Birnholtz, J. (2006). What does it mean to be an author? The intersection of credit, contribution and collaboration in science. Journal of the American Society for Information Science and Technology, 57(13), 1758–1770. Fitzpatrick, K. (2011). Planned Obsolescence: Publishing, Technology and the Future of the Academy. New York: New York University Press. Gordon, R., Poulin, B.J. (2009), Cost of the NSERC Science Grant Peer Review System Exceeds the Cost of Giving Every Qualified Researcher a Baseline Grant. Accountability in Research: Policies and Quality Assurance, 16:1, 13-40. Pontille, D. (2004). La Signature Scientifique: Une Sociologie Pragmatique de l’Attribution. Paris: CNRS Éditions. Sugimoto, C.R., Larivière, V., Ni, C., Cronin, B. (2013) Journal acceptance rates: A cross-disciplinary analysis of variability and relationships with journal measures. À paraître dans le Journal of Informetrics.