06/12/2018 École de bibliothéconomie et des sciences de l'information SCI6304 – Bibliométrie et communication savante Cours 4 Évaluation par les pairs et authorat 5 octobre 2018 SCI6304 (A2012) - Vincent Larivière

Au programme aujourd'hui 06/12/2018 École de bibliothéconomie et des sciences de l'information Au programme aujourd'hui L’évaluation par les pairs: rôle, formes et limites L’authorat TP2 SCI6304 (A2012) - Vincent Larivière

L’évaluation par les pairs 06/12/2018 École de bibliothéconomie et des sciences de l'information L’évaluation par les pairs SCI6304 (A2012) - Vincent Larivière

L’évaluation par les pairs 06/12/2018 École de bibliothéconomie et des sciences de l'information L’évaluation par les pairs Rôles Présente partout dans le système de la recherche Découvertes, financement, postes, promotions. Évaluation “éditoriale” vs. Évaluation par les pairs Processus (au tableau) Types Simple aveugle Double aveugle Ouverte Évaluation post-publication Deux fonctions: To function as a gatekeeper, determining which papers should be accepted for publication and thus become a part of the body of literature for a specific field of study. Le contrôle de qualité -> s’assurer que l’article est rédigé selon les normes, que toutes l’information nécessaire y est, et bref qu’il rempli à la fois son rôle et son plein potentiel. SCI6304 (A2012) - Vincent Larivière

Publication et évaluation par les pairs 06/12/2018 École de bibliothéconomie et des sciences de l'information Publication et évaluation par les pairs Royal Society of London crée un “committee on papers” pour les Philosophical Transactions en 1752. Dès le depart, basée sur la confiance envers les auteurs. Science et JAMA l’établissent dans sa forme actuelle dans les années 1940. Facteurs liés à l’émergence de l’évaluation par les pairs Nombre de soumissions Spécialisation de la recherche Changement technologiques Évolution des méthodes de recherche Perception de l’évaluation par les pairs comme sceau de validité et de qualité Yet the Royal Society recognized that its committee could not guarantee the validity of everything Philosophical Transactions published, and the journal carried a statement in each issue to the effect that “the certainty of the facts, or propriety of the reasonings . . . must still rest on the credit or judgment of their respective authors.” It is interesting to note that the Académie Royale des Sciences in Paris did attempt to test the validity of research findings. The organization had a remit from the Crown to assess the merits of inventions and discoveries, and the committees appointed to investigate these sought to replicate and test research findings. This level of validation went far beyond what is expected (or possible) with modern peer review, and by the 1830s, this process had been abandoned as being too time-­consuming (Fyfe). Interestingly, in clinical medical publishing at least, there is now a movement back toward reproducing results, principally through the provision and sharing of data and the drive to improve the reporting of methods. Nevertheless, this is still some way short of what was undertaken by the Académie Royale des Sciences. Pourquoi le peer-review a-t-il émergé? Augmentation des soumissions d’articles non-sollicité + coûts élevé de production -> nécessité de filtrer. Les revues ont commencé à maintenir de bas taux d’acceptation afin de maintenir l’image de qualité de leur contenu Spécialisation –> profondeur des savoirs accumulés = impossible pour un seul éditeur de maîtriser toutes les spécialités d’une discipline. C’est le cas même pour les revues spécialisées Changement technologique qui ont rendu possible l’évaluation par les pair systématique Avant le développement du papier carbone dans les années 1890s, et du photocopieur dans en 59, c’était laborieux de copier des textes et de les envoyer aux évaluteurs. Changement dans les méthodes de recherches Plus techniques La perception de l’évaluation par les pairs comme sceau determinant de ce qui valait la peine d’être considéré a transformer le moteur de l’évaluation par les pairs. C’était devenu un sceau de validité, et donc un impératif commercial et réputationnel pour les revues. Renforcer par l’évaluation des chercheurs basée sur la production des connaissances « publish or perish ». Il faut publier dans les revues évaluées par les pairs pour obtenir un poste dans une université, du financement, l’aggrégation etc. SCI6304 (A2012) - Vincent Larivière

L’évaluation par les pairs: critiques 06/12/2018 École de bibliothéconomie et des sciences de l'information L’évaluation par les pairs: critiques Poids sur les chercheurs Goulot d’étranglement, délais d’évaluation Pas d’accès aux données source  basé sur la confiance Ne détecte pas les fraudes Copinage et conflit d’intérêts Favorise la “science normale” (Conservateur) Biais (Effet St-Matthieu, etc.) Qui choisit les évaluateurs? Qu’arrive-t-il avec les articles refusés? Délais… 4 heures en moyenne pour évaluer un article… mais le processus prend en moyenne 4 mois! Biais lié au prestige, au pays et au genre des auteurs http://retractionwatch.com/2017/04/20/new-record-major-publisher-retracting-100-studies-cancer-journal-fake-peer-reviews/ It has also been argued that peer review has lowered research quality by limiting creativity amongst researchers. Proponents of this view claim that peer review has repressed scientists from pursuing innovative research ideas and bold research questions that have the potential to make major advances and paradigm shifts in the field, as they believe that this work will likely be rejected by their peers upon review (28). Indeed, in some cases peer review may result in rejection of innovative research, as some studies may not seem particularly strong initially, yet may be capable of yielding very interesting and useful developments when examined under different circumstances, or in the light of new information (28). Scientists that do not believe in peer review argue that the process stifles the development of ingenious ideas, and thus the release of fresh knowledge and new developments into the scientific community. SCI6304 (A2012) - Vincent Larivière

Einstein et l’évaluation par les pairs (Kennefick, 2005) 06/12/2018 Einstein et l’évaluation par les pairs (Kennefick, 2005) Soumission à la revue américaine Physical Review (1936) Dear Sir, We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorized you to show it to specialists before it is printed. I see no reason to address the in any case erroneous comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere. Respectfully, P.S. Mr. Rosen, who has left for the Soviet Union, has authorized me to represent him in this matter. Tellingly, however, it should be noted that Einstein went on to publish the same paper in another journal, incorporating revisions based on the comments by the original reviewer. Some feel that these revisions might have saved him from public embarrassment and evidently show the value of peer-­based critique, even if that usefulness was perhaps not appreciated. SCI6304 (A2012) - Vincent Larivière

L’évaluation par les pairs: critiques 06/12/2018 L’évaluation par les pairs: critiques Petite expérimentation Article de 600 mots contenant 8 erreurs envoyé à 300 évaluateurs Résultats Aucun évaluateur n’a trouvé plus de 5 erreurs Nombre médian d’erreurs trouvé: 2 20% des évaluateurs n’ont pas trouvé d’erreurs “If peer review was a drug it would never get on the market because we have lots of evidence of its adverse effects and don’t have evidence of its benefit.” SCI6304 (A2012) - Vincent Larivière

06/12/2018 Le cas de F1000 Research SCI6304 (A2012) - Vincent Larivière

F1000: Qui sont les pairs? Évaluateurs Commentateurs 06/12/2018 F1000: Qui sont les pairs? Évaluateurs Expertise scientifique Les évaluateurs doivent avoir démontré une expertise dans les principaux sujets de l’étude présentée et/ou les méthodes utilisées. Ils doivent avoir publiés comme auteurs principaux au moins 5 articles dans des revues internationales. Niveau d’expérience Les évaluateurs doivent avoir une formation de doctorat (ou MD) d’un établissement reconnu. Indépendance : Les évaluateurs ne doivent pas être affiliés à la même institution que les auteurs Ne devraient avoir aucun lien avec les auteurs. Doivent déclarer tout conflit d’intérêts sur la publication du rapport. Commentateurs Tout le monde. SCI6304 (A2012) - Vincent Larivière

F1000: Quelles sont les recommandations? 06/12/2018 F1000: Quelles sont les recommandations? Approuvé : Aucune modification ou modifications mineures le protocole expérimental, y compris les contrôles et les méthodes, est adéquat les résultats sont présentés avec précision les conclusions sont justifiées et appuyés par les données. Approuvé avec reserve : L’article n’est pas entièrement techniquement solide dans sa version actuelle. les critiques de l’évaluateur peuvent être abordées avec révisions, parfois importantes. Non approuvé : L’article est de piètre qualité. possède une ou plusieurs failles qui invalide les constatations et conclusions. SCI6304 (A2012) - Vincent Larivière

Que se passe-t-il après l’évaluation (F1000 Research) 06/12/2018 Que se passe-t-il après l’évaluation (F1000 Research) Le statut d’approbation est indiqué sur l’article, ainsi que les noms et affiliations des évaluateurs et leurs rapports détaillés Si l’auteur décide de réviser l’article, tous les évaluateurs sont invités à soumettre leurs commentaires sur la nouvelle version; en particulier si ils avaient initialement émis des réserves ou rejeter l’article. Ils évaluent si le travail a été suffisamment amélioré pour obtenir un meilleur statut d’approbation. SCI6304 (A2012) - Vincent Larivière

Que se passe-t-il après l’évaluation (F1000 Research) 06/12/2018 Que se passe-t-il après l’évaluation (F1000 Research) Les articles sont indexés par Google Scholar dès leur publication. Après avoir reçu: deux statuts ‘Approved’ OU un statut ‘Approved’ et deux statuts ‘Approved with Reservations’, l’article sera indexé par PubMed, PubMed Central, Europe PMC, Scopus, Chemical Abstract Service, British Library, CrossRef, DOAJ and Embase. The peer-review process is completely transparent: the referee names and their reports are published alongside the article, and the authors’ responses to the referees (or to reader comments) are also posted for readers to see. Revisions and updates are published as new versions, with clear explanations (in an “Amendments” section) of the changes the authors made. Usually, an article receives 2 or 3 referee reports. The referees choose an approval status, which contributes to determining whether the article has ‘passed peer review’ and is indexed in bibliographic databases, such as PubMed. SCI6304 (A2012) - Vincent Larivière

Que se passe-t-il après l’évaluation (F1000 Research) 06/12/2018 Que se passe-t-il après l’évaluation (F1000 Research) https://f1000research.com/articles/6-1698/v3 SCI6304 (A2012) - Vincent Larivière

Taux d’approbation (F1000 Research) 06/12/2018 Taux d’approbation (F1000 Research) http://scholarlykitchen.sspnet.org/2013/03/27/how-rigorous-is-the-post-publication-review-process-at-f1000-research/ SCI6304 (A2012) - Vincent Larivière

L’ouverture aux commentaires: Le cas Nature 06/12/2018 L’ouverture aux commentaires: Le cas Nature SCI6304 (A2012) - Vincent Larivière

La fermeture aux commentaires: Popular Science 06/12/2018 La fermeture aux commentaires: Popular Science http://www.washingtonpost.com/blogs/compost/wp/2013/09/24/down-with-comments-popular-science-makes-the-right-call/ SCI6304 (A2012) - Vincent Larivière

Les commentaires sur les plateformes: PubMed Commons 06/12/2018 Les commentaires sur les plateformes: PubMed Commons SCI6304 (A2012) - Vincent Larivière

Qui sont les « pairs » de PubMed Commons 06/12/2018 Qui sont les « pairs » de PubMed Commons Only those individuals listed as an author on a PubMed citation may make comments in PubMed; If possible, provide detailed references to papers (eg. page numbers, figure pointers) and unpublished data; refer to external websites if a longer comment or reference to other work is necessary; Do not describe or share unpublished work by others; Comments should not contain discriminatory, racist, offensive, inflammatory, or unlawful language; Comments should not contain partisan political views; Comments should not have explicit commercial endorsements. SCI6304 (A2012) - Vincent Larivière

Taux de rejet des revues 06/12/2018 École de bibliothéconomie et des sciences de l'information Taux de rejet des revues En écologie, plus le facteur d’impact d’une revue est élevé, plus le taux de rejet l’est également (Aarssen et al., 2008) Revues la plus difficile: Journal of Universal Rejection http://www.universalrejection.org SCI6304 (A2012) - Vincent Larivière

Taux de rejet des revues… (2) 06/12/2018 École de bibliothéconomie et des sciences de l'information Taux de rejet des revues… (2) En sciences de l’information : autour de 60% Science, Nature: 5-10% d’acceptation... Voire moins! Espace de publication et revues en ligne Ingelfinger rule In scientific publishing, the Ingelfinger rule originally stipulated that The New England Journal of Medicine (NEJM) would not publish findings that had been published elsewhere, in other media or in other journals. The rule was subsequently adopted by several other scientific journals, and has shaped scientific publishing ever since.[1] Historically it has also helped to ensure that the journal's content is fresh and does not duplicate content previously reported elsewhere,[2] and seeks to protect the scientific embargo system.[3] The Ingelfinger rule has been seen as having the aim of preventing authors from performing duplicate publications which would unduly inflate their publication record.[4] On the other hand, it has also been stated that the real reason for the Ingelfinger rule is to protect the journals' revenue stream, and with the increase in popularity of preprint servers such as arXiv, figshare, bioRxiv, and PeerJPrePrints many journals have loosened their requirements concerning the Ingelfinger rule.[5]  In a defense of the policy, the journal said in an editorial that the practice discouraged scientists from talking to the media before their work was peer reviewed.[6] The rule is named for Franz J. Ingelfinger, the NEJM editor-in-chief who enunciated it in 1969. An earlier version of the policy had been expressed in 1960 by Samuel Goudsmit, editor of the Physical Review Letters, but did not become as well known.[7] SCI6304 (A2012) - Vincent Larivière

06/12/2018 École de bibliothéconomie et des sciences de l'information Taux de rejet des revues… (3) selon la discipline (Sugimoto et al. 2013) SCI6304 (A2012) - Vincent Larivière

06/12/2018 École de bibliothéconomie et des sciences de l'information Taux de rejet des revues… (4) selon le pays de l’éditeur (Sugimoto et al. 2013) SCI6304 (A2012) - Vincent Larivière

06/12/2018 Taux de rejet des revues… (5) selon le nombre d’évaluateurs (Sugimoto et al. 2013) École de bibliothéconomie et des sciences de l'information SCI6304 (A2012) - Vincent Larivière

Taux de rejet des subventions (Gordon et Poulin, 2009) 06/12/2018 École de bibliothéconomie et des sciences de l'information Taux de rejet des subventions (Gordon et Poulin, 2009) Taux de financement plus bas en médecine et en sciences sociales et humaines qu’en sciences naturelles SCI6304 (A2012) - Vincent Larivière

06/12/2018 École de bibliothéconomie et des sciences de l'information Authorat Fonctions dans la communauté savante (Biagioli, 1999; Birnhotz, 2006): Attribue le crédit pour des idées ou une découverte Attribuer la responsabilité en ce Permet l’existence d’une économie de la réputation (capital symbolique) SCI6304 (A2012) - Vincent Larivière

Différences disciplinaires dans l’attribution du statut d’auteur 06/12/2018 École de bibliothéconomie et des sciences de l'information Différences disciplinaires dans l’attribution du statut d’auteur Pontille (2004) Physique et la liste d’auteurs standard Biomédecine et le laboratoire Droit et la hiérarchie Sciences sociales et écriture SCI6304 (A2012) - Vincent Larivière

06/12/2018 École de bibliothéconomie et des sciences de l'information Les règles de l’International Committee of Medical Journal Editors (ICMJE) “1) substantial contributions to the conception or design of the work; or the acquisition, analysis, or interpretation of data for the work; AND 2) drafting the work or revising it critically for important intellectual content; AND 3) final approval of the version to be published; AND, 4) agreement to be accountable for all aspects of the work in ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved” SCI6304 (A2012) - Vincent Larivière

Authorat… (2) Les auteurs Leur contribution 06/12/2018 École de bibliothéconomie et des sciences de l'information Authorat… (2) Les auteurs Leur contribution On parle de plus en plus de contributeur, et non d’auteur SCI6304 (A2012) - Vincent Larivière

06/12/2018 École de bibliothéconomie et des sciences de l'information Badges d’auteurs http://news.sciencemag.org/scientific-community/2014/11/could-digital-badges-clarify-roles-co-authors SCI6304 (A2012) - Vincent Larivière

Qui cautionne? British Medical Journal 06/12/2018 École de bibliothéconomie et des sciences de l'information Qui cautionne? British Medical Journal Contributors: W-HZ designed data collection tools, monitored data collection for the whole trial, wrote the statistical analysis plan, cleaned and analysed the data, and drafted and revised the paper. She is guarantor. CD-T implemented the trial in France, analysed the data, and drafted and revised the paper. PB analysed the data and drafted and revised the paper. EJ wrote the statistical analysis plan, monitored data collection for the whole trial, and revised the draft paper. MJ designed data collection tools,, monitored data collection for the whole trial, and revised the draft paper. SA initiated the collaborative project, designed data collection tools, implemented the trial for the all countries, monitored data collection for the whole trial, analysed the data, and drafted and revised the paper. All members of EUPHRATES designed the trial. Diogo Ayres-de-Campos, Istvan Berbik, Marie-Hélène Bouvier-Colle, Vicenç Cararach, Risto Erkkola, Mathias Klein, Walter Prendiville, Jos van Roosmalen, Babill Stray-Pedersen, and Carolyn Troeger implemented the trial in, respectively, Portugal, Hungary, France, Spain, Finland, Austria, Republic of Ireland, Netherlands, Norway, and Switzerland, and revised the draft paper. Gérard Bréart analysed the data and revised the draft paper. Alison Macfarlane and Clare Winter revised the draft paper. SCI6304 (A2012) - Vincent Larivière

Bibliographie sommaire Aarssen, L.W. et al. (2008). Bang for Your Buck: Rejection Rates and Impact Factors in Ecological Journals. The Open Ecology Journal, 1:14-19. Biagioli, M. (1999). Aporias of scientific authorship: Credit and responsibility in contemporary biomedicine, in Biagioli, M. (Ed.) The science studies reader, London: Routledge, pp. 12–31. Birnholtz, J. (2006). What does it mean to be an author? The intersection of credit, contribution and collaboration in science. Journal of the American Society for Information Science and Technology, 57(13), 1758–1770. Fitzpatrick, K. (2011). Planned Obsolescence: Publishing, Technology and the Future of the Academy. New York: New York University Press. Gordon, R., Poulin, B.J. (2009), Cost of the NSERC Science Grant Peer Review System Exceeds the Cost of Giving Every Qualified Researcher a Baseline Grant. Accountability in Research: Policies and Quality Assurance, 16:1, 13-40. Pontille, D. (2004). La Signature Scientifique: Une Sociologie Pragmatique de l’Attribution. Paris: CNRS Éditions. Sugimoto, C.R., Larivière, V., Ni, C., Cronin, B. (2013) Journal acceptance rates: A cross-disciplinary analysis of variability and relationships with journal measures. À paraître dans le Journal of Informetrics.