Pratiques alternatives de l’évaluation par les pairs

Présentation au sujet: "Pratiques alternatives de l’évaluation par les pairs"— Transcription de la présentation:

1 Pratiques alternatives de l’évaluation par les pairs
Vincent Larivière Chaire de recherche du Canada sur les transformations de la communication savante École de bibliothéconomie et des sciences de l’information

2 La correspondance épistolaire: le Père Mersenne

3 Royal Society of London
Réunions hebdomadaires afin de discuter de problèmes “scientifiques” et montrer des expériences. Quelques dizaines de personnes La diffusion des connassances se fait donc de façon visuelle, et l’évaluation par les pairs se fait “en direct” (présentations publiques). Robert Hooke: “Curator of experiments”.

4 Publication et évaluation par les pairs
23/04/2017 Publication et évaluation par les pairs Origines Démonstration publiques que les témoins peuvent corroborer Livres et “license to publish”  censure Royal Society of London crée un “committee on papers” pour les Philosophical Transactions en 1752. Royal Society of Edinburg en avait un dès 1731. Dès le départ, basé sur la confiance envers les auteurs Science et Journal of the American Medical Association (JAMA) l’établissent dans sa forme actuelle dans les années 1940. SCI6304 (A2012) - Vincent Larivière

5 Einstein et l’évaluation par les pairs (Kennefick, 2005)
23/04/2017 Einstein et l’évaluation par les pairs (Kennefick, 2005) Soumission à la revue américaine Physical Review (1936) Dear Sir, We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorized you to show it to specialists before it is printed. I see no reason to address the in any case erroneous comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere. Respectfully, P.S. Mr. Rosen, who has left for the Soviet Union, has authorized me to represent him in this matter. SCI6304 (A2012) - Vincent Larivière

6 L’évaluation par les pairs
23/04/2017 L’évaluation par les pairs Présente partout dans le système de la recherche Découvertes Subventions / bourses postdoctorales Postes de professeurs-chercheurs Promotion et permanence Évaluation “éditoriale” vs. Évaluation par les pairs Types traditionnels Simple aveugle Double aveugle Nouveaux modes Ouverte Post-publication SCI6304 (A2012) - Vincent Larivière

7 L’évaluation par les pairs: critiques
23/04/2017 L’évaluation par les pairs: critiques Poids sur les chercheurs Goulot d’étranglement, délais d’évaluation Quel intérêt pour les évaluateurs? Pas d’accès aux données source  basé sur la confiance Ne détecte pas les fraudes (ni les erreurs) Copinage et conflit d’intérêts Favorise la “science normale” (Conservateur) Favorise les chercheurs établis (Effet St-Matthieu, etc.) Qui choisit les évaluateurs?? Qu’arrive-t-il avec les articles refusés??? SCI6304 (A2012) - Vincent Larivière

8 L’évaluation par les pairs: critiques
23/04/2017 L’évaluation par les pairs: critiques Petite expérimentation Article de 600 mots contenant 8 erreurs envoyé à 300 évaluateurs Résultats Aucun évaluateur n’a trouvé plus de 5 erreurs Nombre médian d’erreurs trouvé: 2 20% des évaluateurs n’ont pas trouvé d’erreurs “If peer review was a drug it would never get on the market because we have lots of evidence of its adverse effects and don’t have evidence of its benefit.” SCI6304 (A2012) - Vincent Larivière

9 23/04/2017 Le cas de F1000 Research SCI6304 (A2012) - Vincent Larivière

10 F1000: Qui sont les pairs? Évaluateurs Commentateurs
23/04/2017 F1000: Qui sont les pairs? Évaluateurs Scientific expertise: Referees must have demonstrated expertise in the key topics of the study presented and/or the methods used. They must have published as lead authors at least 5 articles in international journals. Level of experience: Referees must have a formal appointment at PhD or MD level or higher at a recognised institution or organization. Independence: Referees must not be working at the same institute as the authors, should not be close collaborators of the authors or in other ways personally, financially or professionally associated with them. Referees must declare any conflicts of interest on the published report. Commentateurs Tout le monde. SCI6304 (A2012) - Vincent Larivière

11 F1000: Quelles sont les recommandations?
23/04/2017 F1000: Quelles sont les recommandations? Approved: No or only minor changes are required. For original research, this means that the experimental design, including controls and methods, is adequate; results are presented accurately and the conclusions are justified and supported by the data. Approved with Reservations: The article is not fully technically sound in its current version, but the reviewer’s criticisms could be addressed with specific, sometimes major, revisions. Not Approved: The article is of very poor quality and there are fundamental flaws in the article that seriously undermine the findings and conclusions. SCI6304 (A2012) - Vincent Larivière

12 Que se passe-t-il après l’évaluation (F1000 Research)
23/04/2017 Que se passe-t-il après l’évaluation (F1000 Research) The approval status is shown on the article, together with the referee’s name and affiliation, and the detailed report supporting the status they selected. If an author decides to revise the article to address the reviewers’ comments, all referees are invited to provide additional reports on the new version; in particular if they had originally given an ‘Approved with Reservations’ or ‘Not Approved’ status, we ask them to assess whether the work has been sufficiently improved to achieve a better approval status. SCI6304 (A2012) - Vincent Larivière

13 Que se passe-t-il après l’évaluation (F1000 Research)
23/04/2017 Que se passe-t-il après l’évaluation (F1000 Research) Les articles sont indexés par Google Scholar dès leur publication. Après avoir reçu: deux statuts ‘Approved’ OU un statut ‘Approved’ et deux statuts ‘Approved with Reservations’, l’article sera indexé par PubMed, PubMed Central, Europe PMC, Scopus, Chemical Abstract Service, British Library, CrossRef, DOAJ and Embase. Formalisation du processus d’acceptation des manuscrits. SCI6304 (A2012) - Vincent Larivière

14 Que se passe-t-il après l’évaluation (F1000 Research)
23/04/2017 Que se passe-t-il après l’évaluation (F1000 Research) SCI6304 (A2012) - Vincent Larivière

15 Taux d’approbation (F1000 Research)
23/04/2017 Taux d’approbation (F1000 Research) SCI6304 (A2012) - Vincent Larivière

16 L’ouverture aux commentaires: Le cas Nature
23/04/2017 L’ouverture aux commentaires: Le cas Nature SCI6304 (A2012) - Vincent Larivière

17 L’ouverture aux commentaires: Le cas Nature
23/04/2017 L’ouverture aux commentaires: Le cas Nature SCI6304 (A2012) - Vincent Larivière

18 L’ouverture aux commentaires: Le cas Nature
23/04/2017 L’ouverture aux commentaires: Le cas Nature Seuls les éditoriaux, lettres à l’éditeur, nouvelles— bref, tous les documents non-évalués par les pairs—peuvent être commentés Censure et délai de publication des commentaires. On perd ainsi la possibilité d’avoir une discussion réelle Et cette discussion n’est pas reliée aux découvertes à proprement parler! SCI6304 (A2012) - Vincent Larivière

19 La fermeture aux commentaires: Popular Science
23/04/2017 La fermeture aux commentaires: Popular Science SCI6304 (A2012) - Vincent Larivière

20 Les commentaires sur les plateformes: PubMed Commons
23/04/2017 Les commentaires sur les plateformes: PubMed Commons SCI6304 (A2012) - Vincent Larivière

21 Qui sont les « pairs » de PubMed Commons
23/04/2017 Qui sont les « pairs » de PubMed Commons Only those individuals listed as an author on a PubMed citation may make comments in PubMed; If possible, provide detailed references to papers (eg. page numbers, figure pointers) and unpublished data; refer to external websites if a longer comment or reference to other work is necessary; Do not describe or share unpublished work by others; Comments should not contain discriminatory, racist, offensive, inflammatory, or unlawful language; Comments should not contain partisan political views; Comments should not have explicit commercial endorsements. SCI6304 (A2012) - Vincent Larivière

22 Le Crowdsourcing de l’évaluation: Utiliser Twitter?
23/04/2017 Le Crowdsourcing de l’évaluation: Utiliser Twitter? Top 10 des articles de 2014 SCI6304 (A2012) - Vincent Larivière

23 Ouverture: a-t-on encore besoin de l’évaluation par les pairs?
23/04/2017 Ouverture: a-t-on encore besoin de l’évaluation par les pairs? Certains groupes de physiciens ont un système « parallèle » depuis longtemps grâce à arXiv (créé en 1991) Articles importants seulement sur arXiv (conjecture Poincaré) Publient quand même dans des revues pour évaluation, archivage Les auteurs sont aussi des évaluateurs… donc, peuvent faire eux-mêmes une évaluation du manuscrit sans qu’il y ait eu évaluation par les pairs préalablement Différences physique (ou SHS) / médecine SCI6304 (A2012) - Vincent Larivière