Transparence et interprétation de la recherche Isabelle Boutron Centre d’Epidémiologie Clinique Hôtel Dieu Université Paris Descartes INSERM U738

Transposition des résultats de la recherche Pratique clinique COMMUNICATION PUBLICATION

Authors, editors and publishers all have ethical obligations with regard to the publication of the results of research. Authors have a duty to make publicly available the results of their research on human subjects and are accountable for the completeness and accuracy of their reports.

In auction theory, under certain conditions, the bidder who wins tends to have overpaid. Consider oil firms bidding for drilling rights; companies estimate the size of the reserves, and estimates differ across firms. The average of all the firms’ estimates would usually approximate the true reserve size. Since the firm with the highest estimate bids the most, the auction winner systematically overestimates, sometimes so substantially as to lose money in net terms [1]. When bidders are cognizant of the statistical processes of estimates and bids, they correct for the winner’s curse by shading their bids down. This is why experienced bidders sometimes avoid the curse, as opposed to inexperienced ones [1–4]. Yet in numerous studies, bidder behaviour appears consistent with the winner’s curse [5–8]. Indeed, the winner’s curse was first proposed by oil operations researchers after they had recognised aberrant results in their own market.

Industy or mixte support trials 2010 2005-2006 Income fom industry Industy or mixte support trials Mean n citation Industry support Mixte support Non industry support Change in impact factor without trials with industry and mixte support (%) NEJM - 78% 82.2 66.7 47.3 -15 Lancet 41% 58% 53.5 31.3 25.7 -6 JAMA 55% 35.7 31.6 21.1 -5 AIM 53% 27.7 17.1 12 -4 BMJ 3% 27% 9.9 11.3 5.7 -1

“Publication practices distorting science” Non-publication Delai avant publication Publication incomplète Méthode Résultats Ces problèmes sont génériques Non spécifiques à la recherche en médecine Non spécifiques aux essais randomisés Non spécifiques à la recherche financée par l’industrie

Government (US + nonUS) 47% NonGovt/non-Industry 56% Biais de publication Publication of trials registered in clinicalTrials.gov* All “trials” 46% Industry 40% Government (US + nonUS) 47% NonGovt/non-Industry 56% *10% sample (n=677) of trials registered between Jan 1, 2000 & June 8, 2007. Excludes Phase 1 studies Ross et al PLoS Med2009

Selective publication of antidepressant trials 2008 NEJM Turner 10

62% des essais ont au moins 1 critère de jugement principal qui a été changé, omis ou rajouté. Les critères positifs sont plus souvent publiés que les critères négatifs (OR=2.4[1.4-4.0]) JAMA. 2004;291:2457-2465

Discordance en faveur des critères positifs (82.6%). Les décisions prises à partir des donnes de la littérature peuvent être erroné en présence de biais de dissémination Il existe 3 types de bais de dissemination que je vais rapidement décrire 1/ biais de publication depuis longtemps décrit et mis en exergue par Turner dans son papier du NEJM 2008 Les études négartive sont moins publié que les études positives 2/ selective reporting, raporté de manière séléctive des critères de jugement dont les résultats sont favorables Discordance entre les critères de jugement enregistrés et publiés: 31% des essais Discordance en faveur des critères positifs (82.6%).

2 versions d’un même essai randomisé de bonne qualité méthodologique Seule différente: résultat du critère de jugement principal positif vs négatif 238 reviewers de 2 journaux (randomisation) Recommandation de publication pour les essais positifs (97% vs 80%, P<0.001) Meilleur score de qualité pour les essais positifs (8.24 vs 7.53, P=0.005)

Interpretation des résultats des essais. SPIN Les données doivent parler d’elles-mêmes1 Les scientifiques sont rarement neutres Délai et niveau de publication Utilisation du traitement en pratique Future carrière Grande liberté lors de l’écriture de l’article Biais de présentation et d’interprétation des résultats 2-4 In theory, data should speak for themselves. However, scientists and sponsors are rarely neutral regarding the results of their trial as it will greatly impact The delay and level of publication The use of the treatment in clinical practice And consequently their future career and profit. Despite some barrier such as reporting guidelines, authors usually have broad latitude in writing an article and they may be tempted consciously or unconsciouly to bias the presentation and interpretation of the results in published articles. This risk is particularly important in negative trials Kaptchuk T, BMJ, 2003 1 Fletcher, Med Law, 2007 2 Horton, BMJ, 1995 3 Yank V, BMJ, 2007 4 Jefferson T, BMJ, 2009

17 essais négatifs publiés dans le BMJ de 2002-2006 (p value 0.05-0.3) 4/17: Recommandation d’utilisation du traitement en pratique dans la section “what this study adds”

Les « spin » Définition des “spin” Présentation et interprétation des résultats par les auteurs de manière à convaincre le lecteur de l’effet bénéfique du traitement expérimental malgré des résultats non statistiquement significatifs Développement d’une classification des « spin » Identification des stratégies et de la prévalence des « spin » dans un échantillon représentatif d’essais randomisés dont le critère de jugement principal n’est pas statistiquement significatif

Prevalence of “spin” in the article What are the results? In the 72 articles, we identified spin in 18% of the titles, 29% of the results section, 43% of the discussion section and half of the conclusions. More than 40% of the reports had spin in at least 2 of the 3 sections of the main text >40% of the reports had “spin” in at least 2 of the 3 sections of the main text

Level of spin in the conclusion The level and possible impact of spin varied. Consequently, we classified the level of spin in the conclusion considering that a conclusion with no acknowledgement of the negative PO, no expression of uncertainty and not recommending further trials to confirm the result had a high level of spin. Using this definition, we found that the level of spin was high in 26% of the conclusion for the article and 33% for the abstract. High level of “spin” : no acknowledgement of the negative primary outcome no uncertainty, no recommendation for further trial

21

Spin et communiqués de presse Essai randomisé contrôlé Communication des résultats Article scientifiques/congrès Communiqués de presse Articles de presse Les ERC sont la référence pour l’évaluation thérapeutique. La com médicale suit plusieurs voie: 1) com entre chercheur, via article et congres 2) Com des chercheur pour les journalistes= Communiqué de presses 3) Com vers le public via les article de presse L’influence de la com des résultats de la recherche dans les média de masse est importante: -augmentation du nb de citation -meilleur diffusion auprès des médecins et decideurs.

Comparison of the number of citation per articles of articles published in the NEJM that were covered by the New York Time compared to thoses that were not selected but not covered because of a strike

Information not in the press release Information in the press release No press releases Information in the press release Quantified the main result with absolute risks 9% 20% 53% Reporting of harm 24% 36% 68% Mention of limitation 16% 21% 48%

Spin et Communiqués de presse Lexix Nexis Related News N=41 Eurekalert!database Press releases of RCTs N=70 Related published article N = 70 Identification des spin

News Press releases Spin No Spin Abstracts News Press releases

Conclusion