L’Evidence based medicine les atouts, les limites en réanimation

Présentation au sujet: "L’Evidence based medicine les atouts, les limites en réanimation"— Transcription de la présentation:

1 L’Evidence based medicine les atouts, les limites en réanimation
Jean-François TIMSIT Réanimation médicale CHU Grenoble INSERM U823

2 Définition Pertinence L'Evidence-Based Medicine se définit comme l'utilisation consciencieuse et judicieuse des meilleures données actuelles de la recherche clinique dans la prise en charge personnalisée de chaque patient . Expérience Préférence Sackett DL, et al. BMJ 1996 ; 312 :

3 Patient or problem Intervention, test of exposure Comparison interventions Outcomes

4 Evidence pyramid Meta-analysis of original data
Systematic revue of RCTs RCT Cohort Case-control Analyses using computer databases Series with literature control Cases series case reports Expert opinion Animal research / in vitro studies Evidence pyramid Olkin – J Clin Epidemiol; 48:

5 Intérêt de la randomisation…
Prise en compte des facteurs de confusion connus ET inconnus dans l’estimation de la relation entre un facteur X et un résultat Y Traitement A Traitement B DC 5% DC 40% IGSII 10 IGS II 48 Fact X 90% Fact X 10%

6 Allocation aveugle et aléatoire
Est ce que les investigateurs ont les moyens de savoir (ou de prédire) dans quel groupe sera le prochain sujet?

7 Tirage au sort aveugle aléatoire
« Trials with unconcealed allocation consistently overestimate benefit by ~40% » Dr. Schultz and his colleagues first identified the importance of concealing allocation assignment in Trials of certain interventions that did not use conceal allocation compared with similar trials that concealed allocation consistently overestimate the benefit of the treatment by 40%. Few clinicians and few studies knew about the importance of allocation concealment before What we think we know that was published before 1995 may be biased by the lack of allocation concealment. See: Schulz KF, Chalmers I, Hayes RJ, et al. Subverting randomization in controlled trials. JAMA 1995;273: Schulz KF, Grimes DA. Allocation concealment in randomised trials: defending against deciphering. Lancet 2002;359: Also: Altman DG, Schulz KF. Concealing treatment allocation in randomised trials. BMJ 2001;323: Schulz KF, Grimes DA. Generation of allocation sequences in randomised trials: change, not choice. Lancet 2002;359: Torgerson DJ, Roberts C. Randomisation methods: concealment. BMJ 1999;319:375-6. Schulz KF et al. Lancet 2002;359: Altman DG et al – BMJ 2001; 323;

8 EBM .. POUR amélioration des connaissances,
Des habiletés à la recherche biblio, support à l’enseignement, permet aux juniors de participer à la décision, permet une meilleure communication avec les patients et une meilleure utilisation des ressources Permet d’identifier le meilleur traitement et de faire le meilleur choix en connaissance de cause Kerridge I & Henry D – BMJ 1998; 1151

9 Questionnaire étalonné et validé explorant les connaissances et les habiletés (15 scénarios cliniques) 203 participants (61% réponses) à 3 jours de formation Amélioration très nette du score restant < aux experts

10 Obstacles à l’EBM Accès à l’information? Manque de moyens
Manque de formation spécialisée Interprétation incorrecte Refus du résultat Volonté de ne pas concevoir des procédures Coût Villar J – ICM 2005; 31:196

11 Alternatives à l’EBM Facteur décisionnel marqueur Outils de mesure
Isaacs D and Fitzgerald D - BMJ 1999;319:1618 Alternatives à l’EBM Facteur décisionnel marqueur Outils de mesure Unité de mesure Evidence-based Essai randomisé Meta-analyse Rapport des cotes Eminence-based Eclat de la crinière argentée Photometre Densité optique Véhémence Volume sonore Sonometre Décibels Eloquence Charme du discours et drapé du costume Téflometre Score d’adhésion collante Providence Ferveur religieuse Angle de genuflexion Unité de piété Indécision Niveau de morosité Nihilometre Soupirs Frousse Degré de phobie juridique Tout est imaginable Solde banquaire Confidence-based Bravade Test à la sueur anidrose David Isaacs, Dominic Fitzgerald Department of Education and Medicine, New Children's Hospital, Westmead, NSW 2145, Australie Correspondance : D Isaacs - Source : BMJ 1999;319:1618. Article traduit et republié avec l'accord du BMJ Publishing Group. Eminence-based medicine, ou Médecine fondée sur la préémi-nence - Plus son grade est élevé, moins le confrère attache d'importance à des choses aussi triviales que les niveaux de preuve. L'expérience, semble-t-il, vaut toutes les preuves. Ces confrères ont une foi touchante en l'expérience clinique, dont on a dit qu'elle consistait à « répéter les mêmes erreurs, avec une confiance croissante, pendant un nombre impressionnant d'années [7]. » Les cheveux blancs et le crâne dégarni de l'éminent praticien sont à l'origine de ce que l'on appelle l'« effet d'auréole ». Vehemence-based medicine, ou Médecine fondée sur la véhémence - Le volume sonore remplace ici les niveaux de preuve ; il s'agit d'une technique efficace pour intimider les collègues timorés et convaincre les proches de votre compétence. Eloquence-based medicine, ou Médecine fondée sur l'éloquence - Ici, le bronzage perpétuel, l'œillet à la boutonnière, la cravate de soie, le costume Armani et le discours doivent atteindre un même niveau de perfection charmeuse. L'élégance vestimentaire et l'éloquence verbale sont de puissants succédanés des niveaux de preuve. Providence-based medicine, ou Médecine fondée sur la providence - Lorsqu'un médecin traitant n'a pas la moindre idée de ce qu'il va bien pouvoir faire, il peut lui sembler préférable de confier la décision au Tout-Puissant. Malheureusement, de trop nombreux médecins ne peuvent s'empêcher d'intervenir dans les affaires divines pour déterminer la décision à prendre. Diffidence-based medicine, ou Médecine fondée sur l'indécision - Quand ils rencontrent un problème, certains praticiens cherchent une solution. D'autres ne voient que le problème. Sa conscience pessimiste incite le médecin qui manque de confiance en soi à ne rien faire du tout, ce qui - bien entendu - est souvent préférable à l'attitude qui consisterait à vouloir absolument faire quelque chose, dans le seul but d'éviter la blessure d'amour-propre qu'inflige l'inaction. Nervousness-based medicine, ou Médecine fondée sur la frousse - La peur du reproche, voire du procès, stimule fortement l'excès d'investigations et de traitements. Dans une atmosphère où règne la phobie juridique, le seul mauvais examen est celui que l'on n'a pas pensé à demander. Confidence-based medicine, ou Médecine basée sur la confiance en soi - Cette option est réservée aux chirurgiens (Tableau).

12 Tout article scientifique est biaisé par 4 (5) acteurs
Auteur Etre publié (accepte tous les compromis sur le message) Rédacteur Innovation, équilibre thématique, plaire au propriétaire (biais de publication) Expert Subjectivité prouvée, affectivité Propriétaire Liens avec des sociétés savantes, avec des industriels Lecteur Ne lit que la version finale, a le droit de ne pas lire, de ne pas accepter La médecine basée sur les preuves est l'utilisation consciencieuse, explicite et judicieuse de la meilleure preuve pour décider des soins appropriés à un malade [1]. Elle associe l'expertise clinique individuelle aux preuves recueillies par une analyse de la littérature. La détermination du niveau de preuve scientifique est utile pour apprécier la qualité d'un article [2]. Les articles de qualité sont le plus souvent retenus pour proposer des recommandations. Ces articles sont rares. Des recommandations établies avec un niveau de preuve élevé devraient inciter un professionnel à modifier ses pratiques. Ces concepts devraient être généralisés à d'autres sciences que la Médecine [3]. Tout article est le résultat d'un long processus de publication et d'un compromis entre cinq acteurs aux intérêts divergents : l'auteur, le rédacteur, l'expert, le propriétaire et le lecteur. Les quatre premiers interviennent avant la publication, le lecteur intervient a posteriori : il est « oublié » par le système. L'auteur : après des mois ou des années de travail, il soumet son article à une revue et poursuit dès lors un objectif principal : être publié. Le fait d'être lu et compris est relégué au second rang. Ce désir de publier le met en position de faiblesse et l'amène à accepter toutes les modifications demandées par les autres protagonistes (co-auteurs, experts, rédacteur ou propriétaire de la revue). Des versions successives de l'article « circulent » avec, ou sans son accord. Parfois le message de l'article est modifié mais l'auteur l'accepte, car il veut être publié. Ce n'est pas sans raison que le « Comité international des rédacteurs de journaux biomédicaux », dit groupe de Vancouver, propose de réserver la qualification d'auteur à ceux qui approuvent intégralement le contenu final de l'article. A l'extrême, des auteurs ont inventé des données dans le seul but de publier [4]. Le rédacteur de la revue veut à la fois disposer d'articles « innovants », respecter un équilibre thématique, prendre en compte l'avis du propriétaire. Son objectif est aussi de publier des articles de qualité, mais que faire d'un essai thérapeutique de grande qualité dont le résultat est dit « négatif » ou d'un article d'origine japonaise quand on veut gagner des abonnés en Asie ? Les biais de publication sont nombreux [5]. L'expert est sollicité pour donner un avis sur l'article avant son acceptation par le rédacteur. Cet avis ne concerne, en principe, que la valeur scientifique du travail, mais il reste souvent guidé par des facteurs humains (notamment la situation de l'expert par rapport aux auteurs : équipe « amie » ou compétiteurs). De mieux en mieux connu, le système de l'expertise a montré des comportements étonnants [6] ; pour un même article, deux experts ont pu émettre des avis diamétralement opposés ! Afin de diminuer ces variations subjectives, certaines revues proposent désormais aux experts de travailler à partir de grilles d'analyse. Le propriétaire : outre diffuser du matériel scientifique, il poursuit des objectifs spécifiques, parfois mal acceptés par les autres acteurs. Certaines revues appartiennent à des organisations à but non lucratif (sociétés savantes), d'autres à des organisations à but lucratif qui rendent des comptes aux actionnaires. Le propriétaire peut imposer des liens avec des industriels, et influencer les versions successives de l'article. Des différences de qualité ont été notées entre les suppléments des revues, et les numéros réguliers, soumis à expertise [7]. Nos stratégies thérapeutiques ou diagnostiques doivent-elles être influencées par des enjeux économiques ? Le lecteur intervient après publication. Il ne lit que la version finale de l'article, compromis entre les quatre premiers acteurs, sans connaître les versions précédentes. Elles peuvent pourtant être importantes : l'accès à ces versions a parfois été demandé par les tribunaux américains. Le lecteur a deux moyens pour intervenir : l'achat (ou non) de la revue, la lecture (ou non) de l'article et sa citation ultérieure. Quelle est son influence sur le système ? Le non achat n'est pas très contraignant car ce « marché » est particulier : le consommateur n'est pas souvent le payeur, parfois il reçoit la revue en complément de sa cotisation à une société savante. La non lecture ne sanctionne pas l'auteur comme en littérature. Ainsi, le lecteur est en général « oublié » par ces circuits de publication scientifique. Trop de déviations ont été constatées. Des principes éthiques ont été proposés pour chacun de ces cinq acteurs [8] mais leur impact concret est quasi nul. De nouvelles règles du jeu, basées sur la détermination du niveau de preuve et de la force des recommandations, pourraient améliorer la qualité des articles et la diffusion des connaissances. Dans ce système, l'article deviendrait un produit standard, contrôlé, réglementé. Mais la régulation des articles est-elle réellement souhaitable ? Dr Hervé Maisonneuve Président de l'European Association of Science Editors Correspondance : Docteur H. Maisonneuve - ANDEM - 159, rue Nationale PARIS Cedex 13. Références 1. Sackett DL, Rosenberg WM, Gray JA, et al. Evidence based medicine : what it is and what it isn't. It's about intergrating individual clinical expertise and the best evidence. BMJ 1996 ; 312 : 2. Broclain D. Pour un niveau de preuves explicites des recommandations. La Revue Prescrire 1996 ; 16 : 3. Maisonneuve H. Do we base science on facts or opinions ? European Science Editing 1996 ; 57 : 2. 4. Lock S. Research misonduct : a resume of recent events. In : S. Lock, F Wells, eds, Fraud and misconduct in medical research. BMJ publishing group 1996 : 5. Sharp D. What can and should be done to reduce publication bias ? The perspective of an editor. JAMA 1990 ; 263 : 6. The second international congress on peer review in biomedical publication. JAMA 1994 ; 272 : 7. Rochon PA, Gurwitz JH, Cheung CM, et al. Evaluating the quality of articles published in journal supplements compared with the quality of those published in the parent journal. JAMA 1994 ; 272 : 8. Riis P. The ethics of scientific publication. Science Editor's Handbook (B3) 1994 January. Maisonneuve H - EBM J 1996

13 RCT et impact socio-économique
Poids de l’argent et de l’ambition Poids économique vital pour l’industrie Mise sur le marché 500 millions de $ Études négatives non publiées Compétitions entre les CRO et les structures indépendantes (academiques)  le moins cher et le plus conciliant gagne…. « the use of clinical trials primarily for marketing makes a mockery of clinical investigation » Poids économique majeur sur la vie d’un journal Impact factor, publicité, suppléments, actionnariat…. Dreyfuss D – ICM 2005; 31:345

14 Source de financement et bénéfice
Lexchin J – BMJ 2003; 326:1167 30 études qui identifie les sources de financement dans differents domaines Medline 96 à 2002 Embase 1980 à 2002 3351 articles pas de mention du funding pour 3248, revue incomplete pour 73 autres 4.05 fois plus frequemment un résultat en faveur du sponsor Aucun demonstration d’une qualité inféreure des etudes de l’industrie OR=4.05

15 Institutional Academic−Industry Relationships
National survey, 2006, 125 allopathic medical schools 459 of 688 department chairs completed the survey (67%) 60% of department chairs had personal relationship with industry Consultant (27%) Member of a scientific advisory board (27%) Paid speaker (14%) officer (7%), founder (9%) A member of the board of directors (11%) Two-thirds (67%) of departments as administrative units had relationships with industry. No effect on professional activities (66%) BUT negative impact on conducting unbiased research (72%) Context Institutional academic–industry relationships have the potential of creating institutional conflicts of interest. To date there are no empirical data to support the establishment and evaluation of institutional policies and practices related to managing these relationships. Objective To conduct a national survey of department chairs about the nature, extent, and consequences of institutional–academic industry relationships for medical schools and teaching hospitals. Design, Setting, and Participants National survey of department chairs in the 125 accredited allopathic medical schools and the 15 largest independent teaching hospitals in the United States, administered between February 2006 and October 2006. Main Outcome Measure Types of relationships with industry. Results A total of 459 of 688 eligible department chairs completed the survey, yielding an overall response rate of 67%. Almost two-thirds (60%) of department chairs had some form of personal relationship with industry, including serving as a consultant (27%), a member of a scientific advisory board (27%), a paid speaker (14%), an officer (7%), a founder (9%), or a member of the board of directors (11%). Twothirds (67%) of departments as administrative units had relationships with industry. Clinical departments were more likely than nonclinical departments to receive research equipment (17% vs 10%, P=.04), unrestricted funds (19% vs 3%, P.001), residency or fellowship training support (37% vs 2%, P.001), and continuing medial education support (65% vs 3%, P.001). However, nonclinical departments were more likely to receive funding from intellectual property licensing (27% vs 16%, P=.01). More than two-thirds of chairs perceived that having a relationship with industry had no effect on their professional activities, 72% viewed a chair’s engaging in more than 1 industry-related activity (substantial role in a start-up company, consulting, or serving on a company’s board) as having a negative impact on a department’s ability to conduct independent unbiased research. Conclusion Overall, institutional academic–industry relationships are highly prevalent and underscore the need for their active disclosure and management. JAMA. 2007;298(15): www. Campbell EG et al - JAMA. 2007;298(15):

16 Campbell EG et al - JAMA. 2007;298(15):1779-1786

17 Méta-analyses…. Hétérogénéité des essais inclus
Analyse minutieuse Scores de qualité Qualité de la meta-analyse (double lecture, analyses de sensibilité, exhaustivité biblio) Biais de publication 271/1041 des essais réalisés par des  « professionnels » (Dickersin K et al – 1987) 27 soumis et refusés 33% stop prématuré Le reste: résultats négatifs ou sans intérêt Intérêt des registres d’essais déclarés +++ A ne faire que si une RCT de même taille n’est pas faisable( ou dans un 1er temps)

18 Discrepancies between large meta-analyses and subsequent large RCT (>1000 Pts)
Lelorier J et Gregoire G: NEJM 1997; 337:8:536 BACKGROUND: Meta-analyses are now widely used to provide evidence to support clinical strategies. However, large randomized, controlled trials are considered the gold standard in evaluating the efficacy of clinical interventions. METHODS: We compared the results of large randomized, controlled trials (involving 1000 patients or more) that were published in four journals (the New England Journal of Medicine, the Lancet, the Annals of Internal Medicine, and the Journal of the American Medical Association) with the results of meta-analyses published earlier on the same topics. Regarding the principal and secondary outcomes, we judged whether the findings of the randomized trials agreed with those of the corresponding meta-analyses, and we determined whether the study results were positive (indicating that treatment improved the outcome) or negative (indicating that the outcome with treatment was the same or worse than without it) at the conventional level of statistical significance (P<0.05). RESULTS: We identified 12 large randomized, controlled trials and 19 meta-analyses addressing the same questions. For a total of 40 primary and secondary outcomes, agreement between the meta-analyses and the large clinical trials was only fair (kappa= 0.35; 95 percent confidence interval, 0.06 to 0.64). The positive predictive value of the meta-analyses was 68 percent, and the negative predictive value 67 percent. However, the difference in point estimates between the randomized trials and the meta-analyses was statistically significant for only 5 of the 40 comparisons (12 percent). Furthermore, in each case of disagreement a statistically significant effect of treatment was found by one method, whereas no statistically significant effect was found by the other. CONCLUSIONS: The outcomes of the 12 large randomized, controlled trials that we studied were not predicted accurately 35 percent of the time by the meta-analyses published previously on the same topics.

19 Toutes les meta-analyses de 1945 à 1992 (tous les journaux)
Articles originaux sur cirrhose et hépatites de 1945 à 1999 dans Lancet et Gastroenterology (RCTs et non RCTs tiré au sort par période de 5 ans) Toutes les meta-analyses de 1945 à (tous les journaux) Aucune jusqu’à 1980 Scores de qualité des RCTs et des meta-analyses Classification par 6 experts aveugles en 3 classes Conclusions toujours valables Conclusions valables mais obsolètes Conclusions fausses

20 285/474 (60%) conclusions sont encore vraies, 91 (19%) obsolètes, 98 (21%) fausses
Conclusions encore vraies entre 1980 et 1999: 76% Méta-analyses sur données individuelles: 6/6 vraies P<0.001 Survie à 20 ans: Méta-analyses: 57  10% Non RCTs: 87  2 % RCTs: 85  3% IF>10!!

21 Obstacles à l’EBM en réanimation
Changement de comportement par diffusion passive Population des études non représentative de la vraie vie Le critère de jugement aurait pu être intéressant mais pas de la manière dont il est présenté Les résultats sont en risque relatif et pas en variation du risque absolu Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet Une RCT peut être contre dite par une autre quelques temps après

22 Low Tidal volume

23 Obstacles à l’EBM en réanimation
Changement de comportement par diffusion passive Population des études non représentative de la vraie vie Le critère de jugement aurait pu être intéressant mais pas de la manière dont il est présenté Les résultats sont en risque relatif et pas en variation du risque absolu Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet Une RCT peut être contre dite par une autre quelques temps après

24 What patients are we talking about???
Severe sepsis…what is it? (case-mix infection etc…)

25 Effet consentement éclairé
…Nécessité éthique qui pénalise l’applicabilité externe de la recherche sur les patients non compétents Sélection non aléatoire de l’échantillon inclus Centres particuliers souvent HU parfois distant de la vraie vie Délai entre l’indication et le début du traitement (sepsis+++, ards, HF haut débit etc…) Intérêt des nouvelles directives, consentement d’urgence….

26 AJRCCM 2003; 167:1304 Reducing tidal volumes administered to patients with acute lung injury is the only intervention reported to decrease mortality resulting from this life-threatening condition. Whereas many medical advances are slowly brought into practice, clinicians in teaching hospitals are often assumed to be early adopters of new medical advances. Our objective was to examine trends in the ventilatory prescription for 398 patients with acute lung injury treated in three teaching hospitals from 1994 to There was no change in tidal volumes until mid to late 1998, when volumes started to slowly decline at the rate of 48.0 (95% confidence interval, 21.0 to 74.4) ml/year. In the 2 years after the results were released from a large trial that demonstrated the superiority of 6 ml/kg tidal volume therapy over 12 ml/kg, clinicians prescribed tidal volumes of 651 +/- 128 ml or /- 1.9 ml/kg. Tidal volumes after intubation were minimally reduced over the subsequent 2 days of mechanical ventilation (mean reduction, 33 ml). Hospital category, male sex, and disease onset before May 1999 were associated with higher volumes whereas lung injury severity was inversely associated. We conclude that clinicians practicing at these teaching hospitals have not rapidly adopted low tidal volume ventilation that may reduce mortality. Diminution progressive des VC non influencé par les résultats de l’ARDS net et largement au dessus de 6 ml/kg…

27 Why 6 ml/kg is not accepted?
Because tidal volume was 10.3  2 ml/Kg in 10 centers between 1996 and 1999 and not 12!!! (Thompson, Chest 2001) These results was confirmed in two large epidemiological study (Esteban JAMA 2002, Brun-Buisson ICM 2004) Because mortality of not enroled ards patients was similar to the low tidal volume group!!!! (Hayden AJRCCM 2000)

28 Les patients ne sont pas nécessairement représentatifs de la population que l’on soigne…
15 % des patients éligibles inclus dans ARDS net 40% de DC vs 60% dans les études épidémiologiques… Problème de la REPRESENTATIVITE de l’échantillon ++++ La randomisation ne garantit pas l’équilibre entre les groupes Facteurs de confusion ARDS net: On sait que DC ALI >>> DC ARDS …. Les critères d’inclusion ne garantissent pas nécessairement la comparabilité entre les groupes et l’équivalence avec la population que je soigne…  Épreuve de 30 mn de VM (8 ml/kg, peep 10, 100%) Ferguson et al – ICM 2004; 30:1111

29 The control group… « is an exagerate real life »
Control group in the Vandenberghe study (2006) The control group… « is an exagerate real life » Finney – JAMA 2003

30 …Could no longer be used because physician attitude changed

31 Prowess 1690 pts/ 11 pays/ 164 sites!!!!
Uniquement 6.1% de réduction de DC A peine quelques % des sepsis sévères admis… Grande variabilité du reste de la prise en charge….non contrôlée… Cette étude est-t-elle généralisable…..?

32 Prowess – a learning curve? Macias et al – Crit care med 2004;32:2385

33 « CONCLUSIONS: A learning curve appeared to be present within the PROWESS trial … efficacy improved with increasing site experience... Investigational sites may need to require a minimum level of protocol-specific experience to appropriately implement a given trial. …This experience should be an important consideration in designing trials and analysis plans.  … » Sources of variability on the estimate of treatment effect in the PROWESS trial: implications for the design and conduct of future studies in severe sepsis. Macias WL, Vallet B, Bernard GR, Vincent JL, Laterre PF, Nelson DR, Derchak PA, Dhainaut JF. Lilly Research Laboratories, Eli Lilly and Company, Indianapolis, IN, USA. OBJECTIVE: To elucidate sources of variability in the estimate of treatment effects in a successful phase 3 trial in severe sepsis and to assess their implications on the design of future clinical trials. DESIGN: Retrospective evaluation of prospectively defined subgroups from a large phase 3, placebo-controlled clinical trial (PROWESS). SETTING: The study involved 164 medical centers. PATIENTS: Patients were 1,690 patients with severe sepsis. INTERVENTIONS: Drotrecogin alfa (activated) (Xigris) 24 microg/kg/hr for 96 hrs, or placebo. MEASUREMENTS AND MAIN RESULTS: All prospectively defined subgroups were examined to identify treatment effects that potentially differed across subgroup strata (assessed by Breslow-Day p < .10). Potential interactions were identified for subgroups defined by a) presence vs. absence of a significant protocol violation (p = .07); b) original vs. amended protocol (p = .08); and c) Acute Physiology and Chronic Health Evaluation (APACHE) II quartile at baseline (p = .09). No treatment benefit was observed in patients having a protocol violation, regardless of type. There appeared to be less treatment effect in patients enrolled under the original vs. amended protocol. The risk ratio exceeded 1.0 for patients in the lowest APACHE II score quartile. A highly significant correlation was observed between the sequence of enrollment at a site, the frequency of protocol violations, and the observed treatment effect. As enrollment increased, frequency of protocol violations decreased (p < .0001) and the treatment effect improved. The correlation between the sequence of enrollment and improvement in treatment effect remained even after removal of patients with protocol violations. Removal of the first block of patients at each site from the analysis reduced the extent of interaction by protocol version and APACHE II score. CONCLUSIONS: A learning curve appeared to be present within the PROWESS trial such that the ability to demonstrate efficacy improved with increasing site experience. This potential learning curve may have implications for design of future trials. Investigational sites may need to require a minimum level of protocol-specific experience to appropriately implement a given trial. This experience should be an important consideration in designing trials and analysis plans. Diligence by coordinating centers, site investigators, study coordinators, and sponsors is necessary to ensure that the protocol is executed as designed such that a treatment benefit, if present, will be evident. Macias et al – Crit care med 2004;32:2385

34 Obstacles à l’EBM en réanimation
Changement de comportement par diffusion passive Population des études non représentative de la vraie vie Le critère de jugement ne sont pas forcement bon ou sont mal présentés Les résultats sont en risque relatif et pas en variation du risque absolu Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet Une RCT peut être contre dite par une autre quelques temps après

35 Les (les) critères de jugement
Précis Reproductible Reflet de ce que l’on veux mesurer.. Attention au choix Attention aux critères multiples

36 « Surrogate end-points »
Y a t-il une association forte indiscutable entre le « surrogate » et le « clinical » end-point? Y a t-il des démonstrations répétées, pour la même famille de traitement, que l’amélioration du « surrogate » est associée à une amélioration du clinical end-point? Quelle est l’importance de l’effet et sa précision? Est ce que le rapport coût-bénéfice est dans le bon sens? Grande circonspection…. Bucher HG – JAMA 1999; 282:771

37 Surrogate end-points…example of failure
Tension artérielle    DC LNMA   TA Lopez A et al – Crit Care Med 2004;32:21-30

38 Survival:What is the optimal end-point?
Acute disease Underlying illnesses Day 14 Day 28 Day 90 1y time

39 Mortality of bacteremic pneumococcal pneumonia

40 Mortalité après un sepsis
20 to 30 % des évènements surviennent après J28 Duration of Hospital stay after infection (European sepsis database - Alberti, 2002) Le choix de la mortalité à 28 jours est arbitraire et conduit à une perte d’information Median IQR

41 Drot AA Placebo p Lost of Follow up Hospital 70.3% 65.1% 0.03 0%
3-month 66.1% 62.4% 0.11 6% 1-year 58.9% 57.2% 0.49 7% Objective: To determine long-term survival for subjects with severe sepsis enrolled in the previous multiple-center trial (PROWESS) of drotrecogin alfa (activated) (DrotAA) vs. placebo. Design: Retrospective, cross-sectional, blinded follow-up of subjects enrolled in a previous randomized, controlled trial.Setting: One hundred sixty-four tertiary care institutions in 11 countries. Participants: The 1,690 subjects with severe sepsis enrolled and treated with study drug in PROWESS, of whom 1,220 were alive at 28 days (the end of the original PROWESS follow-up). Interventions: DrotAA (n 850), 24 g/kg/hr for 96 hrs, or placebo (n 840). Measurements and Main Results: Long-term survival data were collected. We had follow-up information on 100% of subjects at 28 days, 98% at hospital discharge, 94% at 3 months, and 93% at 1 yr. The longest follow-up was 3.6 yrs. Hospital survival was higher with DrotAA vs. placebo (70.3% vs. 65.1%, p .03). There was no statistically significant difference in duration of survival time or in landmark survival rates in subjects who received DrotAA compared with those who received placebo (median duration of survival 1113 days vs. 846 days for DrotAA vs. placebo, p .10; landmark survival rates for DrotAA vs. placebo, 66.1% vs. 62.4% at 3 months [p .11], 62.2% vs. 60.3% at 6 months [p .44], 58.9% vs. 57.2% at 1 yr [p .49], and 52.6% vs. 49.3% at 21⁄2 yrs [p .21]). There was a significant interaction (p ) inbetween treatment assignment and baseline Acute Physiology and Chronic Health Evaluation (APACHE) II scores, suggesting qualitative differences in treatment effect with severity of illness. Subjects with APACHE II >25 had better survival time with DrotAA (median duration of survival: 450 vs. 71 days, p .0005). Survival rates were also higher at landmark time points (DrotAA vs. placebo, 58.9% vs. 48.4% at 3 months [p .003], 55.2% vs. 45.3% at 6 months [p .005], 52.1% vs. 41.3% at 1 yr [p .002], and 45.6% vs. 33.8% at 21⁄2 yrs [p .001]). In the APACHE II <25 group there was no significant difference in survival time or survival rates at landmark time points except at 1 yr (DrotAA vs. placebo, 65.5% vs. 72.0% at 1 yr, p .04). Conclusions: The acute survival benefit observed in subjects with severe sepsis who received DrotAA persists to hospital discharge. The survival benefit loses statistical significance thereafter. Post hoc analysis suggests the effect of DrotAA varies by APACHE II score with improved long-term survival in subjects with APACHE II scores >25 but no benefit in those with lower scores. (Crit Care Med 2004; 32:2199 –2206) KEY WORDS: severe sepsis; mortality; drotrecogin; protein C; recombinant human activated protein C; Xigris; follow-up studies; survival analysis Angus D et al - Crit Care Med 2004; 32:2199 –2206)

42 Angus D et al - Crit Care Med 2004; 32:2199 –2206)

43 What is the best??? Day 14  more related to the disease itself…low noise Day 28  compromise? Day 90  competing events?, probably more important at the patient’s point of view 1 year   competing events, more important for patient and at the societal point of view All of the end-points  YES!!BUT Multiple comparisons ( NNT,  power)

44 Multiple comparisons probabilty to obtain one 5 on a throw of dice
Probability to obtain at least one 5 on 2 throws of dice P = 1 – (5/6)= 0.16 P = 1 – (5/6)2= 0.30

45 Multiple comparison and type one error
Alpha (type one error) = probability to show a difference whereas there is not (fixed arbitrarily to 5% in biology) 1 test: =1-95/100= 5% 2 tests* = 1-(95/100)2= 9.7% 3 tests* = 1-(95/100)3= 14.3% (*) En supposant l’indépendance entre les facteurs testés

46 If we came back to our example:
Drot AA Placebo p Lost of Follow up Hospital 70.3% 65.1% 0.03 0% 3-month 66.1% 62.4% 0.11 6% 1-year 58.9% 57.2% 0.49 7% The probability to show at least one p value less than 5% out of 3 tests is 14.3%! Objective: To determine long-term survival for subjects with severe sepsis enrolled in the previous multiple-center trial (PROWESS) of drotrecogin alfa (activated) (DrotAA) vs. placebo. Design: Retrospective, cross-sectional, blinded follow-up of subjects enrolled in a previous randomized, controlled trial.Setting: One hundred sixty-four tertiary care institutions in 11 countries. Participants: The 1,690 subjects with severe sepsis enrolled and treated with study drug in PROWESS, of whom 1,220 were alive at 28 days (the end of the original PROWESS follow-up). Interventions: DrotAA (n 850), 24 g/kg/hr for 96 hrs, or placebo (n 840). Measurements and Main Results: Long-term survival data were collected. We had follow-up information on 100% of subjects at 28 days, 98% at hospital discharge, 94% at 3 months, and 93% at 1 yr. The longest follow-up was 3.6 yrs. Hospital survival was higher with DrotAA vs. placebo (70.3% vs. 65.1%, p .03). There was no statistically significant difference in duration of survival time or in landmark survival rates in subjects who received DrotAA compared with those who received placebo (median duration of survival 1113 days vs. 846 days for DrotAA vs. placebo, p .10; landmark survival rates for DrotAA vs. placebo, 66.1% vs. 62.4% at 3 months [p .11], 62.2% vs. 60.3% at 6 months [p .44], 58.9% vs. 57.2% at 1 yr [p .49], and 52.6% vs. 49.3% at 21⁄2 yrs [p .21]). There was a significant interaction (p ) inbetween treatment assignment and baseline Acute Physiology and Chronic Health Evaluation (APACHE) II scores, suggesting qualitative differences in treatment effect with severity of illness. Subjects with APACHE II >25 had better survival time with DrotAA (median duration of survival: 450 vs. 71 days, p .0005). Survival rates were also higher at landmark time points (DrotAA vs. placebo, 58.9% vs. 48.4% at 3 months [p .003], 55.2% vs. 45.3% at 6 months [p .005], 52.1% vs. 41.3% at 1 yr [p .002], and 45.6% vs. 33.8% at 21⁄2 yrs [p .001]). In the APACHE II <25 group there was no significant difference in survival time or survival rates at landmark time points except at 1 yr (DrotAA vs. placebo, 65.5% vs. 72.0% at 1 yr, p .04). Conclusions: The acute survival benefit observed in subjects with severe sepsis who received DrotAA persists to hospital discharge. The survival benefit loses statistical significance thereafter. Post hoc analysis suggests the effect of DrotAA varies by APACHE II score with improved long-term survival in subjects with APACHE II scores >25 but no benefit in those with lower scores. (Crit Care Med 2004; 32:2199 –2206) KEY WORDS: severe sepsis; mortality; drotrecogin; protein C; recombinant human activated protein C; Xigris; follow-up studies; survival analysis So.. be careful before to conclude… Angus D et al - Crit Care Med 2004; 32:2199 –2206)

47 Si l’on fait 100 ECR (avec risque alpha de 5%) sur le même sujet,
il y a 5 chances sur 100 que l’un soit “positif”

48 Les hypothèses et le nombre de sujets nécessaires ne sont pas là que pour la faisabilité….
Freeman et al – AJRCCM 2001; 164:190 HGH: Pour démontrer un effet délétère de la GH on aurait pu inclure 382 patients de moins et éviter 44 DC… DCL-Hb: Pas de phase II, Data safety monitoring committee en aveugle…(42 DC évitables) LNMA: entre l’analyse intermédiaire (n=500) jugeant d’un effet potentiellement delétère et l’arrêt de l’étude: 297 inclusions!!! Necessite de phase II Monitoring en aveugle dangeureux car si la mortalité globale est acceptable, aucun moyen de juger du sur-risque de dc Vitesse de réaction de l’IDMC?

49 JAMA 2005; 294: 2203 143 RCT, 92 dans les 5 « top impact » journaux Surtout: sponsorisé par l’industrie, cardiologie, cancérologie En très forte augmentation (0.5  1.2% en ) 63% du recrutement prévu RR médian: 0.53 ( ) 135/143 (94%) ne renseignent pas sur: L’effectif initialement prévu, l’existence d’analyse(s) intermédiaire(s), les règles d’arrêt. CONTEXT: Randomized clinical trials (RCTs) that stop earlier than planned because of apparent benefit often receive great attention and affect clinical practice. Their prevalence, the magnitude and plausibility of their treatment effects, and the extent to which they report information about how investigators decided to stop early are, however, unknown. OBJECTIVE: To evaluate the epidemiology and reporting quality of RCTs involving interventions stopped early for benefit. DATA SOURCES: Systematic review up to November 2004 of MEDLINE, EMBASE, Current Contents, and full-text journal content databases to identify RCTs stopped early for benefit. STUDY SELECTION: Randomized clinical trials of any intervention reported as having stopped early because of results favoring the intervention. There were no exclusion criteria. DATA EXTRACTION: Twelve reviewers working independently and in duplicate abstracted data on content area and type of intervention tested, reporting of funding, type of end point driving study termination, treatment effect, length of follow-up, estimated sample size and total sample studied, role of a data and safety monitoring board in stopping the study, number of interim analyses planned and conducted, and existence and type of monitoring methods, statistical boundaries, and adjustment procedures for interim analyses and early stopping. DATA SYNTHESIS: Of 143 RCTs stopped early for benefit, the majority (92) were published in 5 high-impact medical journals. Typically, these were industry-funded drug trials in cardiology, cancer, and human immunodeficiency virus/AIDS. The proportion of all RCTs published in high-impact journals that were stopped early for benefit increased from 0.5% in to 1.2% in (P<.001 for trend). On average, RCTs recruited 63% (SD, 25%) of the planned sample and stopped after a median of 13 (interquartile range [IQR], 3-25) months of follow-up, 1 interim analysis, and when a median of 66 (IQR, ) patients had experienced the end point driving study termination (event). The median risk ratio among truncated RCTs was 0.53 (IQR, ). One hundred thirty-five (94%) of the 143 RCTs did not report at least 1 of the following: the planned sample size (n = 28), the interim analysis after which the trial was stopped (n = 45), whether a stopping rule informed the decision (n = 48), or an adjusted analysis accounting for interim monitoring and truncation (n = 129). Trials with fewer events yielded greater treatment effects (odds ratio, 28; 95% confidence interval, 11-73). CONCLUSIONS: RCTs stopped early for benefit are becoming more common, often fail to adequately report relevant information about the decision to stop early, and show implausibly large treatment effects, particularly when the number of events is small. These findings suggest clinicians should view the results of such trials with skepticism. Importance de l’effet traitement peu plausible, règles d’arrêt pas claires, à regarder avec distance…

50 Au nom du petit p…. Combien faut t-il de décès qui change de bras pour que l’essai Prowess ne soit plus significatif…????? Placebo Xigris total 840 850 DC 259 (30.8%) 210 (24.7%) Placebo Xigris total 840 850 DC 251 (29.9%) 218 (25.6%) 8 P=0.005 P=0.06

51 TFPI in severe sepsis Abraham E et al- JAMA 2003; 238-47
Efficacy and safety of tifacogin (recombinant tissue factor pathway inhibitor) in severe sepsis: a randomized controlled trial. Abraham E, Reinhart K, Opal S, Demeyer I, Doig C, Rodriguez AL, Beale R, Svoboda P, Laterre PF, Simon S, Light B, Spapen H, Stone J, Seibert A, Peckelsen C, De Deyne C, Postier R, Pettila V, Artigas A, Percell SR, Shu V, Zwingelstein C, Tobias J, Poole L, Stolzenbach JC, Creasey AA; OPTIMIST Trial Study Group. Division of Pulmonary Sciences and Critical Care Medicine, University of Colorado Health Sciences Center, Denver 80262, USA. CONTEXT: The expression and release of tissue factor is a major trigger for the activation of coagulation in patients with sepsis. Tissue factor pathway inhibitor (TFPI) forms a complex with tissue factor and blood protease factors leading to inhibition of thrombin generation and fibrin formation. OBJECTIVES: To determine if administration of tifacogin (recombinant TFPI) provides mortality benefit in patients with severe sepsis and elevated international normalized ratio (INR) and to assess tifacogin safety in severe sepsis, including patients with low INR. DESIGN AND SETTING: A randomized, double-blind, placebo-controlled, multicenter, phase 3 clinical trial conducted from March 21, 2000, through September 27, 2001, in 245 hospitals in 17 countries in North America, Europe, and Israel. PATIENTS: The primary efficacy population consisted of 1754 patients (> or =18 years) with severe sepsis and a high INR (> or =1.2) randomly assigned to intravenous infusion of either tifacogin (0.025 mg/kg per hour for 96 hours, n = 880) or placebo (arginine citrate buffer, n = 874), and 201 patients with a low INR (<1.2) randomly assigned to receive the same dose of either tifacogin or placebo. MAIN OUTCOME MEASURE: All-cause 28-day mortality. RESULTS: Overall mortality at 28 days in the tifacogin-treated group (n = 880) vs the placebo group (n = 874) for high INR was 34.2% vs 33.9%, respectively (P =.88, Pearson chi2 test; P =.75, logistic regression model). None of the protocol-specified secondary end points differed between the tifacogin vs placebo groups. An analysis on the first 722 patients demonstrated a mortality rate of 38.9% for placebo vs 29.1% for tifacogin (P =.006, Pearson chi2 test). Tifacogin significantly attenuated prothrombin fragment 1.2 and thrombin:antithrombin complex levels (P<.001, 2-sample t test) in patients with high and low INR. Overall mortality was lower in the tifacogin response in patients with low INR (12%; n = 83) vs placebo (22.9%; n = 118) (P =.051, Pearson chi2 test; P =.03, logistic regression model). There was an increase in serious adverse events with bleeding in the tifacogin group in both cohorts (6.5% tifacogin and 4.8% placebo for high INR; 6.0% tifacogin and 3.3% placebo for low INR). CONCLUSIONS: Treatment with tifacogin had no effect on all-cause mortality in patients with severe sepsis and high INR. Tifacogin administration was associated with an increase in risk of bleeding, irrespective of baseline INR.

52 Conclusion: Treatment with tifacogin had no effect on all-cause mortality in patients with severe sepsis and high INR...

53 Obstacles à l’EBM en réanimation
Changement de comportement par diffusion passive Population des études non représentative de la vraie vie Le critère de jugement ne sont pas forcement bon ou sont mal présentés Les résultats sont en risque relatif et pas en variation du risque absolu Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet Une RCT peut être contre dite par une autre quelques temps après

54 Statistiquement significatif
Que veut dire p <0,001? książka w nagrodę

55 Statistiquement significatif
décès 35% vs 46% difference: 11%; p <0,001 Hypothèse nulle (H0) Il n’y a pas de différence entre les groupes Que teste t-on? En supposant qu’il n’y ait pas de différence entre les traitements... …Quelle est la probabilité d’observer une différence au moins aussi importante (11%) par hasard? Pitt et al – NEJM1999

56 Statistiquement significatif
si p <0,05 (5%) on conclura que la différence n’est pas liée au hasard pourquoi p <0,05 (1/20)? À cause de lui...

57 Statistiquement significatif
La difference statistiquement significative ne donne pas la taille et l’importance de l’effet Une différence cliniquement significative reflète l’importance de l’observation et est en partie subjective

58 Hypothermia after cardiac arrest NEJM 2002; 346: 549
death Yes no total Cooling 56 81 137 Normal 76 62 138 ARR = Rc – Ra 0,14 NNT = 1/ARR 8 RR = Ra/Rc 0,74 RRR = 1–RR 26% 56/137 = 0,41 Ra = Rc = 76/138 = 0,55

59 Hypothermia after cardiac arrest NEJM 2002; 346: 549
100 Survival analysis Relative Hazard (Hazard Ratio) HR ~ 0,65 75 hypothermia survival [%] 50 normotermia 25 time [days 50 100 150 200

60 • Survival analysis After 12 years RR ~ 0,98 HR ~ 0,68 After 4 years
100 HR ~ 0,68 After 12 years RR ~ 0,98 4 75 After 4 years RR ~ 0,16 Survival without recurrence [%] 50 treated glejak 25 Non-treated 12 Time [years] 5 10 15

61 Risque relatif ou absolu
Risque de base Ra Rc RR RRR ARR NNT faible élevé 4% 3% 0,75 0,25 0,01 100 20% 15% 0,75 0,25 0,05 20 mylące bezwzgledne i względne. tylko Einstein to rozumiał...

62 Évaluation de l’efficacité des RCTs Recombinant Human Activated Protein C for severe sepsis
Placebo A P C 581 259 640 210 non Oui Décès à J28 US $ 100,000 16 6.1% 0,20 0.80 0,74 30.8% 24.7% coût Number « pills » NNT ARR RRR RR OR Rc Ra Si l’on accepte les résultats de Prowess.. on évite 20% des décès Doit t-on dépenser cet argent? Chez qui? Quel est le coût des effets secondaires? Qui décide l’utilisation (réanimateur, patient, Sec soc, société)?

63 Coût-efficacité comparés
0$/QALY $/QALY Statines $ PAC $ Thrombolyse $ Drotrecogin alfa $ Airbags $ Defibrillateurs implantables $ Réanimation cardio pulmonaire $ From: Crit Care Med 2003; Vol.31 (1)

64 Validity Internal validity: How well was the study done? Do the results reflect the truth? External validity: can I apply these results to MY patients? When we consider validity, we really need to look at two types of validity. Internal validity is, basically, how well methodologically was the study performed. In other words, was the study design rigorous enough so that we can be confident that the researchers found what they think they found? We’re asking how well do the results reflect the truth of what actually happens in the world. External validity asks the results found in the study apply to people not included in the study. In other words, can I apply these results to my patients? We need to determine the generalizability of the study to the population of patients we see. Rarely do we have a study that includes all types of patients and there are usually many types of exclusion and inclusion criteria that frequently do not apply to our patients. It’s important for us to determine whether or not these results really have a probability of similarly affecting our particular patients. For more on generalizability, see: Altman DG, Bland JM. Generalisation and extrapolation. BMJ 1998;317: 4

65 Conflit validité interne/externe
La spironolactone améliore le pronostic de l’insuffisance cardiaque (-30% de risque de dc) Juurlink et al – NEJM 2004; 351:543

66 Essais randomisés contrôlés et pronostic du SDRA
Hudson et al, 1998 ERC sur réduction du VT ? ERC sur niveau de PEP ? ERC sur decubitus ventral ? ERC sur NO ?

67 EBM et éthique Kerridge I & Henry D – BMJ 1998; 1151
Dans la décision médicale: EBM mais aussi Expérience, valeurs personnelles, considération économiques et politiques, Principes philosophiques (justice) Conséquentialisme: Outcome non mesuré (douleur), non mesurable (justice), complexes (QdV) L’outcome choisi n’est pas forcément celui que choisirait le patient mais celui de l’investigateur principal… Suprématie de la RCT… Notion d’équipoise Ne permet pas de tester certaines hypothèses Utilisation de l’EBM Applicabilité à la population que je soigne… On ne peut allouer des ressources aux champs de la médecine se prêtant mal à l’EBM (soins palliatifs) Notion de bénéfice individuel? Ou de bénéfice collectif?

68 Savoir raison garder EBM est un outil utile… Ne résout pas tout…
En recherche, soins, pédagogie… Ne résout pas tout… Intérêt du rationnel physiopathologique Intérêt de la répétition des résultats Sur d’autres RCTs Sur des bases de données…