L’Evidence based medicine les atouts, les limites en réanimation

Présentation au sujet: "L’Evidence based medicine les atouts, les limites en réanimation"— Transcription de la présentation:

1 L’Evidence based medicine les atouts, les limites en réanimation
Jean-François TIMSIT Réanimation médicale CHU Grenoble INSERM U578

2 Définition Pertinence L'Evidence-Based Medicine se définit comme l'utilisation consciencieuse et judicieuse des meilleures données actuelles de la recherche clinique dans la prise en charge personnalisée de chaque patient . Expérience Préférence Sackett DL, et al. BMJ 1996 ; 312 :

3 Patient or problem Intervention, test of exposure Comparison interventions Outcomes

4 Evidence pyramid Meta-analysis of original data
Systematic revue of RCTs RCT Cohort Case-control Analyses using computer databases Series with literature control Cases series case reports Expert opinion Animal research / in vitro studies Evidence pyramid Olkin – J Clin Epidemiol; 48:

5 Intérêt de la randomisation…
Prise en compte des facteurs de confusion connus ET inconnus dans l’estimation de la relation entre un facteur X et un résultat Y Traitement A Traitement B DC 5% DC 40% IGSII 10 IGS II 48 Fact X 90% Fact X 10%

6 EBM .. POUR amélioration des connaissances,
Des habiletés à la recherche biblio, support à l’enseignement, permet aux juniors de participer à la décision, permet une meilleure communication avec les patients et une meilleure utilisation des ressources Permet d’identifier le meilleur traitement et de faire le meilleur choix en connaissance de cause Kerridge I & Henry D – BMJ 1998; 1151

7 Obstacles à l’EBM Accès à l’information? Manque de moyens
Manque de formation spécialisée Interprétation incorrecte Refus du résultat Volonté de ne pas concevoir des procédures Coût Villar J – ICM 2005; 31:196

8 Alternatives à l’EBM Facteur décisionnel marqueur Outils de mesure
Isaacs D and Fitzgerald D - BMJ 1999;319:1618 Alternatives à l’EBM Facteur décisionnel marqueur Outils de mesure Unité de mesure Evidence-based Essai randomisé Meta-analyse Rapport des cotes Eminence-based Eclat de la crinière argentée Photometre Densité optique Véhémence Volume sonore Sonometre Décibels Eloquence Charme du discours et drapé du costume Téflometre Score d’adhésion collante Providence Ferveur religieuse Angle de genuflexion Unité de piété Indécision Niveau de morosité Nihilometre Soupirs Frousse Degré de phobie juridique Tout est imaginable Solde banquaire Confidence-based Bravade Test à la sueur anidrose David Isaacs, Dominic Fitzgerald Department of Education and Medicine, New Children's Hospital, Westmead, NSW 2145, Australie Correspondance : D Isaacs - Source : BMJ 1999;319:1618. Article traduit et republié avec l'accord du BMJ Publishing Group. Eminence-based medicine, ou Médecine fondée sur la préémi-nence - Plus son grade est élevé, moins le confrère attache d'importance à des choses aussi triviales que les niveaux de preuve. L'expérience, semble-t-il, vaut toutes les preuves. Ces confrères ont une foi touchante en l'expérience clinique, dont on a dit qu'elle consistait à « répéter les mêmes erreurs, avec une confiance croissante, pendant un nombre impressionnant d'années [7]. » Les cheveux blancs et le crâne dégarni de l'éminent praticien sont à l'origine de ce que l'on appelle l'« effet d'auréole ». Vehemence-based medicine, ou Médecine fondée sur la véhémence - Le volume sonore remplace ici les niveaux de preuve ; il s'agit d'une technique efficace pour intimider les collègues timorés et convaincre les proches de votre compétence. Eloquence-based medicine, ou Médecine fondée sur l'éloquence - Ici, le bronzage perpétuel, l'œillet à la boutonnière, la cravate de soie, le costume Armani et le discours doivent atteindre un même niveau de perfection charmeuse. L'élégance vestimentaire et l'éloquence verbale sont de puissants succédanés des niveaux de preuve. Providence-based medicine, ou Médecine fondée sur la providence - Lorsqu'un médecin traitant n'a pas la moindre idée de ce qu'il va bien pouvoir faire, il peut lui sembler préférable de confier la décision au Tout-Puissant. Malheureusement, de trop nombreux médecins ne peuvent s'empêcher d'intervenir dans les affaires divines pour déterminer la décision à prendre. Diffidence-based medicine, ou Médecine fondée sur l'indécision - Quand ils rencontrent un problème, certains praticiens cherchent une solution. D'autres ne voient que le problème. Sa conscience pessimiste incite le médecin qui manque de confiance en soi à ne rien faire du tout, ce qui - bien entendu - est souvent préférable à l'attitude qui consisterait à vouloir absolument faire quelque chose, dans le seul but d'éviter la blessure d'amour-propre qu'inflige l'inaction. Nervousness-based medicine, ou Médecine fondée sur la frousse - La peur du reproche, voire du procès, stimule fortement l'excès d'investigations et de traitements. Dans une atmosphère où règne la phobie juridique, le seul mauvais examen est celui que l'on n'a pas pensé à demander. Confidence-based medicine, ou Médecine basée sur la confiance en soi - Cette option est réservée aux chirurgiens (Tableau).

9 Tout article scientifique est biaisé par 4 (5) acteurs
Auteur Etre publié (accepte tous les compromis sur le message) Rédacteur Innovation, équilibre thématique, plaire au propriétaire (biais de publication) Expert Subjectivité prouvée, affectivité Propriétaire Liens avec des sociétés savantes, avec des industriels Lecteur Ne lit que la version finale, a le droit de ne pas lire, de ne pas accepter La médecine basée sur les preuves est l'utilisation consciencieuse, explicite et judicieuse de la meilleure preuve pour décider des soins appropriés à un malade [1]. Elle associe l'expertise clinique individuelle aux preuves recueillies par une analyse de la littérature. La détermination du niveau de preuve scientifique est utile pour apprécier la qualité d'un article [2]. Les articles de qualité sont le plus souvent retenus pour proposer des recommandations. Ces articles sont rares. Des recommandations établies avec un niveau de preuve élevé devraient inciter un professionnel à modifier ses pratiques. Ces concepts devraient être généralisés à d'autres sciences que la Médecine [3]. Tout article est le résultat d'un long processus de publication et d'un compromis entre cinq acteurs aux intérêts divergents : l'auteur, le rédacteur, l'expert, le propriétaire et le lecteur. Les quatre premiers interviennent avant la publication, le lecteur intervient a posteriori : il est « oublié » par le système. L'auteur : après des mois ou des années de travail, il soumet son article à une revue et poursuit dès lors un objectif principal : être publié. Le fait d'être lu et compris est relégué au second rang. Ce désir de publier le met en position de faiblesse et l'amène à accepter toutes les modifications demandées par les autres protagonistes (co-auteurs, experts, rédacteur ou propriétaire de la revue). Des versions successives de l'article « circulent » avec, ou sans son accord. Parfois le message de l'article est modifié mais l'auteur l'accepte, car il veut être publié. Ce n'est pas sans raison que le « Comité international des rédacteurs de journaux biomédicaux », dit groupe de Vancouver, propose de réserver la qualification d'auteur à ceux qui approuvent intégralement le contenu final de l'article. A l'extrême, des auteurs ont inventé des données dans le seul but de publier [4]. Le rédacteur de la revue veut à la fois disposer d'articles « innovants », respecter un équilibre thématique, prendre en compte l'avis du propriétaire. Son objectif est aussi de publier des articles de qualité, mais que faire d'un essai thérapeutique de grande qualité dont le résultat est dit « négatif » ou d'un article d'origine japonaise quand on veut gagner des abonnés en Asie ? Les biais de publication sont nombreux [5]. L'expert est sollicité pour donner un avis sur l'article avant son acceptation par le rédacteur. Cet avis ne concerne, en principe, que la valeur scientifique du travail, mais il reste souvent guidé par des facteurs humains (notamment la situation de l'expert par rapport aux auteurs : équipe « amie » ou compétiteurs). De mieux en mieux connu, le système de l'expertise a montré des comportements étonnants [6] ; pour un même article, deux experts ont pu émettre des avis diamétralement opposés ! Afin de diminuer ces variations subjectives, certaines revues proposent désormais aux experts de travailler à partir de grilles d'analyse. Le propriétaire : outre diffuser du matériel scientifique, il poursuit des objectifs spécifiques, parfois mal acceptés par les autres acteurs. Certaines revues appartiennent à des organisations à but non lucratif (sociétés savantes), d'autres à des organisations à but lucratif qui rendent des comptes aux actionnaires. Le propriétaire peut imposer des liens avec des industriels, et influencer les versions successives de l'article. Des différences de qualité ont été notées entre les suppléments des revues, et les numéros réguliers, soumis à expertise [7]. Nos stratégies thérapeutiques ou diagnostiques doivent-elles être influencées par des enjeux économiques ? Le lecteur intervient après publication. Il ne lit que la version finale de l'article, compromis entre les quatre premiers acteurs, sans connaître les versions précédentes. Elles peuvent pourtant être importantes : l'accès à ces versions a parfois été demandé par les tribunaux américains. Le lecteur a deux moyens pour intervenir : l'achat (ou non) de la revue, la lecture (ou non) de l'article et sa citation ultérieure. Quelle est son influence sur le système ? Le non achat n'est pas très contraignant car ce « marché » est particulier : le consommateur n'est pas souvent le payeur, parfois il reçoit la revue en complément de sa cotisation à une société savante. La non lecture ne sanctionne pas l'auteur comme en littérature. Ainsi, le lecteur est en général « oublié » par ces circuits de publication scientifique. Trop de déviations ont été constatées. Des principes éthiques ont été proposés pour chacun de ces cinq acteurs [8] mais leur impact concret est quasi nul. De nouvelles règles du jeu, basées sur la détermination du niveau de preuve et de la force des recommandations, pourraient améliorer la qualité des articles et la diffusion des connaissances. Dans ce système, l'article deviendrait un produit standard, contrôlé, réglementé. Mais la régulation des articles est-elle réellement souhaitable ? Dr Hervé Maisonneuve Président de l'European Association of Science Editors Correspondance : Docteur H. Maisonneuve - ANDEM - 159, rue Nationale PARIS Cedex 13. Références 1. Sackett DL, Rosenberg WM, Gray JA, et al. Evidence based medicine : what it is and what it isn't. It's about intergrating individual clinical expertise and the best evidence. BMJ 1996 ; 312 : 2. Broclain D. Pour un niveau de preuves explicites des recommandations. La Revue Prescrire 1996 ; 16 : 3. Maisonneuve H. Do we base science on facts or opinions ? European Science Editing 1996 ; 57 : 2. 4. Lock S. Research misonduct : a resume of recent events. In : S. Lock, F Wells, eds, Fraud and misconduct in medical research. BMJ publishing group 1996 : 5. Sharp D. What can and should be done to reduce publication bias ? The perspective of an editor. JAMA 1990 ; 263 : 6. The second international congress on peer review in biomedical publication. JAMA 1994 ; 272 : 7. Rochon PA, Gurwitz JH, Cheung CM, et al. Evaluating the quality of articles published in journal supplements compared with the quality of those published in the parent journal. JAMA 1994 ; 272 : 8. Riis P. The ethics of scientific publication. Science Editor's Handbook (B3) 1994 January. Maisonneuve H - EBM J 1996

10 RCT et impact socio-économique
Poids de l’argent et de l’ambition Poids économique vital pour l’industrie Mise sur le marché 500 millions de $ Études négatives non publiées Compétitions entre les CRO et les structures indépendantes (academiques)  le moins cher et le plus conciliant gagne…. « the use of clinical trials primarily for marketing makes a mockery of clinical investigation » Poids économique majeur sur la vie d’un journal Impact factor, publicité, suppléments, actionnariat…. Dreyfuss D – ICM 2005; 31:345

11 Source de financement et bénéfice
Lexchin J – BMJ 2003; 326:1167 30 études qui identifie les sources de financement dans differents domaines Medline 96 à 2002 Embase 1980 à 2002 3351 articles pas de mention du funding pour 3248, revue incomplete pour 73 autres 4.05 fois plus frequemment un résultat en faveur du sponsor Aucun demonstration d’une qualité inféreure des etudes de l’industrie OR=4.05

12 Source de financement et bénéfice
Als–Nielsen B – JAMA 2003; 290: 921 370 RCT inclues dans les méta-analyses du groupe Cochrane « Conclusions in trials funded by for-profit organizations may be more positive due to biased interpretation of trial results…. »

13 Méta-analyses…. Hétérogénéité des essais inclus
Analyse minutieuse Scores de qualité (double lecture) Qualité de la meta-analyse (double lecture, analyses de sensibilité, exhaustivité biblio) Biais de publication 271/1041 des essais réalisés par des  « professionnels » (Dickersin K et al – 1987) 27 soumis et refusés 33% stop prématuré Le reste: résultats négatifs ou sans intérêt Intérêt des registres d’essais déclarés +++ Faut –t-il inclure les essais non publiés? A ne faire que si une RCT de même taille n’est pas faisable( ou dans un 1er temps)

14 Discrepancies between large meta-analyses and subsequent large RCT (>1000 Pts)
Lelorier J et Gregoire G: NEJM 1997; 337:8:536 BACKGROUND: Meta-analyses are now widely used to provide evidence to support clinical strategies. However, large randomized, controlled trials are considered the gold standard in evaluating the efficacy of clinical interventions. METHODS: We compared the results of large randomized, controlled trials (involving 1000 patients or more) that were published in four journals (the New England Journal of Medicine, the Lancet, the Annals of Internal Medicine, and the Journal of the American Medical Association) with the results of meta-analyses published earlier on the same topics. Regarding the principal and secondary outcomes, we judged whether the findings of the randomized trials agreed with those of the corresponding meta-analyses, and we determined whether the study results were positive (indicating that treatment improved the outcome) or negative (indicating that the outcome with treatment was the same or worse than without it) at the conventional level of statistical significance (P<0.05). RESULTS: We identified 12 large randomized, controlled trials and 19 meta-analyses addressing the same questions. For a total of 40 primary and secondary outcomes, agreement between the meta-analyses and the large clinical trials was only fair (kappa= 0.35; 95 percent confidence interval, 0.06 to 0.64). The positive predictive value of the meta-analyses was 68 percent, and the negative predictive value 67 percent. However, the difference in point estimates between the randomized trials and the meta-analyses was statistically significant for only 5 of the 40 comparisons (12 percent). Furthermore, in each case of disagreement a statistically significant effect of treatment was found by one method, whereas no statistically significant effect was found by the other. CONCLUSIONS: The outcomes of the 12 large randomized, controlled trials that we studied were not predicted accurately 35 percent of the time by the meta-analyses published previously on the same topics.

15 Discrepancies between large and small RCTs
Discrepancies between large and small RCTs Kjaergard LL – Ann Intern Med 2001; 135:982 inadequate allocation sequence = not described Inadequate allocation concealement= not described of open tables Inadequate double blinding Inadequate follow up – too many and or not described Reported methodologic quality and discrepancies between large and small randomized trials in meta-analyses. Kjaergard LL, Villumsen J, Gluud C. Cochrane Hepato-Biliary Group, Copenhagen Trial Unit, Center for Clinical Intervention Research, Copenhagen University Hospital, H:S Rigshospitalet, DK-2100 Copenhagen, Denmark. PURPOSE: To explore whether reported methodologic quality affects estimated intervention effects in randomized trials and contributes to discrepancies between the results of large randomized trials and small randomized trials in meta-analyses. DATA SOURCES: Meta-analyses of randomized trials that included at least one large trial (>/=1000 participants) were included, regardless of the therapeutic area. Eligible meta-analyses were identified through electronic searches and bibliographies of relevant articles. STUDY SELECTION: Full-length randomized trials. DATA EXTRACTION: Methodologic quality was assessed according to reported randomization, double blinding, and follow-up as separate components and by using the Jadad composite scale. DATA SYNTHESIS: Fourteen meta-analyses involving 190 randomized trials from eight therapeutic areas were included. Compared with large trials, intervention effects were exaggerated in small trials with inadequate allocation sequence generation (ratio of odds ratios, 0.46 [95% CI, 0.25 to 0.83]; P = 0.011), inadequate allocation concealment (ratio of odds ratios, 0.49 [CI, 0.27 to 0.86]; P = 0.014), and no double blinding (ratio of odds ratios, 0.52 [CI, 0.28 to 0.96]; P = 0.01). Large trials did not differ significantly from small trials with adequate generation of the allocation sequence, adequate allocation concealment, or adequate double blinding. No association was seen between reported follow-up and intervention effects. The Jadad scale provided no additional information because the scale and the quality components overlapped substantially. CONCLUSIONS: Inadequate generation of the allocation sequence, allocation concealment, and double blinding lead to exaggerated estimates of intervention benefit and may contribute to discrepancies between the results of large randomized trials and small randomized trials in meta-analyses.

16 RCTs vs non RCTs: « Despite good correlation …differences in estimated magnitude is very common… » Ionnadis et al – JAMA 2001; 286:821 JAMA Aug 15;286(7): Comment in: JAMA Dec 5;286(21): JAMA Dec 5;286(21):2669; author reply Comparison of evidence of treatment effects in randomized and nonrandomized studies. Ioannidis JP, Haidich AB, Pappa M, Pantazis N, Kokori SI, Tektonidou MG, Contopoulos-Ioannidis DG, Lau J. Division of Clinical Care Research, New England Medical Center, Box 63, 750 Washington St, Boston, MA 02111, USA. CONTEXT: There is substantial debate about whether the results of nonrandomized studies are consistent with the results of randomized controlled trials on the same topic. OBJECTIVES: To compare results of randomized and nonrandomized studies that evaluated medical interventions and to examine characteristics that may explain discrepancies between randomized and nonrandomized studies. DATA SOURCES: MEDLINE (1966-March 2000), the Cochrane Library (Issue 3, 2000), and major journals were searched. STUDY SELECTION: Forty-five diverse topics were identified for which both randomized trials (n = 240) and nonrandomized studies (n = 168) had been performed and had been considered in meta-analyses of binary outcomes. DATA EXTRACTION: Data on events per patient in each study arm and design and characteristics of each study considered in each meta-analysis were extracted and synthesized separately for randomized and nonrandomized studies. DATA SYNTHESIS: Very good correlation was observed between the summary odds ratios of randomized and nonrandomized studies (r = 0.75; P<.001); however, nonrandomized studies tended to show larger treatment effects (28 vs 11; P =.009). Between-study heterogeneity was frequent among randomized trials alone (23%) and very frequent among nonrandomized studies alone (41%). The summary results of the 2 types of designs differed beyond chance in 7 cases (16%). Discrepancies beyond chance were less common when only prospective studies were considered (8%). Occasional differences in sample size and timing of publication were also noted between discrepant randomized and nonrandomized studies. In 28 cases (62%), the natural logarithm of the odds ratio differed by at least 50%, and in 15 cases (33%), the odds ratio varied at least 2-fold between nonrandomized studies and randomized trials. CONCLUSIONS: Despite good correlation between randomized trials and nonrandomized studies-in particular, prospective studies-discrepancies beyond chance do occur and differences in estimated magnitude of treatment effect are very common.

17 Toutes les meta-analyses de 1945 à 1992 (tous les journaux)
Articles originaux sur cirrhose et hépatites de 1945 à 1999 dans Lancet et Gastroenterology (RCTs et non RCTs tiré au sort par période de 5 ans) Toutes les meta-analyses de 1945 à (tous les journaux) Aucune jusqu’à 1980 Scores de qualité des RCTs et des meta-analyses Classification par 6 experts aveugles en 3 classes Conclusions toujours valables Conclusions valables mais obsolètes Conclusions fausses

18 285/474 (60%) conclusions sont encore vraies, 91 (19%) obsolètes, 98 (21%) fausses
Conclusions encore vraies entre 1980 et 1999: 76% Méta-analyses sur données individuelles: 6/6 vraies P<0.001 Survie à 20 ans: Méta-analyses: 57  10% Non RCTs: 87  2 % RCTs: 85  3% IF>10!!

19

20 Obstacles à l’EBM en réanimation
Changement de comportement par diffusion passive Population des études non représentative de la vraie vie Le critère de jugement aurait pu être intéressant mais pas de la manière dont il est présenté Les résultats sont en risque relatif et pas en variation du risque absolu Les résultats sont basés sur le sacro-saint petit p dépendant de l’effectif et pas du réél effet Une RCT peut être contre dite par une autre quelques temps après

21 Low Tidal volume

22 AJRCCM 2003; 167:1304 Reducing tidal volumes administered to patients with acute lung injury is the only intervention reported to decrease mortality resulting from this life-threatening condition. Whereas many medical advances are slowly brought into practice, clinicians in teaching hospitals are often assumed to be early adopters of new medical advances. Our objective was to examine trends in the ventilatory prescription for 398 patients with acute lung injury treated in three teaching hospitals from 1994 to There was no change in tidal volumes until mid to late 1998, when volumes started to slowly decline at the rate of 48.0 (95% confidence interval, 21.0 to 74.4) ml/year. In the 2 years after the results were released from a large trial that demonstrated the superiority of 6 ml/kg tidal volume therapy over 12 ml/kg, clinicians prescribed tidal volumes of 651 +/- 128 ml or /- 1.9 ml/kg. Tidal volumes after intubation were minimally reduced over the subsequent 2 days of mechanical ventilation (mean reduction, 33 ml). Hospital category, male sex, and disease onset before May 1999 were associated with higher volumes whereas lung injury severity was inversely associated. We conclude that clinicians practicing at these teaching hospitals have not rapidly adopted low tidal volume ventilation that may reduce mortality. Diminution progressive des VC non influencé par les résultats de l’ARDS net et largement au dessus de 6 ml/kg…

23 Why 6 ml/kg is not accepted?
Because tidal volume was 10.3  2 ml/Kg in 10 centers between 1996 and 1999 and not 12!!! (Thompson, Chest 2001) These results was confirmed in two large epidemiological study (Esteban JAMA 2002, Brun-Buisson ICM 2004) Because mortality of not enroled ards patients was similar to the low tidal volume group!!!! (Hayden AJRCCM 2000)

24 Les patients ne sont pas nécessairement représentatifs de la population que l’on soigne…
15 % des patients éligibles inclus dans ARDS net 40% de DC vs 60% dans les études épidémiologiques… Problème de la REPRESENTATIVITE de l’échantillon ++++ La randomisation ne garantit pas l’équilibre entre les groupes Facteurs de confusion ARDS net: On sait que DC ALI >>> DC ARDS …. Les critères d’inclusion ne garantissent pas nécessairement la comparabilité entre les groupes et l’équivalence avec la population que je soigne…  Épreuve de 30 mn de VM (8 ml/kg, peep 10, 100%) Ferguson et al – ICM 2004; 30:1111

25 Prowess 1690 pts/ 11 pays/ 164 sites!!!!
Uniquement 6.1% de réduction de DC A peine quelques % des sepsis sévères admis… Grande variabilité du reste de la prise en charge….non contrôlée… Cette étude est-t-elle généralisable…..?

26 Prowess – a learning curve? Macias et al – Crit care med 2004;32:2385

27 « CONCLUSIONS: A learning curve appeared to be present within the PROWESS trial … efficacy improved with increasing site experience... Investigational sites may need to require a minimum level of protocol-specific experience to appropriately implement a given trial. …This experience should be an important consideration in designing trials and analysis plans.  … » Sources of variability on the estimate of treatment effect in the PROWESS trial: implications for the design and conduct of future studies in severe sepsis. Macias WL, Vallet B, Bernard GR, Vincent JL, Laterre PF, Nelson DR, Derchak PA, Dhainaut JF. Lilly Research Laboratories, Eli Lilly and Company, Indianapolis, IN, USA. OBJECTIVE: To elucidate sources of variability in the estimate of treatment effects in a successful phase 3 trial in severe sepsis and to assess their implications on the design of future clinical trials. DESIGN: Retrospective evaluation of prospectively defined subgroups from a large phase 3, placebo-controlled clinical trial (PROWESS). SETTING: The study involved 164 medical centers. PATIENTS: Patients were 1,690 patients with severe sepsis. INTERVENTIONS: Drotrecogin alfa (activated) (Xigris) 24 microg/kg/hr for 96 hrs, or placebo. MEASUREMENTS AND MAIN RESULTS: All prospectively defined subgroups were examined to identify treatment effects that potentially differed across subgroup strata (assessed by Breslow-Day p < .10). Potential interactions were identified for subgroups defined by a) presence vs. absence of a significant protocol violation (p = .07); b) original vs. amended protocol (p = .08); and c) Acute Physiology and Chronic Health Evaluation (APACHE) II quartile at baseline (p = .09). No treatment benefit was observed in patients having a protocol violation, regardless of type. There appeared to be less treatment effect in patients enrolled under the original vs. amended protocol. The risk ratio exceeded 1.0 for patients in the lowest APACHE II score quartile. A highly significant correlation was observed between the sequence of enrollment at a site, the frequency of protocol violations, and the observed treatment effect. As enrollment increased, frequency of protocol violations decreased (p < .0001) and the treatment effect improved. The correlation between the sequence of enrollment and improvement in treatment effect remained even after removal of patients with protocol violations. Removal of the first block of patients at each site from the analysis reduced the extent of interaction by protocol version and APACHE II score. CONCLUSIONS: A learning curve appeared to be present within the PROWESS trial such that the ability to demonstrate efficacy improved with increasing site experience. This potential learning curve may have implications for design of future trials. Investigational sites may need to require a minimum level of protocol-specific experience to appropriately implement a given trial. This experience should be an important consideration in designing trials and analysis plans. Diligence by coordinating centers, site investigators, study coordinators, and sponsors is necessary to ensure that the protocol is executed as designed such that a treatment benefit, if present, will be evident. Macias et al – Crit care med 2004;32:2385

28 Sous groupe pneumonie…..
% DC J28

29 Effet consentement éclairé
…Nécessité éthique qui pénalise l’applicabilité externe de la recherche sur les patients non compétents Sélection non aléatoire de l’échantillon inclus Centres particuliers souvent HU parfois distant de la vraie vie Délai entre l’indication et le début du traitement (sepsis+++, ards, HF haut débit etc…) Intérêt des nouvelles directives, consentement d’urgence….

30 Les (les) critères de jugement
Précis Reproductible Reflet de ce que l’on veux mesurer.. Attention au choix Attention aux critères multiples

31 « Surrogate end-points »
Y a t-il une association forte indiscutable entre le « surrogate » et le « clinical » end-point? Y a t-il des démonstrations répétées, pour la même famille de traitement, que l’amélioration du « surrogate » est associée à une amélioration du clinical end-point? Quelle est l’importance de l’effet et sa précision? Est ce que le rapport coût-bénéfice est dans le bon sens? Grande circonspection…. Bucher HG – JAMA 1999; 282:771

32 Surrogate end-points…example of failure
Tension artérielle    DC LNMA   TA Lopez A et al – Crit Care Med 2004;32:21-30

33 Erreur de première espèce
Erreur consentie (proba de n’avoir que des 1 alors qu’il y a 6 faces différentes) Pr (=1) = 1/6 = 0.17 Pr (1) = = 0.83 Proba d’avoir un 1 si on jette 6 fois les dés? Pr(=1) = 6 * (1/6)1 * (5/6)5 = 0.40 Erreur expérimentale: 0.40

34 TYPE I ERROR RATE Type I comparisonwise error rate:  = 0.05
NS Type I experimentwise error rate:  = 0.232 p = 0.05 NS NS NS NS NS NS Pr = 6 * (0.05)1 * (0.95)5 =

35 Comparaisons multiples
Test de Student Nb de comparaisons  Risque vrai 1 3 6 10 15 21 0.05 0.1354 0.2321 0.3151 0.3658 0.3764

36 Si l’on fait 100 ECR (avec risque alpha de 5%) sur le même sujet,
il y a 5 chances sur 100 que l’un soit “positif”

37 Conflit validité interne/externe
La spironolactone améliore le pronostic de l’insuffisance cardiaque (-30% de risque de dc) Juurlink et al – NEJM 2004; 351:543

38 Efficacy and effectiveness
« Critically ill patients wants to get better, not to have their lives extended by a few days or weeks at great costs, toxicity and time in treatment… » Villar J – ICM 2004 On ne regarde que comment ça marche dans un monde artificiel contrôlant la variabilité extérieure….

39 Les hypothèses et le nombre de sujets nécessaires ne sont pas là que pour la faisabilité….
Freeman et al – AJRCCM 2001; 164:190 HGH: Pour démontrer un effet délétère de la GH on aurait pu inclure 382 patients de moins et éviter 44 DC… DCL-Hb: Pas de phase II, Data safety monitoring committee en aveugle…(42 DC évitables) LNMA: entre l’analyse intermédiaire (n=500) jugeant d’un effet potentiellement delétère et l’arrêt de l’étude: 297 inclusions!!! Necessite de phase II Monitoring en aveugle dangeureux car si la mortalité globale est acceptable, aucun moyen de juger du sur-risque de dc Vitesse de réaction de l’IDMC?

40 JAMA 2005; 294: 2203 143 RCT, 92 dans les 5 « top impact » journaux Surtout: sponsorisé par l’industrie, cardiologie, cancérologie En très forte augmentation (0.5  1.2% en ) 63% du recrutement prévu RR médian: 0.53 ( ) Les études avec le moins d’évènements montrent l’effet traitement le plus intense (OR: ) 135/143 (94%) ne renseignent pas sur: L’effectif initialement prévu, l’existence d’analyse(s) intermédiaire(s), les règles d’arrêt. CONTEXT: Randomized clinical trials (RCTs) that stop earlier than planned because of apparent benefit often receive great attention and affect clinical practice. Their prevalence, the magnitude and plausibility of their treatment effects, and the extent to which they report information about how investigators decided to stop early are, however, unknown. OBJECTIVE: To evaluate the epidemiology and reporting quality of RCTs involving interventions stopped early for benefit. DATA SOURCES: Systematic review up to November 2004 of MEDLINE, EMBASE, Current Contents, and full-text journal content databases to identify RCTs stopped early for benefit. STUDY SELECTION: Randomized clinical trials of any intervention reported as having stopped early because of results favoring the intervention. There were no exclusion criteria. DATA EXTRACTION: Twelve reviewers working independently and in duplicate abstracted data on content area and type of intervention tested, reporting of funding, type of end point driving study termination, treatment effect, length of follow-up, estimated sample size and total sample studied, role of a data and safety monitoring board in stopping the study, number of interim analyses planned and conducted, and existence and type of monitoring methods, statistical boundaries, and adjustment procedures for interim analyses and early stopping. DATA SYNTHESIS: Of 143 RCTs stopped early for benefit, the majority (92) were published in 5 high-impact medical journals. Typically, these were industry-funded drug trials in cardiology, cancer, and human immunodeficiency virus/AIDS. The proportion of all RCTs published in high-impact journals that were stopped early for benefit increased from 0.5% in to 1.2% in (P<.001 for trend). On average, RCTs recruited 63% (SD, 25%) of the planned sample and stopped after a median of 13 (interquartile range [IQR], 3-25) months of follow-up, 1 interim analysis, and when a median of 66 (IQR, ) patients had experienced the end point driving study termination (event). The median risk ratio among truncated RCTs was 0.53 (IQR, ). One hundred thirty-five (94%) of the 143 RCTs did not report at least 1 of the following: the planned sample size (n = 28), the interim analysis after which the trial was stopped (n = 45), whether a stopping rule informed the decision (n = 48), or an adjusted analysis accounting for interim monitoring and truncation (n = 129). Trials with fewer events yielded greater treatment effects (odds ratio, 28; 95% confidence interval, 11-73). CONCLUSIONS: RCTs stopped early for benefit are becoming more common, often fail to adequately report relevant information about the decision to stop early, and show implausibly large treatment effects, particularly when the number of events is small. These findings suggest clinicians should view the results of such trials with skepticism. Importance de l’effet traitement peu plausible, règles d’arrêt pas claires, à regarder avec distance…

41 L’EBM peut aboutir à des informations contradictoires….
ECR 1 : la transfusion tue! ECR 2 : la transfusion sauve! Traduction: Hébert NEJM 1999 Rivers NEJM 2001

42 Au nom du petit p…. Combien faut t-il de décès qui change de bras pour que l’essai ARDS net ne soit plus significatif…????? High tidal volume Low tidal volume total 429 432 DC 171 (39.8%) 134 (31%) High tidal volume Low tidal volume total 429 432 DC 166 (38.7%) 139 (32.2%) P=0.008 P=0.06 « We were not able to demonstrate an improvement in patients’ prognosis »….dommage!!!

43 Prowess…the largest study in critical care medicine….
7 dc shifte suffisent à rendre la difference de dc NS (4.35, p=0.518) aisément possible « par chance »….mais il y a quand meme un risque non négligeable de toxicité…. (d’autant que ADDRESS est strictement négative….) Réduction absolue du risque 6% (p=0.005) et augmentation du risque d’hemorragie (1.5%, p=0.06),

44 Odds Ratio et Risques Relatifs
B C D n1 n0 E m1 m0 mesures association entre exposition et maladie - cas représentatifs en termes d’exposition - témoins représentatifs en termes d’exposition - maladie peu fréquente

45 Essais randomisés contrôlés et pronostic du SDRA
Hudson et al, 1998 ERC sur réduction du VT ? ERC sur niveau de PEP ? ERC sur decubitus ventral ? ERC sur NO ?

46 EBM et éthique POUR amélioration des connaissances,
Des habiletés à la recherche biblio, support à l’enseignement, permet aux juniors de participer à la décision, permet une meilleure communication avec les patients et une meilleure utilisation des ressources Permet d’identifier le meilleur traitement et de faire le meilleur choix en connaissance de cause Kerridge I & Henry D – BMJ 1998; 1151

47 EBM et éthique (2) Kerridge I & Henry D – BMJ 1998; 1151
Dans la décision médicale: EBM mais aussi Expérience, valeurs personnelles, considération économiques et politiques, Principes philosophiques (justice) Conséquentialisme: Outcome non mesuré (douleur), non mesurable (justice), complexes (QdV) L’outcome choisi n’est pas forcément celui que choisirait le patient mais celui de l’investigateur principal… Suprématie de la RCT… Notion d’équipoise Ne permet pas de tester certaines hypothèses Utilisation de l’EBM Applicabilité à la population que je soigne… On ne peut allouer des ressources aux champs de la médecine se prêtant mal à l’EBM (soins palliatifs) Notion de bénéfice individuel? Ou de bénéfice collectif?

48 Savoir raison garder EBM est un outil utile… Ne résout pas tout…
En recherche, soins, pédagogie… Ne résout pas tout… Intérêt de la répétition des résultats Sur d’autres RCTs Sur des bases de données…

49 Addendum: Comment faire de l’EBM, règles de lecture de base…

50 Types de questions Background question  livre de synthèse (débutants)
Une racine: qui comment ou pourquoi qu’est ce que ou?... …Une maladie Foreground question (confirmés) comment je m’en sors avec un problème spécifique?

51 Pré-requis: formuler la question
Quelle population? Quelle intervention? Quel comparateur? Quel critère de jugement?

52 Pour bien chercher … Catégories de questions: Therapy, Diagnosis, Etiology, Prognosis Types d’études: RCT, cohort, case-control, case series case reports Livres, experts…. Pubmed, embase…cochrane - interet des « related articles »….biblio d’un current content….

53 Faire la recherche Bien combiner les synonymes par des « OR »
Si trop d’articles : limiter par des « AND », des limites de temps, de revue, de type d’articles…..

54 Evaluer la pertinence d’un essai thérapeutique
Randomisé (comment) , double aveugle? Suivi > 80%? Groupes équilibrés? Intention de traiter? Réponse à la question? Estimation non biaisé de l’effet du traitement? Intensité de l’effet? Est ce que ce résultat aide mes patients? Est ce que je soigne des patients similaires? Est ce que le rapport cout-bénéfice est dans le bon sens? NNT ITT

55 Evaluer la pertinence d’un essai diagnostique
Comparaison aveugle avec un gold standart Tous les patients ont eu le test et le gold standart? Aspect pratique de réalisation du test? Est ce que je teste des patients similaires? Est ce que les résultats du test sont utiles? Est ce que la prévalence de la maladie dans ma population est similaire à celle de l’étude? Est ce que je peux utiliser le test? Se, Sp VPP, VPN FP,FN, LR, ROC

56 Evaluer la pertinence d’un essai étiologique
Cohorte ou cas contrôle? Echantillon représentatif? Définitions précises des critères de jugement et des facteurs de risques Est ce que l’exposition et le critère de jugement sont mesurés de manière similaire chez tous? OR et RR Type d’étude Suivi Est ce que les groupes sont similaires pour les autres paramètres? Y a t-il des facteurs de confusion? Est que le suivi était suffisamment long et rigoureux? Est ce que le taux d’exposition et d’événement est similaire dans ma population?

57 Evaluer la pertinence d’une revue systématique
Question clairement et précisément posée? Inclusion du bon type d’étude? Est ce que les auteurs ont fait l’effort d’identifier les bonnes études? Est ce que les auteurs ont évalué la qualité des études? Est t-il logique de combiner les études en question? Mode de présentation, précision et choix des résultats principaux? Applicabilité à la population générale? Est ce que tous les outcomes importants sont recherchés? Est ce que la revue change ma pratique? Quality of trials Heterogeneity Magnitude of effects

58 Comment évaluer la pertinence d’un essai?

59 Questionnaire étalonné et validé explorant les connaissances et les habiletés (15 scénarios cliniques) 203 participants (61% réponses) à 3 jours de formation Amélioration très nette du score restant < aux experts

60 Effets délétères de la méthodologie EBM
Règles de validité « trop » dogmatique Tendance à privilégier une belle méthodologie plutôt que la « vraie vie » - Pour être publié  Poids relatif (trop?) fort des essais contrôlés randomisés Dreyfuss D – ICM 2005; 31:345

61 Well designed observational studies do not systematically overestimate the magnitude of the treatment effect as compared to RCT….

62 TFPI in severe sepsis Abraham E et al- JAMA 2003; 238-47
Efficacy and safety of tifacogin (recombinant tissue factor pathway inhibitor) in severe sepsis: a randomized controlled trial. Abraham E, Reinhart K, Opal S, Demeyer I, Doig C, Rodriguez AL, Beale R, Svoboda P, Laterre PF, Simon S, Light B, Spapen H, Stone J, Seibert A, Peckelsen C, De Deyne C, Postier R, Pettila V, Artigas A, Percell SR, Shu V, Zwingelstein C, Tobias J, Poole L, Stolzenbach JC, Creasey AA; OPTIMIST Trial Study Group. Division of Pulmonary Sciences and Critical Care Medicine, University of Colorado Health Sciences Center, Denver 80262, USA. CONTEXT: The expression and release of tissue factor is a major trigger for the activation of coagulation in patients with sepsis. Tissue factor pathway inhibitor (TFPI) forms a complex with tissue factor and blood protease factors leading to inhibition of thrombin generation and fibrin formation. OBJECTIVES: To determine if administration of tifacogin (recombinant TFPI) provides mortality benefit in patients with severe sepsis and elevated international normalized ratio (INR) and to assess tifacogin safety in severe sepsis, including patients with low INR. DESIGN AND SETTING: A randomized, double-blind, placebo-controlled, multicenter, phase 3 clinical trial conducted from March 21, 2000, through September 27, 2001, in 245 hospitals in 17 countries in North America, Europe, and Israel. PATIENTS: The primary efficacy population consisted of 1754 patients (> or =18 years) with severe sepsis and a high INR (> or =1.2) randomly assigned to intravenous infusion of either tifacogin (0.025 mg/kg per hour for 96 hours, n = 880) or placebo (arginine citrate buffer, n = 874), and 201 patients with a low INR (<1.2) randomly assigned to receive the same dose of either tifacogin or placebo. MAIN OUTCOME MEASURE: All-cause 28-day mortality. RESULTS: Overall mortality at 28 days in the tifacogin-treated group (n = 880) vs the placebo group (n = 874) for high INR was 34.2% vs 33.9%, respectively (P =.88, Pearson chi2 test; P =.75, logistic regression model). None of the protocol-specified secondary end points differed between the tifacogin vs placebo groups. An analysis on the first 722 patients demonstrated a mortality rate of 38.9% for placebo vs 29.1% for tifacogin (P =.006, Pearson chi2 test). Tifacogin significantly attenuated prothrombin fragment 1.2 and thrombin:antithrombin complex levels (P<.001, 2-sample t test) in patients with high and low INR. Overall mortality was lower in the tifacogin response in patients with low INR (12%; n = 83) vs placebo (22.9%; n = 118) (P =.051, Pearson chi2 test; P =.03, logistic regression model). There was an increase in serious adverse events with bleeding in the tifacogin group in both cohorts (6.5% tifacogin and 4.8% placebo for high INR; 6.0% tifacogin and 3.3% placebo for low INR). CONCLUSIONS: Treatment with tifacogin had no effect on all-cause mortality in patients with severe sepsis and high INR. Tifacogin administration was associated with an increase in risk of bleeding, irrespective of baseline INR.

63 Conclusion: Treatment with tifacogin had no effect on all-cause mortality in patients with severe sepsis and high INR...