GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté.

Présentation au sujet: "GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté."— Transcription de la présentation:

1 GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté de Médecine René Descartes

2 GC, 2010 2 Le contexte: Médecine fondée sur le niveau de preuve  Evidence based medicine is “The conscientious, explicit and judicious use of current best evidence in making decisions about the care of individual patients”.  The best evidence is clinically relevant research “especially patient-centered clinical research into the accuracy and precision of diagnostic tests, the power of prognostic markers, and the efficacy and safety of therapeutic, rehabilitative, and preventive regimens”. DL Sackett, 1996

3 GC, 2010 3 Le contexte technico-réglementaire

4 GC, 2010 4 Recherche: Le minimum requis Une bonne question Une revue exhaustive de la littérature Des malades en nombre suffisant (échapper au piège du nombre de sujets nécessaire) Un méthodologiste (il n’y a pas que des questions statistiques) et un clinicien qui dialoguent Des soins de base de qualité Du temps clinique (médecins, manipulateurs) et des professionnels (Unité de Recherche Clinique) dédiés à la recherche

5 GC, 2010 5 La précision de la question de recherche est l’élément le plus important de tout protocole de recherche « Ceux qui ne savent pas où ils vont sont surpris d'arriver ailleurs » Pierre DAC

6 GC, 2010 6 Les questions QuestionMéthode Efficacité d’une thérapeutique, d’une méthode diagnostique, de dépistage Essai contrôlé randomisé EtiologieEtude cas témoin PronosticDevenir d’un malade, évaluation d’un risque DiagnosticIdentification d’une maladie Méta-analyseSynthèse

7 GC, 2010 7 Les standards de publication (1) MéthodeGuide Essai randomisé et contrôléCONSORT Etude diagnostiqueSTARD Etude observationnelle (épidémiologique) STROBE Marqueur pronostique (cancer) REMARK Etude cas-témoin Méta-analyseQUOROM/PRISMA &MOOSE

8 GC, 2010 8 Les standards de publication (2) MéthodeGuide Comparative effectivenessISPOR Value in Health 2009; 12(8):1044-52 Association gène -maladie STREGA J Clin Epidemiol 2009;62(6):597-608.e4. Enquête (étude transversale) Int J Qual Health Care 2003; 15(3):261-266. Etude qualitative COREQ Int J Qual Health Care 2007;19(6):349-57. Fiabilité et agrémentGRRAS J of Clin Epid 2011; 64(1):96-106

9 GC, 2010 9 http://www.equator-network.org

10 GC, 2010 10 Une question, beaucoup de méthodes !  Il y a souvent de nombreuses manières de répondre à la même question.  Choisir la bonne méthode nécessite la réponse à de nombreux pré-requis:. Connaître les forces et les faiblesses de chaque type de méthodologie. Identifier la problématique: Traitement? Pronostic? Diagnostic ? Synthèse ? Connaissances spécifiques: connaissance exhaustive de la littérature, la connaissance des biais… Connaissances statistiques, mais ce n’est pas l’essentiel …

11 GC, 2010 11 Design 1. Cas - Témoin  Dans une étude cas/témoin on a le « résultat de santé » (par exemple, une maladie) et on en recherche les causes (par exemple, facteurs de risque) chez les personnes qui partagent ces résultats.  Le plus souvent, toute l'étude est réalisée avec une information déjà enregistrée, et plus ou moins disponible (dossiers des patients) ou des bases de données (Pour les radiologues, PACS).

12 GC, 2010 12 Cas malades Fde R: PRESENT Fde R: ABSENT Témoins non malades Fde R: PRESENT Fde R: ABSENT Identifier cas et témoinsÉvaluer les F de R Début de l’étude

13 GC, 2010 13 Données présentées dans une table de contingence 2x2 Sujets AVC+AVC- Facteur de risque (Hypertension ) Présent Absent 1 2 groupes de sujets 2 Quels FdR? AVC: Accident vasculaire cérébral

14 GC, 2010 14 a, b, c, d sont des effectifs Analyse Maladie Presente d maladie Absente FdeR Present F de R Absent ba c (a/(a+c)) /(c /(a+c)) (b/(b+d)) /(d /(b+d)) Rapport des cotes (odds ratio)

15 GC, 2010 15 Design 1 Cas – Témoin : Avantages  Efficace et simple  Utile pour étudier les maladies rares  Considérations éthiques: souvent pas un problème important, quoique… Les dossiers patients doivent être examinés (CNIL?) Comité d’éthique: y penser Selon la nature de l'étude (génétique) le consentement des patients peut ou non être exigé

16 GC, 2010 16 Design 1 Cas – Témoin: Faiblesses  L'information disponible peut être insatisfaisante: Qualité de la mesure Variabilité dans le temps Données manquantes  Biais de mémorisation  Quelle définition du groupe contrôle ?

17 GC, 2010 17 Design 2: Cohorte  Cette conception d'étude adopte une approche longitudinale.  Cette conception n'est pas appropriée aux projets à court terme ! !  Des sujets avec ou sans un facteur de risque identifiable (hypertension, traitement) sont suivis et présentent ou non un certain état (accident vasculaire cérébral (AVC)).  Les sujets avec et sans le facteur de risque sont comparés.

18 GC, 2010 18 Temps F de R PRESENT Maladie PRESENTE Maladie ABSENTE F de R ABSENT Maladie PRESENTE Maladie ABSENTE Identifier les sujets Mesurer Les F de R Présent Mesurer les Résultats Futur Population d étude Maladie Présente  non inclus

19 GC, 2010 19 La table de contingence est en apparence la même… Sujets AVC +AVC - FdeR (Hypertension) Présent Absent AVC: accident vasculaire cérébral

20 GC, 2010 20 …mais l’ordre de l’évaluation facteur de risque / maladie est inversé Sujets AVC +AVC - Facteur de risque (Hypertension) Présent Absent 2 Maladie 1 Facteur de risque Présent ?

21 GC, 2010 21 a, b, c, d sont des effectifs Analyse Risque de maladie si le facteur est absent = Risque de maladie si le facteur est présent = Maladie Presente d Maladie Absente FdR Present FdR Absent ba c

22 GC, 2010 22 Risque relatif a, b, c, d sont des effectifs Maladie Presente d Maladie Absente FdR Present FdR Absent ba c RR =

23 GC, 2010 23 Design 2 Cohorte: les avantages.  Les données peuvent être recueillies d'une façon complète et uniforme  Le biais de mémorisation n’est pas un problème  La définition du résultat (« outcome ») est homogène chez tous les sujets  Pas de sélection des groupes, volontaire ou non

24 GC, 2010 24 Design 2 Cohorte: les désavantages.  « Design » coûteux en temps et en argent  Le choix de la population d'étude peut influencer la généralisation des résultats  Effet du temps: Perdus de vue Changement des critères de jugement …de méthodologie de mesure (évolution des techniques très rapide en imagerie et en biologie)  Biais de surveillance

25 GC, 2010 25 Exemple: Suppléments hormonaux après la ménopause 1990-2002  Question thérapeutique importante  S'applique à des millions de femmes  Le Prempro (oestrogène/progestine) était le médicament le +prescrit aux USA à la fin des années 90  Impact potentiellement énorme en terme de santé publique  Effet complexe: les hormones ont un rôle potentiel sur des maladies multiples (cancer, ostéoporose, maladies cardio-vasculaire)

26 GC, 2010 26 Supplémentation hormonale après la ménopause MaladieEffet sur le risque* Cardiopathie ischémiqueDiminution: 40 - 80% Ostéoporose (Fr. de hanche)Diminution: 30 - 60% Cancer du seinAugmentation: 10 - 20% Cancer de l’endomètreAugmentation: 700% Alzheimer’sDiminution: ? Embolie Pulmonaire &Augmentation: 200 - 300% thrombose veineuse * Réduction relative de risque; Études observationnelles (cas - témoins et cohortes)

27 GC, 2010 27 Nurses Health Study (NEJM,1991)  Prospective cohort study, n = 48,470  337,000 person years of follow-up Risk of Major Estrogen UseCoronary Disease*Relative Risk** Never Used1.41.0 Former user1.30.83 (0.65-1.05) Current user0.60.56 (0.40-0.80) * Events per 1000 women-years of follow-up ** Relative Risk (95% CI) compared to never * Events per 1000 women-years of follow-up ** Relative Risk (95% CI) compared to never users

28 GC, 2010 28 Meta-analysis 1997 “Benefits (for CHD, osteoporosis) outweigh risks (breast cancer) and side effects… All post-menopausal women should be taking ERT”* * CNN, 4/10/97

29 GC, 2010 29 Exemple: Suppléments hormonaux après la ménopause Les limites  Les utilisatrices sont-elles différentes des non- utilisatrices (se traiter ou non est un choix de la patiente) ? Âge État de santé Plus d'exercice Comportements de santé ….  Solutions Ajustements (mais pas toujours possible) Essais randomisés

30 GC, 2010 30 Design 3 Essai randomisé et contrôlé Randomized Controlled Trial Gold standard pour l’évaluation de l’effet des procédures ou stratégies médicales Le plus souvent utilisé dans le cadre des essais dit de « phase 3 » dans le monde des essais médicamenteux

31 GC, 2010 31 Temps Traitement A Maladie présente Traitement B DébutRandomisation Résultat PrésentSuivi Maladie présente Maladie absente Maladie absente Population d’étude Essai randomisé et contrôlé

32 GC, 2010 32 La table de contingence est encore la même… … mais les sujets sont assignés par tirage au sort au traitement Sujets + AVC AVC- Groupe Trt Controle 1 Tirage au sort pour créer les groupes 2 Evaluation de la maladie

33 GC, 2010 33 Essai randomisé et contrôlé: ce qu’il fait, ce qu’il ne fait pas Ce design peut réduire les problèmes liés à:  Biais de jugement des médecins  Attentes des patients  Prise en charge  Observance… Ce design ne permet pas de  Faire l’impasse sur une bonne question  D’oublier la qualité de l’analyse statistique  D’oublier l’importance de la méthode expérimentale à tous les niveaux de l’essai (mesure du critère de jugement…)

34 GC, 2010 34 Essai randomisé et contrôlé: Éthique  Placebo et autre outils de contrôle De manière générale, le “contrôle” est un élément essentiel (aveugle, standardisation des traitements associés, double lecture des documents radiologiques…) souvent difficile à mettre en œuvre.  Randomisation : charge émotionnelle Médecins: consentement informé, non connaissance du traitement… Patients : “cobayes”

35 GC, 2010 35 Courbe d’inclusion Inclusions/mois Inclusions réelles cumulées Inclusions théoriques cumulées Inclusions maximales attendues

36 GC, 2010 36 Essai randomisé et contrôlé: Eléments - clés  Question TRES précise  Validité interne Qualité des CRITERES DE JUGEMENT et des méthodes et instruments de mesure Choix du comparateur Qualité du contrôle : co-intervention, aveugle difficile, violation de la randomisation, perdus de vue…. Qualité de la randomisation (masquage) Qualité du suivi  Patients Calcul réaliste du nombre de sujets Disponibilité des patients (problème pour les radiologues)  Résultats Quantité d’effet Analyse en intention de traiter

37 GC, 2010 37 Essai randomisé et contrôlé: Encadrement L’essai randomisé et contrôlé, plus que tout autre design, est une affaire de professionnels:  AVANT Protocole, investigateurs et promoteur Déclarations (CPP, CNIL, Autorités compétentes…)  Pendant ARC/TEC BPC  APRES (mais mieux vaut s’en occuper avant!!!) CONSORT Statement Règles de lecture de l’EBM Working group

38 GC, 2010 38 Heart and Estrogen-Progestin Replacement Study (HERS)- 1998  Secondary prevention of heart disease  HRT (Prempro) vs. placebo (4-5 years)  2763 women with established heart disease Postmenopausal, < 80 years, mean age 67  20 clinical centers in U.S.A EndpointPlaceboHRTRR P New CHD1761720.990.91 Any fracture1381300.950.70

39 GC, 2010 39 Women’s Health Initiative Hormone Replacement Therapy (2002)  Randomized trial 16,608 women with uterus (ERT + progestin vs. placebo) ~11,000 women without uterus (ERT alone vs. placebo)  Ages 50-79, mean age 64  Represent broad range of U.S. women  40 clinical centers  Follow-up planned for 8.5 years, to end in 2005

40 GC, 2010 40 Women’s Health Initiative Hormone Replacement Therapy (2002)  Combination therapy arm stopped early (3 years) Mean 5.2 years of follow-up Overall, health risks outweigh benefits Significant increased risk for invasive breast cancer HRT users

41 GC, 2010 41 WHI: Invasive Breast Cancer years 1 2 3 4 5 6 7 1% 2% 3%

42 GC, 2010 42 WHI: Coronary Heart Disease years 1 2 3 4 5 6

43 GC, 2010 43 Le diagnostic: De nombreuses questions …  Quels objectifs ? Reproductibilité Performances Efficacité  Quelles métriques ? Sensibilité, spécificité  Quelle méthodes test index & test de référence  Méthodologie Design Méthodologie (cohorte, cas contrôle… ) Nb de sujets nécessaire (aide d’un statisticien)

44 GC, 2010 44 Tests diagnostiques Architecture de leur évaluation  Phase 1: Do test results in affected patients differ from those in normal individuals?  Phase 2: Are patients with certain test results more likely to have the target disorder?  Phase 3: Do test results distinguish patients with and without the target disorder among those in whom it is clinically sensible to suspect the disorder?  Phase 4: Do patients undergoing the diagnostic test fare better than similar untested patients? Sackett, BMJ, 2002

45 GC, 2010 45 Test diagnostique: quelle place dans le processus diagnostique? P Bossuyt, BMJ, 2006

46 GC, 2010 46 Cohorte Test évalué Test de référence Classification des résultats en aveugle Evaluation d’un test diagnostique: schéma idéal

47 GC, 2010 47 Evaluation d’un test diagnostique: autre design (1) Cas Test évalué Test de référence Classification des résultats en aveugle Témoins Risque de biais: résultats dépendant du choix des cas et des témoins

48 GC, 2010 48 Evaluation d’un test diagnostique: autre design (2) Cohorte Test évalué Classification des résultats en aveugle Référence 1 Référence 2 Risque de biais

49 GC, 2010 49 Etude diagnostique: validité 1.Réunir un ensemble de patients représentatifs de la maladie (“ appropriate spectrum”) 2.Soumettre tous les patients au test de référence (« gold standard ») 3.S’assurer que la comparaison au test de référence est réellement: Indépendante En aveugle’?

50 GC, 2010 50 Réunir un ensemble de patients représentatifs de la maladie Biais de représentativité (Spectrum bias)  Sujet: valeur de la radiologie standard pour le diagnostic de pneumonie  Echantillon biaisé: pratiquer la radio seulement chez les patients ayant une forte suspicion de pneumonie  Echantillon correct: tous les patients ayant un trouble respiratoire et chez qui une radio pulmonaire est pratiquée

51 GC, 2010 51 Soumettre tous les patients au gold standard Biais de vérification  Sujet: valeur de l’ECG d’effort dans le diagnostic de l’insuffisance coronaire  Gold standard : angiographie  Biais de vérification: seuls les patients positifs à l’ECG ont une angiographie.  Méthode correcte: tous les patients ont une angiographie

52 GC, 2010 52  Sujet: valeur de l’ECG d’effort dans le diagnostic de l’insuffisance coronaire  Gold standard : angiographie  Biais d’observation: le radiologue qui pratique l’angiographie connait le résultat du test d’effort  Méthode correcte: séparer la réalisation de l’angiographie de son interprétation S’assurer que la comparaison au test de référence est réellement indépendante Biais d’observation (observer bias)

53 GC, 2010 53 Test diagnostiques: les métriques M+ T+ T- VP FN Sensibilité Se= VP ÷ (VP+FN) M- FP VN Spécificité Se= VN ÷ (FP+VN) T- T+ Situation de recherche

54 GC, 2010 54 Test diagnostiques: les métriques T+ T- VP M+ Probabilité post test: M+ si Test + :VPP VP ÷ (VP+FP) FP M- FNVN Probabilité post test: M- si Test - : VPN VN ÷ (FN+VN) M+M- Situation clinique

55 GC, 2010 55 Test diagnostiques: les métriques VP VN FP FN M+M- Situation clinique: les rapports de vraisemblance (RV) –1- Total M+ Total M- T+ VP ÷ Total(M+) FP ÷ Total(M-) RV+ = T- FN ÷ Total(M+) VN ÷ Total(M-) RV- = Un RV compris entre 1 et l’  augmente la probabilité de la maladie Un RV compris entre 0 et 1 diminue la probabilité de la maladie

56 GC, 2010 56 Test diagnostiques: les métriques ab M+M- Situation clinique: les rapports de vraisemblance (RV) -2- Total M+ Total M- T+ a ÷ Total(M+) b ÷ Total(M-) RV+ = dc c ÷ Total(M+) d ÷ Total(M-) RV- = T- Test douteux e ÷ Total(M+) f ÷ Total(M-) RV d = fe

57 GC, 2010 57 Test diagnostiques: les métriques  RCd = a ÷ c / b ÷ d  La cote d’un résultat positif du test chez les personnes malades divisé par la cote d’un résultat positif du test chez les personnes non malades.  Le RCd est un résumé simple des résultats d’une table 2×2, incorporant la sensibilité et la spécificité.  Exprimé en termes de sensibilité et de spécificité il s’écrit: Se÷ (1-Se) (1-Sp) ÷ (Sp) RCd = a M+M- b d c T+ T- Rapport des cotes diagnostique (RCd)

58 GC, 2010 58 Analyse de la reproductibilité Coefficient kappa Kappa: concordance inter- ou intra-observateur corrigée de la concordance liée au hasard

59 GC, 2010 59 Nombre de sujets nécessaire  Vraie difficulté pour les radiologues - chercheurs qui ne recrutent pas directement les patients: connaitre la population disponible  Comme TOUTE étude, une étude diagnostique doit comprendre le calcul du nb de sujets nécessaire  Particularité: la multiplicité des métriques utilisables (Se, Sp, les 2, LR, courbe ROC…) et des questions (comparaison, précision…)

60 GC, 2010 60

61 GC, 2010 61 Preuve empirique de biais liés au design Lijmer JG et al. JAMA; 1999: 282: 1061-1066.

62 GC, 2010 62 Les standards de publication Des guides méthodologiques très utiles : exemple du STARD Statement

63 GC, 2010 63

64 GC, 2010 64 Les standards de publication (1) STARD Statement N°Guide 3Describe the study population: The inclusion and exclusion criteria, setting and locations where the data were collected. 4Describe participant recruitment: Was recruitment based on presenting symptoms, results from previous tests, or the fact that the participants had received the (evaluated) index tests or the (golden) reference standard? 5Describe participant sampling: Was the study population a consecutive series of participants defined by the selection criteria in items 3 and 4? If not, specify how participants were further selected. 6Describe data collection: Was data collection planned before the index test and reference standard were performed (prospective study) or after (retrospective study)?

65 GC, 2010 65 Les standards de publication (2) STARD Statement N°Guide 7Describe the reference standard and its rationale. 8Describe technical specifications of material and methods involved including how and when measurements were taken, and/or cite references for index tests and reference standard. 10Describe the number, training and expertise of the persons executing and reading the index tests and the reference standard. 11 Describe whether or not the readers of the index tests and reference standard were blind (masked) to the results of the other test and describe any other clinical information available to the readers. 12Describe methods for calculating or comparing measures of diagnostic accuracy, and the statistical methods used to quantify uncertainty (e.g. 95% confidence intervals). 13Describe methods for calculating test reproducibility, if done.

66 GC, 2010 66 Les standards de publication (3) STARD Statement N°Guide 17Report time interval from the index tests to the reference standard, and any treatment administered between. 18Report distribution of severity of disease (define criteria) in those with the target condition; other diagnoses in participants without the target condition. 19Report a cross tabulation of the results of the index tests (including indeterminate and missing results) by the results of the reference standard; for continuous results, the distribution of the test results by the results of the reference standard. 20Report any adverse events from performing the index tests or the reference standard. 21Report estimates of diagnostic accuracy and measures of statistical uncertainty (e.g. 95% confidence intervals). 22Report how indeterminate results, missing responses and outliers of the index tests were handled. 23Report estimates of variability of diagnostic accuracy between subgroups of participants, readers or centers, if done.

67 GC, 2010 67 Standards sur les données Characteristics of Image Acquisition  Identify the model and manufacturer of the hardware and software used to acquire the image.  Describe any settings, optical or band-pass filters, sampling algorithms, amplification, or other technical information necessary to understand how the image was acquired and that could affect the interpretation of the image.  Describe or reference any procedures undertaken to prepare the patient for imaging. If applicable, specify any contrast media used, including the dose, route, and timing of its administration relative to the acquisition of the image or any fasting, voiding, or dietary preparations.  Describe or reference any standard procedures or protocols used to acquire the image. If applicable, state the conditions under which the image was taken (in the emergency department, operating room, ambulatory care center, during a stress test, and so on) and any “evocative” techniques used to increase the diagnostic value of the image.  Describe the condition of the patient during imaging. If applicable, specify the patient's position or posture (seated; supine), state of consciousness (asleep; anesthetized), and any medications in the patient’s system during imaging. Lang, T. How to Document Biomedical Images for Publication Cité sur http://www.equator-network.org/

68 GC, 2010 68 Conclusion