GC, Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté de Médecine René Descartes

GC, Le contexte: Médecine fondée sur le niveau de preuve  Evidence based medicine is “The conscientious, explicit and judicious use of current best evidence in making decisions about the care of individual patients”.  The best evidence is clinically relevant research “especially patient-centered clinical research into the accuracy and precision of diagnostic tests, the power of prognostic markers, and the efficacy and safety of therapeutic, rehabilitative, and preventive regimens”. DL Sackett, 1996

GC, Le contexte technico-réglementaire

GC, Recherche: Le minimum requis Une bonne question Une revue exhaustive de la littérature Des malades en nombre suffisant (échapper au piège du nombre de sujets nécessaire) Un méthodologiste (il n’y a pas que des questions statistiques) et un clinicien qui dialoguent Des soins de base de qualité Du temps clinique (médecins, manipulateurs) et des professionnels (Unité de Recherche Clinique) dédiés à la recherche

GC, La précision de la question de recherche est l’élément le plus important de tout protocole de recherche « Ceux qui ne savent pas où ils vont sont surpris d'arriver ailleurs » Pierre DAC

GC, Les questions QuestionMéthode Efficacité d’une thérapeutique, d’une méthode diagnostique, de dépistage Essai contrôlé randomisé EtiologieEtude cas témoin PronosticDevenir d’un malade, évaluation d’un risque DiagnosticIdentification d’une maladie Méta-analyseSynthèse

GC, Les standards de publication (1) MéthodeGuide Essai randomisé et contrôléCONSORT Etude diagnostiqueSTARD Etude observationnelle (épidémiologique) STROBE Marqueur pronostique (cancer) REMARK Etude cas-témoin Méta-analyseQUOROM/PRISMA &MOOSE

GC, Les standards de publication (2) MéthodeGuide Comparative effectivenessISPOR Value in Health 2009; 12(8): Association gène -maladie STREGA J Clin Epidemiol 2009;62(6): e4. Enquête (étude transversale) Int J Qual Health Care 2003; 15(3): Etude qualitative COREQ Int J Qual Health Care 2007;19(6): Fiabilité et agrémentGRRAS J of Clin Epid 2011; 64(1):96-106

GC,

GC, Une question, beaucoup de méthodes !  Il y a souvent de nombreuses manières de répondre à la même question.  Choisir la bonne méthode nécessite la réponse à de nombreux pré-requis:. Connaître les forces et les faiblesses de chaque type de méthodologie. Identifier la problématique: Traitement? Pronostic? Diagnostic ? Synthèse ? Connaissances spécifiques: connaissance exhaustive de la littérature, la connaissance des biais… Connaissances statistiques, mais ce n’est pas l’essentiel …

GC, Design 1. Cas - Témoin  Dans une étude cas/témoin on a le « résultat de santé » (par exemple, une maladie) et on en recherche les causes (par exemple, facteurs de risque) chez les personnes qui partagent ces résultats.  Le plus souvent, toute l'étude est réalisée avec une information déjà enregistrée, et plus ou moins disponible (dossiers des patients) ou des bases de données (Pour les radiologues, PACS).

GC, Cas malades Fde R: PRESENT Fde R: ABSENT Témoins non malades Fde R: PRESENT Fde R: ABSENT Identifier cas et témoinsÉvaluer les F de R Début de l’étude

GC, Données présentées dans une table de contingence 2x2 Sujets AVC+AVC- Facteur de risque (Hypertension ) Présent Absent 1 2 groupes de sujets 2 Quels FdR? AVC: Accident vasculaire cérébral

GC, a, b, c, d sont des effectifs Analyse Maladie Presente d maladie Absente FdeR Present F de R Absent ba c (a/(a+c)) /(c /(a+c)) (b/(b+d)) /(d /(b+d)) Rapport des cotes (odds ratio)

GC, Design 1 Cas – Témoin : Avantages  Efficace et simple  Utile pour étudier les maladies rares  Considérations éthiques: souvent pas un problème important, quoique… Les dossiers patients doivent être examinés (CNIL?) Comité d’éthique: y penser Selon la nature de l'étude (génétique) le consentement des patients peut ou non être exigé

GC, Design 1 Cas – Témoin: Faiblesses  L'information disponible peut être insatisfaisante: Qualité de la mesure Variabilité dans le temps Données manquantes  Biais de mémorisation  Quelle définition du groupe contrôle ?

GC, Design 2: Cohorte  Cette conception d'étude adopte une approche longitudinale.  Cette conception n'est pas appropriée aux projets à court terme ! !  Des sujets avec ou sans un facteur de risque identifiable (hypertension, traitement) sont suivis et présentent ou non un certain état (accident vasculaire cérébral (AVC)).  Les sujets avec et sans le facteur de risque sont comparés.

GC, Temps F de R PRESENT Maladie PRESENTE Maladie ABSENTE F de R ABSENT Maladie PRESENTE Maladie ABSENTE Identifier les sujets Mesurer Les F de R Présent Mesurer les Résultats Futur Population d étude Maladie Présente  non inclus

GC, La table de contingence est en apparence la même… Sujets AVC +AVC - FdeR (Hypertension) Présent Absent AVC: accident vasculaire cérébral

GC, …mais l’ordre de l’évaluation facteur de risque / maladie est inversé Sujets AVC +AVC - Facteur de risque (Hypertension) Présent Absent 2 Maladie 1 Facteur de risque Présent ?

GC, a, b, c, d sont des effectifs Analyse Risque de maladie si le facteur est absent = Risque de maladie si le facteur est présent = Maladie Presente d Maladie Absente FdR Present FdR Absent ba c

GC, Risque relatif a, b, c, d sont des effectifs Maladie Presente d Maladie Absente FdR Present FdR Absent ba c RR =

GC, Design 2 Cohorte: les avantages.  Les données peuvent être recueillies d'une façon complète et uniforme  Le biais de mémorisation n’est pas un problème  La définition du résultat (« outcome ») est homogène chez tous les sujets  Pas de sélection des groupes, volontaire ou non

GC, Design 2 Cohorte: les désavantages.  « Design » coûteux en temps et en argent  Le choix de la population d'étude peut influencer la généralisation des résultats  Effet du temps: Perdus de vue Changement des critères de jugement …de méthodologie de mesure (évolution des techniques très rapide en imagerie et en biologie)  Biais de surveillance

GC, Exemple: Suppléments hormonaux après la ménopause  Question thérapeutique importante  S'applique à des millions de femmes  Le Prempro (oestrogène/progestine) était le médicament le +prescrit aux USA à la fin des années 90  Impact potentiellement énorme en terme de santé publique  Effet complexe: les hormones ont un rôle potentiel sur des maladies multiples (cancer, ostéoporose, maladies cardio-vasculaire)

GC, Supplémentation hormonale après la ménopause MaladieEffet sur le risque* Cardiopathie ischémiqueDiminution: % Ostéoporose (Fr. de hanche)Diminution: % Cancer du seinAugmentation: % Cancer de l’endomètreAugmentation: 700% Alzheimer’sDiminution: ? Embolie Pulmonaire &Augmentation: % thrombose veineuse * Réduction relative de risque; Études observationnelles (cas - témoins et cohortes)

GC, Nurses Health Study (NEJM,1991)  Prospective cohort study, n = 48,470  337,000 person years of follow-up Risk of Major Estrogen UseCoronary Disease*Relative Risk** Never Used Former user ( ) Current user ( ) * Events per 1000 women-years of follow-up ** Relative Risk (95% CI) compared to never * Events per 1000 women-years of follow-up ** Relative Risk (95% CI) compared to never users

GC, Meta-analysis 1997 “Benefits (for CHD, osteoporosis) outweigh risks (breast cancer) and side effects… All post-menopausal women should be taking ERT”* * CNN, 4/10/97

GC, Exemple: Suppléments hormonaux après la ménopause Les limites  Les utilisatrices sont-elles différentes des non- utilisatrices (se traiter ou non est un choix de la patiente) ? Âge État de santé Plus d'exercice Comportements de santé ….  Solutions Ajustements (mais pas toujours possible) Essais randomisés

GC, Design 3 Essai randomisé et contrôlé Randomized Controlled Trial Gold standard pour l’évaluation de l’effet des procédures ou stratégies médicales Le plus souvent utilisé dans le cadre des essais dit de « phase 3 » dans le monde des essais médicamenteux

GC, Temps Traitement A Maladie présente Traitement B DébutRandomisation Résultat PrésentSuivi Maladie présente Maladie absente Maladie absente Population d’étude Essai randomisé et contrôlé

GC, La table de contingence est encore la même… … mais les sujets sont assignés par tirage au sort au traitement Sujets + AVC AVC- Groupe Trt Controle 1 Tirage au sort pour créer les groupes 2 Evaluation de la maladie

GC, Essai randomisé et contrôlé: ce qu’il fait, ce qu’il ne fait pas Ce design peut réduire les problèmes liés à:  Biais de jugement des médecins  Attentes des patients  Prise en charge  Observance… Ce design ne permet pas de  Faire l’impasse sur une bonne question  D’oublier la qualité de l’analyse statistique  D’oublier l’importance de la méthode expérimentale à tous les niveaux de l’essai (mesure du critère de jugement…)

GC, Essai randomisé et contrôlé: Éthique  Placebo et autre outils de contrôle De manière générale, le “contrôle” est un élément essentiel (aveugle, standardisation des traitements associés, double lecture des documents radiologiques…) souvent difficile à mettre en œuvre.  Randomisation : charge émotionnelle Médecins: consentement informé, non connaissance du traitement… Patients : “cobayes”

GC, Courbe d’inclusion Inclusions/mois Inclusions réelles cumulées Inclusions théoriques cumulées Inclusions maximales attendues

GC, Essai randomisé et contrôlé: Eléments - clés  Question TRES précise  Validité interne Qualité des CRITERES DE JUGEMENT et des méthodes et instruments de mesure Choix du comparateur Qualité du contrôle : co-intervention, aveugle difficile, violation de la randomisation, perdus de vue…. Qualité de la randomisation (masquage) Qualité du suivi  Patients Calcul réaliste du nombre de sujets Disponibilité des patients (problème pour les radiologues)  Résultats Quantité d’effet Analyse en intention de traiter

GC, Essai randomisé et contrôlé: Encadrement L’essai randomisé et contrôlé, plus que tout autre design, est une affaire de professionnels:  AVANT Protocole, investigateurs et promoteur Déclarations (CPP, CNIL, Autorités compétentes…)  Pendant ARC/TEC BPC  APRES (mais mieux vaut s’en occuper avant!!!) CONSORT Statement Règles de lecture de l’EBM Working group

GC, Heart and Estrogen-Progestin Replacement Study (HERS)  Secondary prevention of heart disease  HRT (Prempro) vs. placebo (4-5 years)  2763 women with established heart disease Postmenopausal, < 80 years, mean age 67  20 clinical centers in U.S.A EndpointPlaceboHRTRR P New CHD Any fracture

GC, Women’s Health Initiative Hormone Replacement Therapy (2002)  Randomized trial 16,608 women with uterus (ERT + progestin vs. placebo) ~11,000 women without uterus (ERT alone vs. placebo)  Ages 50-79, mean age 64  Represent broad range of U.S. women  40 clinical centers  Follow-up planned for 8.5 years, to end in 2005

GC, Women’s Health Initiative Hormone Replacement Therapy (2002)  Combination therapy arm stopped early (3 years) Mean 5.2 years of follow-up Overall, health risks outweigh benefits Significant increased risk for invasive breast cancer HRT users

GC, WHI: Invasive Breast Cancer years % 2% 3%

GC, WHI: Coronary Heart Disease years

GC, Le diagnostic: De nombreuses questions …  Quels objectifs ? Reproductibilité Performances Efficacité  Quelles métriques ? Sensibilité, spécificité  Quelle méthodes test index & test de référence  Méthodologie Design Méthodologie (cohorte, cas contrôle… ) Nb de sujets nécessaire (aide d’un statisticien)

GC, Tests diagnostiques Architecture de leur évaluation  Phase 1: Do test results in affected patients differ from those in normal individuals?  Phase 2: Are patients with certain test results more likely to have the target disorder?  Phase 3: Do test results distinguish patients with and without the target disorder among those in whom it is clinically sensible to suspect the disorder?  Phase 4: Do patients undergoing the diagnostic test fare better than similar untested patients? Sackett, BMJ, 2002

GC, Test diagnostique: quelle place dans le processus diagnostique? P Bossuyt, BMJ, 2006

GC, Cohorte Test évalué Test de référence Classification des résultats en aveugle Evaluation d’un test diagnostique: schéma idéal

GC, Evaluation d’un test diagnostique: autre design (1) Cas Test évalué Test de référence Classification des résultats en aveugle Témoins Risque de biais: résultats dépendant du choix des cas et des témoins

GC, Evaluation d’un test diagnostique: autre design (2) Cohorte Test évalué Classification des résultats en aveugle Référence 1 Référence 2 Risque de biais

GC, Etude diagnostique: validité 1.Réunir un ensemble de patients représentatifs de la maladie (“ appropriate spectrum”) 2.Soumettre tous les patients au test de référence (« gold standard ») 3.S’assurer que la comparaison au test de référence est réellement: Indépendante En aveugle’?

GC, Réunir un ensemble de patients représentatifs de la maladie Biais de représentativité (Spectrum bias)  Sujet: valeur de la radiologie standard pour le diagnostic de pneumonie  Echantillon biaisé: pratiquer la radio seulement chez les patients ayant une forte suspicion de pneumonie  Echantillon correct: tous les patients ayant un trouble respiratoire et chez qui une radio pulmonaire est pratiquée

GC, Soumettre tous les patients au gold standard Biais de vérification  Sujet: valeur de l’ECG d’effort dans le diagnostic de l’insuffisance coronaire  Gold standard : angiographie  Biais de vérification: seuls les patients positifs à l’ECG ont une angiographie.  Méthode correcte: tous les patients ont une angiographie

GC,  Sujet: valeur de l’ECG d’effort dans le diagnostic de l’insuffisance coronaire  Gold standard : angiographie  Biais d’observation: le radiologue qui pratique l’angiographie connait le résultat du test d’effort  Méthode correcte: séparer la réalisation de l’angiographie de son interprétation S’assurer que la comparaison au test de référence est réellement indépendante Biais d’observation (observer bias)

GC, Test diagnostiques: les métriques M+ T+ T- VP FN Sensibilité Se= VP ÷ (VP+FN) M- FP VN Spécificité Se= VN ÷ (FP+VN) T- T+ Situation de recherche

GC, Test diagnostiques: les métriques T+ T- VP M+ Probabilité post test: M+ si Test + :VPP VP ÷ (VP+FP) FP M- FNVN Probabilité post test: M- si Test - : VPN VN ÷ (FN+VN) M+M- Situation clinique

GC, Test diagnostiques: les métriques VP VN FP FN M+M- Situation clinique: les rapports de vraisemblance (RV) –1- Total M+ Total M- T+ VP ÷ Total(M+) FP ÷ Total(M-) RV+ = T- FN ÷ Total(M+) VN ÷ Total(M-) RV- = Un RV compris entre 1 et l’  augmente la probabilité de la maladie Un RV compris entre 0 et 1 diminue la probabilité de la maladie

GC, Test diagnostiques: les métriques ab M+M- Situation clinique: les rapports de vraisemblance (RV) -2- Total M+ Total M- T+ a ÷ Total(M+) b ÷ Total(M-) RV+ = dc c ÷ Total(M+) d ÷ Total(M-) RV- = T- Test douteux e ÷ Total(M+) f ÷ Total(M-) RV d = fe

GC, Test diagnostiques: les métriques  RCd = a ÷ c / b ÷ d  La cote d’un résultat positif du test chez les personnes malades divisé par la cote d’un résultat positif du test chez les personnes non malades.  Le RCd est un résumé simple des résultats d’une table 2×2, incorporant la sensibilité et la spécificité.  Exprimé en termes de sensibilité et de spécificité il s’écrit: Se÷ (1-Se) (1-Sp) ÷ (Sp) RCd = a M+M- b d c T+ T- Rapport des cotes diagnostique (RCd)

GC, Analyse de la reproductibilité Coefficient kappa Kappa: concordance inter- ou intra-observateur corrigée de la concordance liée au hasard

GC, Nombre de sujets nécessaire  Vraie difficulté pour les radiologues - chercheurs qui ne recrutent pas directement les patients: connaitre la population disponible  Comme TOUTE étude, une étude diagnostique doit comprendre le calcul du nb de sujets nécessaire  Particularité: la multiplicité des métriques utilisables (Se, Sp, les 2, LR, courbe ROC…) et des questions (comparaison, précision…)

GC,

GC, Preuve empirique de biais liés au design Lijmer JG et al. JAMA; 1999: 282:

GC, Les standards de publication Des guides méthodologiques très utiles : exemple du STARD Statement

GC,

GC, Les standards de publication (1) STARD Statement N°Guide 3Describe the study population: The inclusion and exclusion criteria, setting and locations where the data were collected. 4Describe participant recruitment: Was recruitment based on presenting symptoms, results from previous tests, or the fact that the participants had received the (evaluated) index tests or the (golden) reference standard? 5Describe participant sampling: Was the study population a consecutive series of participants defined by the selection criteria in items 3 and 4? If not, specify how participants were further selected. 6Describe data collection: Was data collection planned before the index test and reference standard were performed (prospective study) or after (retrospective study)?

GC, Les standards de publication (2) STARD Statement N°Guide 7Describe the reference standard and its rationale. 8Describe technical specifications of material and methods involved including how and when measurements were taken, and/or cite references for index tests and reference standard. 10Describe the number, training and expertise of the persons executing and reading the index tests and the reference standard. 11 Describe whether or not the readers of the index tests and reference standard were blind (masked) to the results of the other test and describe any other clinical information available to the readers. 12Describe methods for calculating or comparing measures of diagnostic accuracy, and the statistical methods used to quantify uncertainty (e.g. 95% confidence intervals). 13Describe methods for calculating test reproducibility, if done.

GC, Les standards de publication (3) STARD Statement N°Guide 17Report time interval from the index tests to the reference standard, and any treatment administered between. 18Report distribution of severity of disease (define criteria) in those with the target condition; other diagnoses in participants without the target condition. 19Report a cross tabulation of the results of the index tests (including indeterminate and missing results) by the results of the reference standard; for continuous results, the distribution of the test results by the results of the reference standard. 20Report any adverse events from performing the index tests or the reference standard. 21Report estimates of diagnostic accuracy and measures of statistical uncertainty (e.g. 95% confidence intervals). 22Report how indeterminate results, missing responses and outliers of the index tests were handled. 23Report estimates of variability of diagnostic accuracy between subgroups of participants, readers or centers, if done.

GC, Standards sur les données Characteristics of Image Acquisition  Identify the model and manufacturer of the hardware and software used to acquire the image.  Describe any settings, optical or band-pass filters, sampling algorithms, amplification, or other technical information necessary to understand how the image was acquired and that could affect the interpretation of the image.  Describe or reference any procedures undertaken to prepare the patient for imaging. If applicable, specify any contrast media used, including the dose, route, and timing of its administration relative to the acquisition of the image or any fasting, voiding, or dietary preparations.  Describe or reference any standard procedures or protocols used to acquire the image. If applicable, state the conditions under which the image was taken (in the emergency department, operating room, ambulatory care center, during a stress test, and so on) and any “evocative” techniques used to increase the diagnostic value of the image.  Describe the condition of the patient during imaging. If applicable, specify the patient's position or posture (seated; supine), state of consciousness (asleep; anesthetized), and any medications in the patient’s system during imaging. Lang, T. How to Document Biomedical Images for Publication Cité sur

GC, Conclusion