Evaluation diagnostique J. Coste Unité de biostatistique et d’épidémiologie, Hôtel Dieu, Université Paris Descartes

Plan Introduction: principes de la démarche diagnostique, l’approche bayésienne du diagnostic L’évaluation des méthodes diagnostiques – Les concepts – Les indicateurs – L’antagonisme entre sensibilité et spécificité, les courbes ROC – Les types d’étude de tests diagnostiques – Les principaux biais de ces études Conclusion: grille de lecture d’un article traitant d’un test diagnostique

Diagnostic « Le diagnostic est l'art de reconnaître les maladies par leurs symptômes et de les distinguer les unes des autres » (Littré) Processus complexe !!

Diagnostic Les grandes étapes de la démarche diagnostique (schématiquement)  Poser le problème  Génération des hypothèses diagnostiques  Confirmation/élimination des ces hypothèses  Prises de décision intermédiaires (traitement symptomatique, surveillance, etc.)  Clôture du processus avec un diagnostic final ou de « travail » J.B. Paolaggi, J. Coste. Le raisonnement médical. Paris, Estem 2001.

Confirmation et élimination des hypothèses Utilisation de méthodes ou tests diagnostiques (signes cliniques et examens complémentaires) Mise en œuvre de différents raisonnements mais importance croissante du raisonnement probabiliste/Bayésien+++ Diagnostic

6 Approche bayésienne du diagnostic médical Un médecin essaie d’affirmer ou d’éliminer une hypothèse diagnostique : il recueille la présence ou l’absence de symptômes ou de signes cliniques, et prescrit éventuellement des examens complémentaires Chaque signe/symptôme recueilli contribue à augmenter ou à diminuer la probabilité de l’hypothèse qu’il a formulée Le théorème de Bayes permet de formaliser (« mettre en équations ») cette démarche A bien connaître… car sous tend l’évaluation des méthodes et tests diagnostiques

7 A l’étape initiale, – Grâce à des connaissances épidémiologiques, le médecin a une idée de la probabilité de la « maladie M » (l’hypothèse qu’il envisage comme la plus raisonnable) – On note p (M) cette probabilité dite « probabilité a priori » Approche bayésienne du diagnostic médical

8 Grâce à ses questions de pathologie, il connaît (au moins de façon approximative) la fréquence de chaque signe dans la maladie M  il connaît la fréquence d’un symptôme donné, S 1, dans la maladie M Cette fréquence s’exprime comme une probabilité conditionnelle : p(S 1 /M) (probabilité d’avoir le signe S 1 quand le sujet a la maladie M) Il connaît aussi la fréquence de ce symptôme en l’absence de cette maladie ou dans les autres maladies Approche bayésienne du diagnostic médical

9 Le médecin recherche le symptôme et le trouve. Quelle est maintenant la probabilité de la maladie? La probabilité de la maladie M, dite probabilité a posteriori, sachant que le patient a le symptôme S 1, p(M/S 1 ) peut être calculée, grâce au théorème de BAYES Approche bayésienne du diagnostic médical

10 Si le symptôme est absent, la probabilité a posteriori est, de la même manière : Approche bayésienne du diagnostic médical

11 Dans le langage médical courant, – la probabilité qu’un patient atteint de la maladie M ait un signe S positif, s’appelle la sensibilité (Se) du signe – la probabilité qu’un patient indemne de la maladie M ait un signe S négatif, s’appelle la spécificité (Sp) du signe Approche bayésienne du diagnostic médical

12 Dans le langage médical courant, – la probabilité qu’un patient ayant un signe S positif soit atteint de la maladie M, s’appelle la valeur prédictive positive (VPP) du signe – la probabilité qu’un patient ayant un signe S négatif ne soit pas atteint de la maladie M, s’appelle la valeur prédictive négative (VPN) du signe Approche bayésienne du diagnostic médical

13 Approche bayésienne du diagnostic médical

14 Exemple – Un patient de 65 ans, tabagique, se présente aux urgences avec des douleurs thoraciques prolongées et l’interne suspecte un infarctus du myocarde (IDM) – Compte tenu de l’âge, de l’intoxication tabagique et du caractère prolongé des douleurs, l’interne pense que la probabilité a priori que le patient ait un infarctus est proche d’une chance sur 2 (0.40) Approche bayésienne du diagnostic médical

15 Exemple – Il prescrit un dosage de troponine dont le résultat est positif – L’interne connaît la sensibilité de la Tp dans l’IDM : Se= 0.90, et la spécificité de la Tp pour les autres douleurs thoraciques: Sp = 0.95 Approche bayésienne du diagnostic médical

16 Exemple La probabilité a posteriori du patient d’avoir un IDM, sachant que la Tp est positive est : Approche bayésienne du diagnostic médical

17 Ces formules permettent de comprendre que le résultat d'un test (évaluation d’un symptôme ou signe) dépend de deux notions différentes: - les caractéristiques intrinsèques du test (son pouvoir de discriminer les malades des non malades évalué par la sensibilité et la spécificité) - la fréquence (ou probabilité a priori) de la maladie dans la population où l'on applique ce test Approche bayésienne du diagnostic médical

Formules alternatives utilisant les rapports de vraisemblance On pose Odd = p(M) ÷ 1 – p (M) On appelle: RVP ou RV+ = Se/1-Sp RVN ou RV- = 1-Se/Sp Odd post-test = odd pré-test × RVP si test + Odd post-test = odd pré-test × RVN si test –

Diagnostic Importance majeure de documenter de manière satisfaisante (sans biais) la sensibilité et la spécificité (ou les rapports de vraisemblance) ainsi que la fiabilité des méthodes diagnostiques (signes et tests)

L’évaluation des méthodes diagnostiques 1. Les concepts

La fiabilité est la propriété d’un test dont les résultats peuvent être reproduits aussi longtemps que les conditions du test ne changent pas Elle s’évalue par la concordance des résultats intra/inter-observateur (test clinique, test-retest (auto-évaluation), la concordance inter/intra assay-série (biologie)…  à tester par des études de terrain appropriés L’évaluation des méthodes diagnostiques 1. Les concepts

La validité est la propriété d’un test qui se définit par la capacité à évaluer ce qu’il est censé évaluer (la maladie) L’évaluation de la validité se généralement fait par rapport à une méthode de référence ou « Gold- Standard » (qui atteste de la présence ou non de la maladie) L’évaluation des méthodes diagnostiques 1. Les concepts

Tout test diagnostique devrait fournir des résultats fiables et valides La « validation » représente l’ensemble du processus visant – à montrer que le test est fiable et valide – ou à documenter ces propriétés L’évaluation des méthodes diagnostiques 1. Les concepts

Indicateurs de fiabilité: – % de concordance (entre évaluations successives ou parallèles) – Coefficient Kappa (% de concordance corrigé par la chance) – Méthode de Bland et Altman (différence des résultats % moyenne) L’évaluation des méthodes diagnostiques 2. Les indicateurs

Concordance des évaluations, notée Po Concordance liée au hasard, notée Pe Po : Concordance observée des évaluations Pe : Concordance attendue, liée au hasard Test considéré comme fiable si Kappa > 0.80

Deux administrations d’un questionnaire de dépression (MADRS)

Indicateurs de fiabilité – % de concordance (entre évaluations successives ou parallèles) – Coefficient Kappa (% de concordance corrigé par la chance)* – Méthode de Bland et Altman (différence des résultats % moyenne)* Indicateurs de validité – Sensibilité (Se), spécificité (Sp) – Rapports de vraisemblance (RV+ et RV-) L’évaluation des méthodes diagnostiques 2. Les indicateurs * Kappa et méthode de Bland et Altman peuvent également être utilisées pour évaluer la validité

L’évaluation des méthodes diagnostiques 3. L’antagonisme entre sensibilité et spécificité, courbes ROC Forte spécificité, faible sensibilité Forte sensibilité, faible spécificité sans la maladie avec la maladie

Courbe ROC: Sensibilité en fonction de la spécificité ( 1- Spécificité) Se 1 -Sp Courbe ROC A A chaque seuil : un couple de sensibilité, spécificité Se= 1, Sp =0 Se= 0, Sp =1

L’évaluation des méthodes diagnostiques 3. L’antagonisme entre sensibilité et spécificité, courbes ROC 1 Large « overlap » 3 Faible « overlap » Courbe ROC 1 -Sp Se

L’évaluation des méthodes diagnostiques 3. L’antagonisme entre sensibilité et spécificité, courbes ROC 1 Large « overlap » 3 Faible « overlap » 1 -Sp Se Aire sous la courbe ROC comme indicateur de discrimination Courbe ROC

Plusieurs phases de développement d’une méthode ou d’un test diagnostique – différence malades vs. normaux – test discrimine malades et non-malades – test discrimine malades et non-malades dans population cible – test améliore état de santé Etudes transversales, plus rarement cohortes (phases ultimes) L’évaluation des méthodes diagnostiques 4. Les types d’études

Phase 1

Phase 2

Phase 3

Phase 4 ?

Biais de spectre – Biais de sélection, « trop malades », « trop normaux »  réalité clinique – Remède: échantillon issu population cible du test (malades et qui auraient pu être malades) L’évaluation des méthodes diagnostiques 5. Les principaux biais

Biais de spectre – Biais de sélection, « trop malades », « trop normaux »  réalité clinique – Remède: échantillon issu population cible du test (malades et qui auraient pu être malades) Biais de « work-up » : méthode de référence ou gold standard que chez tests + L’évaluation des méthodes diagnostiques 5. Les principaux biais

Biais de spectre – Biais de sélection, « trop malades », « trop normaux »  réalité clinique – Remède: échantillon issu population cible du test (malades et qui auraient pu être malades) Biais de « work-up » : méthode de référence ou gold standard que chez tests + : surestime performances de la méthode Biais de lecture: non indépendance des interprétations des tests/GS  biais de découverte de cible, biais d’incorporation – raisonnement circulaire (Se et Sp surestimées) L’évaluation des méthodes diagnostiques 5. Les principaux biais

Ecriture et lecture d’un article traitant d’une méthode diagnostique

Diagnostic STARD. Annals Intern Med 2003

Grille d’écriture Les échantillons de malades et non malades sont-ils représentatifs d’une population à laquelle le test sera appliquée ?

Le test étudié est comparé à un test de référence déterminé à priori pour classer les malades et les non malades ?  Test de référence validé ?  Test de référence pratiqué chez tous les malades ?  Test de référence et test étudié interprétés indépendamment ?

Intervalles de confiance

Grille de lecture

Grille « maison »