Evaluation des examens complémentaires dans la démarche médicale Item 4 Pr GANRY

Définitions : Un test diagnostique (ou dépistage) doit être évalué avant d’en envisager l’utilisation pratique cette évaluation se fera par rapport à un ou des examens de référence (gold standard)

Il faut donc disposer d’un examen de référence: gold-standard = test parfait, capable d’identifier sans erreur les sujets malades des sujets sains En fonction de l’utilisation envisagé (diagnostic ou dépistage) on peut être amené à privilégier certaines propriétés du test par rapport à d’autres

Exemple : Déterminer les caractéristiques d’un test de dépistage-diagnostic d’un cancer: gold-standard = ex. anatomopathologie pour les besoins de l’évaluation, on va soumettre les sujets au test de référence (AP) et au test évalué

Caractéristiques d’un test : Intrinsèques : propres au test Sensibilité, spécificité et rapport de vraisemblance Extrinsèques : Liées aux conditions d’utilisation du test (prévalence maladie) Valeurs prédictives positives-négatives

2 - Information valide Problème de la valeur-seuil d'un examen : laquelle ? +++ Examen clinique donne une estimation des "chances" qu'a le sujet d'être atteint de la maladie : probabilité d’être malade Examen complémentaire : modifie les probabilités en estimant en fonction des résultats le risque d'être malade ou pas Dépend des qualités intrinsèques du test (sensibilité et spécificité) Dépend de la prévalence de la maladie +++

Définition du seuil du test : Variable qualitative (ex test Haemoccult) 1 Positif Evènement Non-Evènement Négatif 5 7

Variable quantitative 1 Evènement Positif 0,5 Seuil Négatif Non-Evènement 5 8

Etude diagnostique • Sensibilité/ Spécificité – Pour test qualitatif : test(+) / test(‐) – Ne dépend pas de la prévalence de la maladie • Valeurs prédictives – négative – positive – Dépendent de la prévalence de la maladie • Courbe ROC (receiver operating characteristics) – Pour test quantitatif (seuils, gradation …) – Alternative : donner la sensibilité et la spécificité pour tous les seuils = si le patient est malade, que détecte le test ? VP = si le test est (+), Est-ce que le patient est malade ?

Questions à se poser : Quelle est la probabilité d’avoir un test + si je suis malade? Quelle est la probabilité d’avoir un test négatif si je ne suis pas malade? Quelle est la probabilité que je sois malade si j’ai un test +?

Caractéristiques intrinsèques : test binaire Un échantillon de patients qui subissent à la fois le test de diagnostique et le test de référence Les patients sont donc classés en malades ou non malades avec le test de référence et positif ou négatif avec le test diagnostique

Table de contingence Échantillon total Maladie + Maladie - Test +

Table de contingence Échantillon total Maladie + Maladie - Test + Vrai positifs (VP) Faux positifs (FP) Test - Faux négatifs (FN) Vrai négatifs (VN)

Table de contingence Échantillon total Maladie + (a+c) Maladie – (b+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Si ce tableau ne peut être construit à partir des données fournies, l’étude est inutile

Sensibilité : Échantillon total Maladie + (a+c) Maladie – (b+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c)

Sensibilité : Se Elle n’est pas influencée par la prévalence de la maladie dans la population où il est réalisé. La Se mesure la capacité d’un test à bien identifier les malades. Elle correspond à la probabilité d’avoir un test positif chez un malade. Elle est exprimée par la proportion de VP chez les malades, soit : Se = VP VP + FN

Spécificité : Échantillon total Maladie + (a+c) Maladie – (b+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c) Spécificité d /(b+d)

Spécificité : Sp Elle n’est pas influencée par la prévalence de la maladie dans la population où il est réalisé. La Sp mesure la capacité d’un test à bien classer les patients indemnes de la maladie. Elle correspond à la probabilité d’avoir un test négatif chez un sujet sain. Elle est exprimée par la proportion de VN chez les sujets sains, soit : Sp = VN VN + FP

Cependant, la Se et la Sp ne permettent pas de répondre à la question implicitement posée par le clinicien lorsqu’il prescrit un test biologique : quelle est la probabilité que le patient soit malade si le test est positif et qu’il soit indemne si le test est négatif ? Les valeurs prédictives positives et négatives procurent cette information = probabilité post – test Les valeurs prédictives sont liées à la prévalence de la maladie = probabilité pré-test

Prévalence : nombre de malades au sein de l’échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c) Spécificité d /(b+d)

Valeur Prédictive Positive : probabilité qu’un patient (+) soit réellement malade Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c) Spécificité d /(b+d)

Valeur Prédictive Négative : probabilité qu’un patient (-) soit réellement indemne Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d)

Indépendance/dépendance des indices Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d) Valeur globale du test (a+d)/(a+b+c+d) Dépendants de la prévalence Dépendants du test diagnostic

Comment déterminer le seuil optimal Comment déterminer le seuil optimal ? Courbes ROC : (Receiver Operating Characteristics) Permettent de déterminer le seuil optimal +++ Étudient les variations de spécificité et sensibilité d’un test pour différentes valeurs du seuil de discrimination

. 2 5 7 1 Sensibilité 1-Spécificité 39

1- Spécificité (taux de faux positifs) 0.2 0.4 0.6 0.8 1 Sensibilité 1- Spécificité (taux de faux positifs) Seuil =0.2 Seuil =0.4 Seuil =0.6 Pour être discriminent, il suffit que le modèle permette une approximation de p1 qui soit juste par rapport à 0 ou 1: du moment que les classes 0 et 1 sont bien séparée, on ne s’intéresse pas à la valeur précise de p1 40

Courbe ROC

Pour qu’un test soit robuste, il faut que AUC≥0,8

Indices de synthèse Visent à établir la valeur d'un test: Exactitude Test de Youden Rapport de vraisemblance

Exactitude = bien classés Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d) Valeur globale du test (a+d)/(a+b+c+d) % résultats exacts , cad VP et VN par rapport à la cohorte Varie de 0 à 1 1 correspondant à une absence de FP et de FN

Indice de Youden (J) Addition des 2 qualités du test : Sensibilité et Spécificité J (en %)= Se + Sp -100 Varie de –1 à 1 0= pas d’orientation diagnostique Cet indice est peu utilisé

Rapports de vraisemblance (likelihood ratio) Expriment la probabilité d’avoir un test positif chez les malades et la probabilité d’avoir un test négatif chez les non malades Calculés à partir de la Se et Sp, ils sont indépendants de la prévalence de la maladie+++

Rapports de vraisemblance positif C’est la vraisemblance que le sujet soit malade lorsque le test est positif Il s’exprime naturellement comme le rapport des taux des test positifs chez les malades (VP/M+) sur les tests positifs chez les non-malades (FP/M-) LR+= taux des vrais positifs / taux des faux positifs= Se / (1-Sp) Ce rapport positif varie de 0 (sensibilité nulle) à l’infini (spécificité tend vers 1) Plus RV s’écarte de la valeur 1, plus le test apporte des informations intéressantes

Rapports de vraisemblance négatif C’est la vraisemblance que le sujet soit non malade quand le test est négatif Il s’exprime naturellement comme le rapport les tests négatifs chez les malades sur les tests négatifs chez les non-malades LR-= taux des faux négatifs/taux des vrais négatifs= (1-Se) / Sp Ce rapport négatif est nul quand la sensibilité est de 1. Quand le test est totalement spécifique (pathognomonique), le rapport de vraisemblance négatif est égal à 1-Se

Plus le rapport de vraisemblance positif est élevé et plus le rapport de vraisemblance négatif est faible, plus le gain diagnostique est important

Rapport de vraisemblance Des RV+ > 10 et RV- < 0,1 permettent de confirmer ou exclure la maladie le plus souvent

1- Interprétation reproductible Reproductibilité de l'examen Au même endroit ou dans des lieux différents Reproductibilité du jugement Variabilité inter et intra-observateur : Coefficient d'agrément Kappa

Coefficient d'agrément Kappa Index d'agrément entre plusieurs observateurs Varie de -1 à +1 Tend vers -1 : discordance d'interprétation Tend vers +1 : concordance d'interprétation

Coefficient d'agrément Kappa Observ 2 Présent Absent Total Observ 1 a b p1=a+b c d q1=c+d p2=a+c q2=b+d n=a+b+c+d p0 = proportion d'agrément observé = (a + d) / n pe = proportion d'agrément attendu = [(p1 x p2) + (q1 x q2)] / n Kappa = (p0 - pe) / (1 - pe) Inconvénient = dépend de la prévalence de la maladie