Procédures de diagnostic et de dépistage Emmanuel Lorne lorne.emmanuel@chu-amiens.fr

But d’une procédure de diagnostic Étudier la validité d’un nouvel examen diagnostique par rapport à un ou des examens de références (gold standard)

5 critères de qualité d'un test Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

Bonne qualité technique La technique mesure-t-elle ce qu'elle est censée mesurer ? Est-elle exacte ? (absence d'erreur systématique) Est-elle précise (faible variabilité) ? L'examen est-il facile à exécuter correctement?

Interprétation reproductible Reproductibilité de l'examen Au même endroit ou dans des lieux différents Reproductibilité du jugement Variabilité inter et intra-observateur: Coefficient d'agrément Kappa Questions a se poser: La reproductibilité (fiabilité) du test est-elle analysée?

Coefficient d'agrément Kappa Index d'agrément entre plusieurs observateurs Varie de -1 à +1 Vaut 0 lorsque la concordance de réponse est due au hasard Tend vers -1 : discordance d'interprétation Tend vers +1 : concordance d'interprétation

Coefficient d'agrément Kappa p0 = proportion d'agrément observé = (a + d)/n pe = proportion d'agrément attendu = [(p1 x p2) + (q1 x q2)]/n Kappa = (p0 - pe)/(1 - pe) Inconvénient = dépend de la prévalence de la maladie

Information valide Problème de la valeur-seuil d'un examen Examen clinique donne une estimation des "chances" qu'a le sujet d'être atteint de la maladie Examen complémentaire : modifie les probabilités afin d'estimer en fonction des résultats le risque d'être malade ou pas Dépend des qualités intrinsèques du test (sensibilité et spécificité) Dépend de la prévalence de la maladie (probabilité primaire ou à priori)

Information valide D'où la nécessité d'être très précis sur: la définition du signe La définition des patients La définition des malades et non malades

Définition du signe Variable qualitative 1 Positif Evènement  Non-Evènement Négatif 5

Définition du signe Variable quantitative Seuil 1 Evènement Positif  0,5 Seuil Négatif Non-Evènement 5

Définition des patients Quelle est la population cible ➡ Population susceptible de bénéficier de cet examen Questions a se poser: La méthode de sélection des patients est-elle décrite? La population décrite correspond-elle à la population dans laquelle va s’appliquer le test? La fréquence de la maladie dans l’échantillon étudié correspond-elle aux données épidémiologiques connues?

Définition des malades-non malades Examen comparé avec le diagnostic réel : Gold standard Examen de référence ou anapath ou consensus!!! L'examen de référence peut lui même être entaché d'erreur L'examen de référence doit être indépendant de l'examen évalué et le résultat non connu Questions a se poser: Le test étudié est-il comparé à un test de référence fiable et validé, déterminé a priori? La méthodologie du test est-elle décrite pour pouvoir être reproduite?

Expression des résultats d’une évaluation Signe binaire (variable qualitative): ➡ Sensibilité et Spécificité Signe à valeur continue (variable quantitative): ➡ Courbe ROC

Etude diagnostique • Sensibilité/ Spécificité – Pour test qualitatif : test(+) / test(‐) – Ne dépend pas de la prévalence de la maladie • Valeurs prédictives – négative – positive – Dépendent de la prévalence de la maladie • Courbe ROC (receiver operating characteristics) – Pour test quantitatif (seuils, gradation …) – Alternative : donner la sensibilité et la spécificité pour tous les seuils = si le patient est malade, que détecte le test ? VP = si le test est (+) ou (-), que devient le patient ?

Table de contingence Échantillon total Maladie + Maladie - Test +

Table de contingence Échantillon total Maladie + Maladie - Test + Vrai positifs (VP) Faux positifs (FP) Test - Faux négatifs (FN) Vrai négatifs (VN)

Table de contingence Échantillon total Maladie + (a+c) Maladie – (b+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Si ce tableau ne peut être construit à partir des données fournies, l’étude est inutile

Sensibilité : taux de vrai sujets positif parmi les sujets malades Échantillon total Maladie + (a+c) Maladie – (b+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c)

Spécificité : taux de vrais négatifs parmi les sujets non malades Échantillon total Maladie + (a+c) Maladie – (b+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c) Spécificité d /(b+d)

Intervalles de confiance Tests réalisés sur des échantillons de population et non pas sur la population totale Etablir IC en choisissant un risque d’erreur que la valeur réelle dans la population ne soit pas dans IC de la valeur déterminée sur l’échantillon . Par convention, un intervalle de confiance à 95% est utilisé

Intervalles de confiance m = nombre de malades n = nombre de non-malades IC 99% remplacer 1,96 par 2,576 IC 99,9% remplacer 1,96 par 3,290

Intervalles de confiance Malades / Total Se (%) IC 95% 10 / 20 90% 71,4-100 100/200 84,1-95,9 1000/2000 88,1-91,9

Prévalence : nombre de malades au sein de l’échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c) Spécificité d /(b+d)

Valeur Prédictive Positive : probabilité qu’un patient signe (+) soit réellement malade Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c) Spécificité d /(b+d)

Valeur Prédictive Négative : probabilité qu’un patient signe (-) soit réellement indemne Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d)

Indépendance/dépendance des indices Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d) Valeur globale du test (a+d)/(a+b+c+d) Dépendants de la prévalence Dépendants du test diagnostic

Exemple (1) nitrites en pédiatrie à Ouagadougou (bandelette Multistix®) Échantillon total N=1100 Maladie + (a+c)=196 Maladie – (b+d)=904 Prévalence (a+c)/(a+b+c+d) =17,8% nitrites+ (a+b) Vrai positifs (VP) A=92 Faux positifs (FP) B=226 Valeur prédictive positive a/(a+b)=66,2% nitrites– (c+d) Faux négatifs (FN) C=104 Vrai négatifs (VN) D=678 Valeur prédictive négative d/(c+d)=57,6% Sensibilité a /(a+c) =47% Spécificité d /(b+d)=75% Valeur globale du test (a+d)/(a+b+c+d) =70%

Exemple (2): VIH milieu rural au Niger prévalence = 0,64% Échantillon total n=311 907 Maladie + (a+c)=1995 Maladie – (b+d)=912 Prévalence (a+c)/(a+b+c+d) =0,64% Test + (a+b) Vrai positifs (VP) a=1995 Faux positifs (FP) b=188 Valeur prédictive positive a/(a+b)=91,4% Test – (c+d) Faux négatifs (FN) c=0 Vrai négatifs (VN) d=309 724 Valeur prédictive négative d/(c+d)=100% Sensibilité a /(a+c)=100% Spécificité d /(b+d)=99,94% Valeur globale du test (a+d)/(a+b+c+d) Dépendants de la prévalence Dépendants du test diagnostic

Exemple (2): VIH milieu urbain au Niger prévalence = 2,08% Échantillon total n=311 907 Maladie + (a+c)=8733 Maladie – (b+d)=303 174 Prévalence (a+c)/(a+b+c+d) =2,8% Test + (a+b) Vrai positifs (VP) a=8733 Faux positifs (FP) b=182 Valeur prédictive positive a/(a+b)=97,9% Test – (c+d) Faux négatifs (FN) c=0 Vrai négatifs (VN) d=302 992 Valeur prédictive négative d/(c+d)=100% Sensibilité a /(a+c) =100% Spécificité d /(b+d)=99,94% Valeur globale du test (a+d)/(a+b+c+d) Dépendants de la prévalence Dépendants du test diagnostic

Indices de synthèse Visent à établir la valeur d'un test: Exactitude Test de Youden Rapport de vraisemblance

Exactitude = bien classés Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d) Valeur globale du test (a+d)/(a+b+c+d) % résultats exacts , cad VP et VN par rapport à la cohorte Varie de 0 à 1 1 correspondant à une absence de FP et de FN Un tirage au sort correspond à 0,5

Indice de Youden (J) Addition des 2 qualités du test : Sensibilité et Spécificité J (en %)= Se +Sp-100 Varie de –1 à 1 0= pas d’orientation diagnostique Cet indice est peu utilisé

Rapports de vraisemblance positif C’est la vraisemblance que le sujet soit malade lorsque le test est positif Il s’exprime naturellement comme le rapport des taux des test positifs chez les malades (VP/M+) sur les tests positifs chez les non-malades (FP/M-) RVPos = LR+= taux des vrais positifs/taux des faux positifs= Se /(1-Sp) Ce rapport positif varie de 0 (sensibilité nulle) à l’infini (spécificité tend vers 1) Plus RV s’écarte de la valeur 1, plus le test apporte des informations intéressantes

Rapports de vraisemblance positif Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d) Valeur globale du test (a+b)/(a+b+c+d) a a+c a a+c a a+c Se RV pos=taux de VP/Taux FP= = = = b b+d b+d-d b+d -d b+d 1-spé 1-

Exemple douleur thoracique à 28 ans et risque d’IDM

Exemple douleur thoracique à 78 ans et risque d’IDM

Rapports de vraisemblance négatif C’est la vraisemblance que le sujet soit non malade quand le test est négatif Il s’exprime naturellement comme le rapport les tests négatifs chez les malades sur les tests négatifs chez les non-malades LR-= taux des faux négatifs/taux des vrais négatifs=(1-Se)/Sp Ce rapport négatif est nul quand la sensibilité est de 1. Quand le test est totalement spécifique (pathognomonique), le rapport de vraisemblance négatif est égal à 1-Se

Rapports de vraisemblance négatif Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d) Valeur globale du test (a+b)/(a+b+c+d) c a+c c+a-a a+c a a+c 1- 1-Se RV pos=taux de FN/Taux VN= = = = d b+d d b+d d b+d spé

Interprétation du rapport de vraisemblance RVpos RVneg Changement entre la probalité pré-test et post test d’avoir la maladie >10 <0,1 important 5-10 0,1-0,2 modéré 2-5 0,2-0,5 Faible mais parfois intéressant cliniquement 1-2 0,5-1 Faible 1 Aucun Plus le rapport de vraisemblance d'un test positif est grand et plus le rapport de vraisemblance d'un test négatif est petit, plus le test est utile cliniquement.

Index de synthèse La valeur diagnostique d’un test est d’autant plus grande que l’indice de Youden est proche de 1 L’apport diagnostique d’un résultat positif du test est d’autant plus grand que LR+ est plus élevé L’apport diagnostique d’un résultat négatif d’autant plus grand que LR- est petit et proche de 0

Expression des résultats d’une évaluation Signe binaire (variable qualitative): ➡ Sensibilité et Spécificité Signe à valeur continue (variable quantitative): ➡ Courbe ROC

Variable continue: notion de seuils Quand un examen est quantitatif Non Malades Malades x Résultat du test

Notion de seuils Quand un examen est quantitatif Test très sensible mais peu spécifique=bcp de FP Non Malades Malades x Résultat du test

Notion de seuils Quand un examen est quantitatif Test très spécifique mais peu sensible =bcp de FN Non Malades Malades x Résultat du test

Notion de seuils Quand un examen est quantitatif Meilleur rapport Se/Sp Non Malades Malades x Résultat du test

Exemple Mesure du Qc Delta Qc Mesure du Qc Delta Qc Après remplissage

6 5 4 3 2 1 ΔQc<12% ΔQc>12% Non répondeurs Répondeurs Nombre de patients -20 -15 -10 -5 0 5 10 15 20 25 ΔQc PLR%

6 5 4 3 2 1 ΔQc<12% ΔQc>12% Non répondeurs Répondeurs Nombre de patients -20 -15 -10 -5 0 5 10 15 20 25 ΔQc PLR%

ΔQc<12% ΔQc>12% 6 5 4 3 2 1 Non répondeurs Répondeurs Nombre de patients -20 -15 -10 -5 0 5 10 15 20 25 ΔQc PLR%

Courbes ROC (Receiver Operating Characteristics) Permettent de déterminer le seuil optimal Étudient les variations de spécificité et sensibilité d’un test pour différentes valeurs du seuil de discrimination

X Seuil Seuil Seuil Se réduite Sp accrue Se accrue Sp réduite 1 Probabilité 1 0,5 X Seuil Se réduite Sp accrue Seuil Se accrue Sp réduite

Sensibilité (Vrais positifs) . 2 5 7 1 Sensibilité (Vrais positifs) 1-Spécificité (Faux positifs)

1- Spécificité (taux de faux positifs) 0.2 0.4 0.6 0.8 1 Sensibilité 1- Spécificité (taux de faux positifs) Seuil =0.2 Seuil =0.4 Seuil =0.6 Pour être discriminent, il suffit que le modèle permette une approximation de p1 qui soit juste par rapport à 0 ou 1: du moment que les classes 0 et 1 sont bien séparée, on ne s’intéresse pas à la valeur précise de p1

Courbe ROC 1 Pente=1 Taux de vrai positifs Sensibilité = 1-spécificité 1-spécificité = Taux de faux positif 1

Courbe ROC

Courbe ROC 1 Pente=1 Taux de vrai positifs Sensibilité = 1-spécificité 1-spécificité = Taux de faux positif 1

Courbe ROC RV positif= pente 1 Pente=1 Taux de vrai positifs Sensibilité = 1-spécificité = Taux de faux positif 1

Avantages des courbes ROC Pas d'hypothèse sur le seuil Analyse globale des VP et VN Index habituel d'évaluation du test = Aire sous la courbe (AUC) Pour qu’un test soit robuste, il faut que AUC≥0,8

Exemple de construction de la courbe

Exemple de construction de la courbe Aire sous la courbe= AUC=0,90+/-0,04 . 2 5 7 1 Sensibilité (Vrais positifs) 1-Spécificité (Faux positifs)

Exemple de construction de la courbe

Exemple de construction de la courbe

Exemple de construction de la courbe

Exemple de construction de la courbe détermination du seuil pertinent

Le test de dépistage Un bon test de dépistage doit : être fiable et reproductible être facile à appliquer et à accepter par les bien portants (surtout si on doit le répéter assez souvent), n'avoir que peu d'effets secondaires, être de coût modéré. En outre, il doit être efficace, c’est à dire diminuer la mortalité ou la morbidité.

On définit un test de dépistage par les valeurs suivantes : vrais positifs (VP), vrais négatifs (VN), faux positifs (FP), faux négatifs (FN), valeur prédictive positive (VPP) valeur prédictive négative (VPN).

Test sensible Doit être préféré si: Maladie grave et ne peut être ignorée Traitable Importance sanitaire de savoir que l’on a la maladie (pas de FN)

Test spécifique Doit être préféré si: Maladie difficilement curable ou incurable (pas de FP car psychologiquement difficile) Intérêt sanitaire à savoir que l’on a pas la maladie

Test à valaur prédictive positive élevée Doit être préféré si: Traitement des sujets FP aurait des conséquences graves Ex: radiothérapie ou chimiothérapies chez les FP de cancer

Test à valeur globale élevée Doit être préféré si: Maladie sérieuse mais peut être soignée efficacement FP et FN ont des conséquences traumatisantes et entrainent des conséquences graves

QUELLE PRIORITE ? Dépister les patients malades (Sensibilité) Exclure les patients non malades : certitude diagnostique (Spécificité) Exactitude de la mesure (Bien classés)

Choix du seuil Privilégier le dépistage : sensibilité la meilleure Privilégier le diagnostic de certitude: spécificité la meilleure

Exemple à partir d’un test qualitatif bandelette Multistix® (1) Etude multicentrique menée dans 60 hôpitaux en 1989 menée pour évaluer l'efficacité des bandelettes urinaires dans le dépistage de l'infection urinaire.

bandelette Multistix® (2) L’ECBU est l'un des test biologiques les plus couramment demandés à l'hôpital. Les résultats d'une grande partie des prélèvements urinaires analysés sont négatifs lourde charge de travail pour les laboratoires de bactériologie Coût +++

bandelette Multistix® (2) But de l’étude évaluer un nouvel examen de dépistage de l'infection urinaire par bandelettes réactives Infections urinaires détecté par BU par rapport à la méthode de référence : l'ECBU

bandelette Multistix® (3) Définition de l’ECBU positif : pour une bactériurie > 105/ml et une leucocyturie > 104/ml. Le résultat est négatif dans le cas contraire. Définition de la BU positive : si l'un au moins des trois tests, sang, leucocytes et nitrites est positif.

bandelette Multistix® (4) 60 centres ont analysé sur 5 mois 14 235 prélèvements urinaires Analysés par les 2 méthodes Gold standard=ECBU 2079 ECBU+ (dont 93 BU-) BU 8397 BU+ (dont 6411 ECBU-)

bandelette Multistix® (5) Échantillon total N=14 235 Maladie + (a+c)=2079 Maladie – (b+d)=12 156 Prévalence (a+c)/(a+b+c+d) =14,6% Test + (a+b) Vrai positifs (VP) A=2079-93=1986 Faux positifs (FP) B=6411 Valeur prédictive positive a/(a+b)= Test – (c+d) Faux négatifs (FN) C=93 Vrai négatifs (VN) D=5745 Valeur prédictive négative d/(c+d)= Sensibilité a /(a+c)= Spécificité d /(b+d)= Valeur globale du test (a+d)/(a+b+c+d) Dépendants de la prévalence Dépendants du test diagnostic

bandelette Multistix® (6) Échantillon total N=14 235 Maladie + (a+c)=2079 Maladie – (b+d)=12 156 Prévalence (a+c)/(a+b+c+d) =14,6% Test + (a+b) Vrai positifs (VP) A=2079-93=1986 Faux positifs (FP) B=6411 Valeur prédictive positive a/(a+b)= Test – (c+d) Faux négatifs (FN) C=93 Vrai négatifs (VN) D=5745 Valeur prédictive négative d/(c+d)= Sensibilité a /(a+c)=95% Spécificité d /(b+d)=47% Valeur globale du test (a+d)/(a+b+c+d) Il s’agit donc d’un test sensible mais peu spécifique.

bandelette Multistix® (7) Échantillon total N=14 235 Maladie + (a+c)=2079 Maladie – (b+d)=12 156 Prévalence (a+c)/(a+b+c+d) =14,6% Test + (a+b) Vrai positifs (VP) A=2079-93=1986 Faux positifs (FP) B=6411 Valeur prédictive positive a/(a+b)= 24% Test – (c+d) Faux négatifs (FN) C=93 Vrai négatifs (VN) D=5745 Valeur prédictive négative d/(c+d)= 98% Sensibilité a /(a+c)= 95% Spécificité d /(b+d)= 47% Valeur globale du test (a+d)/(a+b+c+d) Dans notre exemple, la VPP du test aux BU correspond à la probabilité qu'un sujet soit réellement infecté si le résultat est positif. La VPN : probabilité que pour un sujet, les urines soient réellement stériles si le résultat est négatif. La VPP est médiocre ici (24%), la VPN en revanche est élevée (98%).

Indices d’efficacité du test bandelette Multistix® (8) L’indice de Youden (J) La proportion des sujets bien classés ( BC) Les rapports de vraisemblance positif et négatif

L'indice de Youden bandelette Multistix® (9) J = Sensibilité + Spécificité - 1 Il varie donc de (-1) à (+1). Si J ≤ 0, le test n'a aucune valeur informationnelle. Le test est d'autant meilleur que l'indice de Youden est proche de 1. Dans notre exemple : J = 0.42

La proportion de sujets bien classés bandelette Multistix® (10) Échantillon total N=14 235 Maladie + (a+c)=2079 Maladie – (b+d)=12 156 Prévalence (a+c)/(a+b+c+d) =14,6% Test + (a+b) Vrai positifs (VP) A=2079-93=1986 Faux positifs (FP) B=6411 Valeur prédictive positive a/(a+b)= 24% Test – (c+d) Faux négatifs (FN) C=93 Vrai négatifs (VN) D=5745 Valeur prédictive négative d/(c+d)= 98% Sensibilité a /(a+c)= 95% Spécificité d /(b+d)= 47% Valeur globale du test (a+d)/(a+b+c+d)=54% C’est-à-dire dans la bonne catégorie : c'est l'effectif des vrais positifs et des vrais négatifs rapporté à l'effectif de l'échantillon étudié. Ici, il y a (VP + VN)/Total = (1986+5745)/14235 = 54 %

Rapports de vraisemblance bandelette Multistix® (11) Rapport de vraisemblance + = Se/(1-Sp) = (VP/malades)/(FP/non malades) = 0.95/(1- 0.47) = 1.79. Ainsi un sujet a 1.79 fois plus de risque d'avoir une infection s'il a un test positif que s'il n’en a pas. Rapport de vraisemblance - = (1-Se)/Sp = (FN/malades)/(VN/non malades) = (1-0.95)/0.47 = 0.1, le sujet a donc très peu de chances d’avoir d’infection s’il a un négatif.

Conclusion bandelette Multistix® (12) La bandelette urinaire est un test d’élimination, par : sa sensibilité très élevée ( 95 %) et sa VPN très élevée ( 98 %), si elle est négative, on est sûr qu’il n’y a pas d’infection et qu’il n’ y a pas nécessité de réaliser un ECBU