Procédures de diagnostic et de dépistage

Présentation au sujet: "Procédures de diagnostic et de dépistage"— Transcription de la présentation:

1 Procédures de diagnostic et de dépistage
Emmanuel Lorne

2 But d’une procédure de diagnostic
Étudier la validité d’un nouvel examen diagnostique par rapport à un ou des examens de références (gold standard)

3 5 critères de qualité d'un test
Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

4 Bonne qualité technique
La technique mesure-t-elle ce qu'elle est censée mesurer ? Est-elle exacte ? (absence d'erreur systématique) Est-elle précise (faible variabilité) ? L'examen est-il facile à exécuter correctement?

5 Interprétation reproductible
Reproductibilité de l'examen Au même endroit ou dans des lieux différents Reproductibilité du jugement Variabilité inter et intra-observateur: Coefficient d'agrément Kappa Questions a se poser: La reproductibilité (fiabilité) du test est-elle analysée?

6 Coefficient d'agrément Kappa
Index d'agrément entre plusieurs observateurs Varie de -1 à +1 Vaut 0 lorsque la concordance de réponse est due au hasard Tend vers -1 : discordance d'interprétation Tend vers +1 : concordance d'interprétation

7 Coefficient d'agrément Kappa
p0 = proportion d'agrément observé = (a + d)/n pe = proportion d'agrément attendu = [(p1 x p2) + (q1 x q2)]/n Kappa = (p0 - pe)/(1 - pe) Inconvénient = dépend de la prévalence de la maladie

8 Information valide Problème de la valeur-seuil d'un examen
Examen clinique donne une estimation des "chances" qu'a le sujet d'être atteint de la maladie Examen complémentaire : modifie les probabilités afin d'estimer en fonction des résultats le risque d'être malade ou pas Dépend des qualités intrinsèques du test (sensibilité et spécificité) Dépend de la prévalence de la maladie (probabilité primaire ou à priori)

9 Information valide D'où la nécessité d'être très précis sur:
la définition du signe La définition des patients La définition des malades et non malades

10 Définition du signe Variable qualitative 1 Positif Evènement
 Non-Evènement Négatif 5

11 Définition du signe Variable quantitative Seuil 1 Evènement Positif
 0,5 Seuil Négatif Non-Evènement 5

12 Définition des patients
Quelle est la population cible ➡ Population susceptible de bénéficier de cet examen Questions a se poser: La méthode de sélection des patients est-elle décrite? La population décrite correspond-elle à la population dans laquelle va s’appliquer le test? La fréquence de la maladie dans l’échantillon étudié correspond-elle aux données épidémiologiques connues?

13 Définition des malades-non malades
Examen comparé avec le diagnostic réel : Gold standard Examen de référence ou anapath ou consensus!!! L'examen de référence peut lui même être entaché d'erreur L'examen de référence doit être indépendant de l'examen évalué et le résultat non connu Questions a se poser: Le test étudié est-il comparé à un test de référence fiable et validé, déterminé a priori? La méthodologie du test est-elle décrite pour pouvoir être reproduite?

14 Expression des résultats d’une évaluation
Signe binaire (variable qualitative): ➡ Sensibilité et Spécificité Signe à valeur continue (variable quantitative): ➡ Courbe ROC

15 Etude diagnostique • Sensibilité/ Spécificité
– Pour test qualitatif : test(+) / test(‐) – Ne dépend pas de la prévalence de la maladie • Valeurs prédictives – négative – positive – Dépendent de la prévalence de la maladie • Courbe ROC (receiver operating characteristics) – Pour test quantitatif (seuils, gradation …) – Alternative : donner la sensibilité et la spécificité pour tous les seuils = si le patient est malade, que détecte le test ? VP = si le test est (+) ou (-), que devient le patient ?

16 Table de contingence Échantillon total Maladie + Maladie - Test +

17 Table de contingence Échantillon total Maladie + Maladie - Test +
Vrai positifs (VP) Faux positifs (FP) Test - Faux négatifs (FN) Vrai négatifs (VN)

18 Table de contingence Échantillon total Maladie + (a+c) Maladie – (b+d)
Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Si ce tableau ne peut être construit à partir des données fournies, l’étude est inutile

19 Sensibilité : taux de vrai sujets positif parmi les sujets malades
Échantillon total Maladie + (a+c) Maladie – (b+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c)

20 Spécificité : taux de vrais négatifs parmi les sujets non malades
Échantillon total Maladie + (a+c) Maladie – (b+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c) Spécificité d /(b+d)

21 Intervalles de confiance
Tests réalisés sur des échantillons de population et non pas sur la population totale Etablir IC en choisissant un risque d’erreur que la valeur réelle dans la population ne soit pas dans IC de la valeur déterminée sur l’échantillon . Par convention, un intervalle de confiance à 95% est utilisé

22 Intervalles de confiance
m = nombre de malades n = nombre de non-malades IC 99% remplacer 1,96 par 2,576 IC 99,9% remplacer 1,96 par 3,290

23 Intervalles de confiance
Malades / Total Se (%) IC 95% 10 / 20 90% 71,4-100 100/200 84,1-95,9 1000/2000 88,1-91,9

24 Prévalence : nombre de malades au sein de l’échantillon total
Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c) Spécificité d /(b+d)

25 Valeur Prédictive Positive : probabilité qu’un patient signe (+) soit réellement malade
Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Sensibilité a /(a+c) Spécificité d /(b+d)

26 Valeur Prédictive Négative : probabilité qu’un patient signe (-) soit réellement indemne
Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d)

27 Indépendance/dépendance des indices
Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d) Valeur globale du test (a+d)/(a+b+c+d) Dépendants de la prévalence Dépendants du test diagnostic

28 Exemple (1) nitrites en pédiatrie à Ouagadougou (bandelette Multistix®)
Échantillon total N=1100 Maladie + (a+c)=196 Maladie – (b+d)=904 Prévalence (a+c)/(a+b+c+d) =17,8% nitrites+ (a+b) Vrai positifs (VP) A=92 Faux positifs (FP) B=226 Valeur prédictive positive a/(a+b)=66,2% nitrites– (c+d) Faux négatifs (FN) C=104 Vrai négatifs (VN) D=678 Valeur prédictive négative d/(c+d)=57,6% Sensibilité a /(a+c) =47% Spécificité d /(b+d)=75% Valeur globale du test (a+d)/(a+b+c+d) =70%

29 Exemple (2): VIH milieu rural au Niger prévalence = 0,64%
Échantillon total n= Maladie + (a+c)=1995 Maladie – (b+d)=912 Prévalence (a+c)/(a+b+c+d) =0,64% Test + (a+b) Vrai positifs (VP) a=1995 Faux positifs (FP) b=188 Valeur prédictive positive a/(a+b)=91,4% Test – (c+d) Faux négatifs (FN) c=0 Vrai négatifs (VN) d= Valeur prédictive négative d/(c+d)=100% Sensibilité a /(a+c)=100% Spécificité d /(b+d)=99,94% Valeur globale du test (a+d)/(a+b+c+d) Dépendants de la prévalence Dépendants du test diagnostic

30 Exemple (2): VIH milieu urbain au Niger prévalence = 2,08%
Échantillon total n= Maladie + (a+c)=8733 Maladie – (b+d)= Prévalence (a+c)/(a+b+c+d) =2,8% Test + (a+b) Vrai positifs (VP) a=8733 Faux positifs (FP) b=182 Valeur prédictive positive a/(a+b)=97,9% Test – (c+d) Faux négatifs (FN) c=0 Vrai négatifs (VN) d= Valeur prédictive négative d/(c+d)=100% Sensibilité a /(a+c) =100% Spécificité d /(b+d)=99,94% Valeur globale du test (a+d)/(a+b+c+d) Dépendants de la prévalence Dépendants du test diagnostic

31 Indices de synthèse Visent à établir la valeur d'un test: Exactitude
Test de Youden Rapport de vraisemblance

32 Exactitude = bien classés
Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d) Valeur globale du test (a+d)/(a+b+c+d) % résultats exacts , cad VP et VN par rapport à la cohorte Varie de 0 à 1 1 correspondant à une absence de FP et de FN Un tirage au sort correspond à 0,5

33 Indice de Youden (J) Addition des 2 qualités du test :
Sensibilité et Spécificité J (en %)= Se +Sp-100 Varie de –1 à 1 0= pas d’orientation diagnostique Cet indice est peu utilisé

34 Rapports de vraisemblance positif
C’est la vraisemblance que le sujet soit malade lorsque le test est positif Il s’exprime naturellement comme le rapport des taux des test positifs chez les malades (VP/M+) sur les tests positifs chez les non-malades (FP/M-) RVPos = LR+= taux des vrais positifs/taux des faux positifs= Se /(1-Sp) Ce rapport positif varie de 0 (sensibilité nulle) à l’infini (spécificité tend vers 1) Plus RV s’écarte de la valeur 1, plus le test apporte des informations intéressantes

35 Rapports de vraisemblance positif
Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d) Valeur globale du test (a+b)/(a+b+c+d) a a+c a a+c a a+c Se RV pos=taux de VP/Taux FP= = = = b b+d b+d-d b+d -d b+d 1-spé 1-

36 Exemple douleur thoracique à 28 ans et risque d’IDM

37 Exemple douleur thoracique à 78 ans et risque d’IDM

38 Rapports de vraisemblance négatif
C’est la vraisemblance que le sujet soit non malade quand le test est négatif Il s’exprime naturellement comme le rapport les tests négatifs chez les malades sur les tests négatifs chez les non-malades LR-= taux des faux négatifs/taux des vrais négatifs=(1-Se)/Sp Ce rapport négatif est nul quand la sensibilité est de 1. Quand le test est totalement spécifique (pathognomonique), le rapport de vraisemblance négatif est égal à 1-Se

39 Rapports de vraisemblance négatif
Échantillon total Maladie + (a+c) Maladie – (b+d) Prévalence (a+c)/(a+b+c+d) Test + (a+b) Vrai positifs (VP) (a) Faux positifs (FP) (b) Valeur prédictive positive a/(a+b) Test – (c+d) Faux négatifs (FN) (c) Vrai négatifs (VN) (d) Valeur prédictive négative d/(c+d) Sensibilité a /(a+c) Spécificité d /(b+d) Valeur globale du test (a+b)/(a+b+c+d) c a+c c+a-a a+c a a+c 1- 1-Se RV pos=taux de FN/Taux VN= = = = d b+d d b+d d b+d spé

40 Interprétation du rapport de vraisemblance
RVpos RVneg Changement entre la probalité pré-test et post test d’avoir la maladie >10 <0,1 important 5-10 0,1-0,2 modéré 2-5 0,2-0,5 Faible mais parfois intéressant cliniquement 1-2 0,5-1 Faible 1 Aucun Plus le rapport de vraisemblance d'un test positif est grand et plus le rapport de vraisemblance d'un test négatif est petit, plus le test est utile cliniquement.

41 Index de synthèse La valeur diagnostique d’un test est d’autant plus grande que l’indice de Youden est proche de 1 L’apport diagnostique d’un résultat positif du test est d’autant plus grand que LR+ est plus élevé L’apport diagnostique d’un résultat négatif d’autant plus grand que LR- est petit et proche de 0

42 Expression des résultats d’une évaluation
Signe binaire (variable qualitative): ➡ Sensibilité et Spécificité Signe à valeur continue (variable quantitative): ➡ Courbe ROC

43 Variable continue: notion de seuils
Quand un examen est quantitatif Non Malades Malades x Résultat du test

44 Notion de seuils Quand un examen est quantitatif Test très sensible
mais peu spécifique=bcp de FP Non Malades Malades x Résultat du test

45 Notion de seuils Quand un examen est quantitatif Test très spécifique
mais peu sensible =bcp de FN Non Malades Malades x Résultat du test

46 Notion de seuils Quand un examen est quantitatif
Meilleur rapport Se/Sp Non Malades Malades x Résultat du test

47 Exemple Mesure du Qc Delta Qc Mesure du Qc Delta Qc Après remplissage

48 6 5 4 3 2 1 ΔQc<12% ΔQc>12% Non répondeurs Répondeurs Nombre de patients ΔQc PLR%

49 6 5 4 3 2 1 ΔQc<12% ΔQc>12% Non répondeurs Répondeurs Nombre de patients ΔQc PLR%

50 ΔQc<12% ΔQc>12% 6 5 4 3 2 1 Non répondeurs Répondeurs Nombre de patients ΔQc PLR%

51 Courbes ROC (Receiver Operating Characteristics)
Permettent de déterminer le seuil optimal Étudient les variations de spécificité et sensibilité d’un test pour différentes valeurs du seuil de discrimination

52 X Seuil Seuil Seuil Se réduite Sp accrue Se accrue Sp réduite 1
Probabilité 1 0,5 X Seuil Se réduite Sp accrue Seuil Se accrue Sp réduite

53 Sensibilité (Vrais positifs)
. 2 5 7 1 Sensibilité (Vrais positifs) 1-Spécificité (Faux positifs)

54 1- Spécificité (taux de faux positifs)
0.2 0.4 0.6 0.8 1 Sensibilité 1- Spécificité (taux de faux positifs) Seuil =0.2 Seuil =0.4 Seuil =0.6 Pour être discriminent, il suffit que le modèle permette une approximation de p1 qui soit juste par rapport à 0 ou 1: du moment que les classes 0 et 1 sont bien séparée, on ne s’intéresse pas à la valeur précise de p1

55 Courbe ROC 1 Pente=1 Taux de vrai positifs Sensibilité = 1-spécificité
1-spécificité = Taux de faux positif 1

56 Courbe ROC

57 Courbe ROC 1 Pente=1 Taux de vrai positifs Sensibilité = 1-spécificité
1-spécificité = Taux de faux positif 1

58 Courbe ROC RV positif= pente 1 Pente=1 Taux de vrai positifs
Sensibilité = 1-spécificité = Taux de faux positif 1

59 Avantages des courbes ROC
Pas d'hypothèse sur le seuil Analyse globale des VP et VN Index habituel d'évaluation du test = Aire sous la courbe (AUC) Pour qu’un test soit robuste, il faut que AUC≥0,8

60 Exemple de construction de la courbe

61 Exemple de construction de la courbe
Aire sous la courbe= AUC=0,90+/-0,04 . 2 5 7 1 Sensibilité (Vrais positifs) 1-Spécificité (Faux positifs)

62 Exemple de construction de la courbe

63 Exemple de construction de la courbe

64 Exemple de construction de la courbe

65 Exemple de construction de la courbe détermination du seuil pertinent

66 Le test de dépistage Un bon test de dépistage doit :
être fiable et reproductible être facile à appliquer et à accepter par les bien portants (surtout si on doit le répéter assez souvent), n'avoir que peu d'effets secondaires, être de coût modéré. En outre, il doit être efficace, c’est à dire diminuer la mortalité ou la morbidité.

67 On définit un test de dépistage par les valeurs suivantes :
vrais positifs (VP), vrais négatifs (VN), faux positifs (FP), faux négatifs (FN), valeur prédictive positive (VPP) valeur prédictive négative (VPN).

68 Test sensible Doit être préféré si:
Maladie grave et ne peut être ignorée Traitable Importance sanitaire de savoir que l’on a la maladie (pas de FN)

69 Test spécifique Doit être préféré si:
Maladie difficilement curable ou incurable (pas de FP car psychologiquement difficile) Intérêt sanitaire à savoir que l’on a pas la maladie

70 Test à valaur prédictive positive élevée
Doit être préféré si: Traitement des sujets FP aurait des conséquences graves Ex: radiothérapie ou chimiothérapies chez les FP de cancer

71 Test à valeur globale élevée
Doit être préféré si: Maladie sérieuse mais peut être soignée efficacement FP et FN ont des conséquences traumatisantes et entrainent des conséquences graves

72 QUELLE PRIORITE ? Dépister les patients malades (Sensibilité)
Exclure les patients non malades : certitude diagnostique (Spécificité) Exactitude de la mesure (Bien classés)

73 Choix du seuil Privilégier le dépistage :
sensibilité la meilleure Privilégier le diagnostic de certitude: spécificité la meilleure

74 Exemple à partir d’un test qualitatif bandelette Multistix® (1)
Etude multicentrique menée dans 60 hôpitaux en 1989 menée pour évaluer l'efficacité des bandelettes urinaires dans le dépistage de l'infection urinaire.

75 bandelette Multistix® (2)
L’ECBU est l'un des test biologiques les plus couramment demandés à l'hôpital. Les résultats d'une grande partie des prélèvements urinaires analysés sont négatifs lourde charge de travail pour les laboratoires de bactériologie Coût +++

76 bandelette Multistix® (2)
But de l’étude évaluer un nouvel examen de dépistage de l'infection urinaire par bandelettes réactives Infections urinaires détecté par BU par rapport à la méthode de référence : l'ECBU

77 bandelette Multistix® (3)
Définition de l’ECBU positif : pour une bactériurie > 105/ml et une leucocyturie > 104/ml. Le résultat est négatif dans le cas contraire. Définition de la BU positive : si l'un au moins des trois tests, sang, leucocytes et nitrites est positif.

78 bandelette Multistix® (4)
60 centres ont analysé sur 5 mois prélèvements urinaires Analysés par les 2 méthodes Gold standard=ECBU 2079 ECBU+ (dont 93 BU-) BU 8397 BU+ (dont 6411 ECBU-)

79 bandelette Multistix® (5)
Échantillon total N=14 235 Maladie + (a+c)=2079 Maladie – (b+d)=12 156 Prévalence (a+c)/(a+b+c+d) =14,6% Test + (a+b) Vrai positifs (VP) A= =1986 Faux positifs (FP) B=6411 Valeur prédictive positive a/(a+b)= Test – (c+d) Faux négatifs (FN) C=93 Vrai négatifs (VN) D=5745 Valeur prédictive négative d/(c+d)= Sensibilité a /(a+c)= Spécificité d /(b+d)= Valeur globale du test (a+d)/(a+b+c+d) Dépendants de la prévalence Dépendants du test diagnostic

80 bandelette Multistix® (6)
Échantillon total N=14 235 Maladie + (a+c)=2079 Maladie – (b+d)=12 156 Prévalence (a+c)/(a+b+c+d) =14,6% Test + (a+b) Vrai positifs (VP) A= =1986 Faux positifs (FP) B=6411 Valeur prédictive positive a/(a+b)= Test – (c+d) Faux négatifs (FN) C=93 Vrai négatifs (VN) D=5745 Valeur prédictive négative d/(c+d)= Sensibilité a /(a+c)=95% Spécificité d /(b+d)=47% Valeur globale du test (a+d)/(a+b+c+d) Il s’agit donc d’un test sensible mais peu spécifique.

81 bandelette Multistix® (7)
Échantillon total N=14 235 Maladie + (a+c)=2079 Maladie – (b+d)=12 156 Prévalence (a+c)/(a+b+c+d) =14,6% Test + (a+b) Vrai positifs (VP) A= =1986 Faux positifs (FP) B=6411 Valeur prédictive positive a/(a+b)= 24% Test – (c+d) Faux négatifs (FN) C=93 Vrai négatifs (VN) D=5745 Valeur prédictive négative d/(c+d)= 98% Sensibilité a /(a+c)= 95% Spécificité d /(b+d)= 47% Valeur globale du test (a+d)/(a+b+c+d) Dans notre exemple, la VPP du test aux BU correspond à la probabilité qu'un sujet soit réellement infecté si le résultat est positif. La VPN : probabilité que pour un sujet, les urines soient réellement stériles si le résultat est négatif. La VPP est médiocre ici (24%), la VPN en revanche est élevée (98%).

82 Indices d’efficacité du test bandelette Multistix® (8)
L’indice de Youden (J) La proportion des sujets bien classés ( BC) Les rapports de vraisemblance positif et négatif

83 L'indice de Youden bandelette Multistix® (9)
J = Sensibilité + Spécificité - 1 Il varie donc de (-1) à (+1). Si J ≤ 0, le test n'a aucune valeur informationnelle. Le test est d'autant meilleur que l'indice de Youden est proche de 1. Dans notre exemple : J = 0.42

84 La proportion de sujets bien classés bandelette Multistix® (10)
Échantillon total N=14 235 Maladie + (a+c)=2079 Maladie – (b+d)=12 156 Prévalence (a+c)/(a+b+c+d) =14,6% Test + (a+b) Vrai positifs (VP) A= =1986 Faux positifs (FP) B=6411 Valeur prédictive positive a/(a+b)= 24% Test – (c+d) Faux négatifs (FN) C=93 Vrai négatifs (VN) D=5745 Valeur prédictive négative d/(c+d)= 98% Sensibilité a /(a+c)= 95% Spécificité d /(b+d)= 47% Valeur globale du test (a+d)/(a+b+c+d)=54% C’est-à-dire dans la bonne catégorie : c'est l'effectif des vrais positifs et des vrais négatifs rapporté à l'effectif de l'échantillon étudié. Ici, il y a (VP + VN)/Total = ( )/14235 = 54 %

85 Rapports de vraisemblance bandelette Multistix® (11)
Rapport de vraisemblance + = Se/(1-Sp) = (VP/malades)/(FP/non malades) = 0.95/( ) = Ainsi un sujet a 1.79 fois plus de risque d'avoir une infection s'il a un test positif que s'il n’en a pas. Rapport de vraisemblance - = (1-Se)/Sp = (FN/malades)/(VN/non malades) = (1-0.95)/0.47 = 0.1, le sujet a donc très peu de chances d’avoir d’infection s’il a un négatif.

86 Conclusion bandelette Multistix® (12)
La bandelette urinaire est un test d’élimination, par : sa sensibilité très élevée ( 95 %) et sa VPN très élevée ( 98 %), si elle est négative, on est sûr qu’il n’y a pas d’infection et qu’il n’ y a pas nécessité de réaliser un ECBU