La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy.

Présentations similaires


Présentation au sujet: "Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy."— Transcription de la présentation:

1 Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy

2 5 critères de qualité d'un test Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

3 5 critères de qualité d'un test Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

4 Bonne qualité technique Domaine technique La technique mesure-t-elle ce qu'elle est censée mesurer? Est-elle exacte (absence d'erreur systématique) ? Est-elle précise (faible variabilité) ? L'examen est-il facile à exécuter correctement?

5 5 critères de qualité d'un test Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

6 Interprétation reproductible Reproductibilité de l'examen –Au même endroit ou dans des lieux différents Reproductibilité du jugement –Variabilité inter et intra-observateur Coefficient d'agrément Kappa

7 Index d'agrément entre deux observateurs Varie de -1 à +1 Vaut 0 lorsque la concordance de réponse est due au hasard Tend vers -1 : discordance d'interprétation Tend vers +1 : concordance d'interprétation

8 Coefficient d'agrément Kappa Observ 2 PrésentAbsentTotal Présentabp1=a+b Observ 1Absentcdq1=c+d Totalp2=a+cq2=b+dn=a+b+c+d p0 = proportion d'agrément observé = (a + d)/n pe = proportion d'agrément attendu = [(p1 x p2) + (q1 x q2)]/n Kappa = (p0 - pe)/(1 - pe) Inconvénient = dépend de la prévalence de la maladie

9 5 critères de qualité d'un test Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

10 Information valide Problème de la valeur-seuil d'un examen Examen clinique donne une estimation des "chances" qu'a le sujet d'être atteint de la maladie Examen complémentaire : modifie les probabilités afin d'estimer en fonction des résultats le risque d'être malade ou pas –Dépend des qualités intrinsèques du test (sensibilité et spécificité) –Dépend de la prévalence de la maladie (probabilité primaire ou à priori)

11 Information valide D'où la nécessité d'être très précis sur –la définition du signe –La définition des patients –La définition des malades et non-malades

12 Variable qualitative 1 0 Positif Evènement Négatif Non-Evènement Définition du signe

13 Probabilité 1 0,5 0 Seuil Positif Négatif Evènement Non-Evènement Définition du signe Variable quantitative

14 Définition des patients Population cible = Population susceptible de bénéficier de cet examen

15 Définition des malades-non malades Examen comparé avec le diagnostic réel Gold standard, diagnostic béton… Examen de référence ou anapath ou consensus!!! L'examen de référence peut lui même être entaché d'erreur L'examen de référence doit être indépendant de l'examen évalué et le résultat non connu

16 Expression des résultats d'une évaluation Signe binaire (variable qualitative) Sensibilité Spécificité Signe à valeur continue (variable quantitative) Courbes ROC

17 Malades Sains Test +ab Test - cd Prévalence de la maladie : Malades/Cohorte p = a + c / a + b + c + d Tableau de contingence

18 Test + Test - Malades Sains VP VN FP FN Sensibilité = VP/ VP + FN prop de résultats anormaux chez malades Spécificité = VN / VN + FP prop de résultats normaux chez non-malades Tableau de contingence

19 Se Sp Avantages/inconvénients Mesures indépendantes de la prévalence Utilisables pour dépistage (prévalence faible) ou diagnostic (prévalence + élevée) Sensibilité = VP/ VP + FN Spécificité = VN / VN + FP Pas utilisable en tant que tel Le résultat de l'examen modifie-t-il la prob de maladie ? Donc utiliser des valeurs prédictives

20 Test + Test - Malades Sains VP VN FP FN VPP = VP/ VP + FP Prob qu'un sujet soit malade si examen + VPN= VN / VN + FN Prob qu'un sujet soit non-malade si examen - Tableau de contingence

21 VPP = VP/ VP + FP VPP = Se / [Se + (1-Sp) x (1- p)/p] VPN = VN / VN + FN VPN = Sp / [Sp + (1-Se) x p / (1-p)] Dépendent de Se, Sp et p de la maladie Valeurs prédictives calculées valables que dans un environnement où la prévalence est identique à celle de l'étude

22 ROLE DE LA PREVALENCE TEST Se = 90 %; Sp= 90 % Prévalence VPPVPN 9 %47 %99 % 50 %90 %90 % 90 %99 %99 %

23 Intervalles de confiance (IC) Tests réalisés sur des échantillons de population et non pas sur la population totale Etablir IC en choisissant un risque derreur que la valeur réelle dans la population ne soit pas dans IC de la valeur déterminée sur léchantillon. Par convention, un intervalle de confiance à 95% est utilisé

24 Intervalles de confiance (IC) m= nombre de malades n= nombre de non-malades IC 99% remplacer 1,96 par 2,576 IC 99,9% remplacer 1,96 par 3,290

25 malades/TotalSe (%)IC 95 % 10/2090 %71, /20090 %84,1-95,9 1000/ %88,1-91,9

26 Cas des variables quantitatives COURBES ROC Receiver Operating Characteristic Curve

27 Prob 1 0,5 0 Seuil Positif Négatif X X X X Valeurs seuils arbitraires (Se 1,Sp 1 ) (Se 3 Sp 3 ) (Se 2,Sp 2 ) (Se 4,Sp 4 ) Par rapport à un examen de référence

28 Seuil Prob 1 0,5 0 X X X X Seuil Se réduite Sp accrue Seuil Se accrue Sp réduite

29 Spécificité (Faux positifs) Sensibilité (Vrais positifs)

30 M+ M- p 1 > S VP FP p 1 <= S FN VN Seuil = 0.2 Seuil = 0.4 Seuil = 0.6 M+ M- p 1 > S VP FP p 1 <= S FN VN M+ M- p 1 > S VP FP p 1 <= S FN VN Sensibilité Spécificité (taux de faux positifs) Seuil =0.2 Seuil =0.4 Seuil =0.6

31 Avantages des courbes ROC Pas d'hypothèse sur le seuil Analyse globale des VP et VN Index habituel d'évaluation du test AUC

32 Discrimination parfaite Pratique clinique Pas de discrimination Sensibilité Spécificité (taux de faux positifs) Plus l'aire est grande Plus le test apporte d'information Quelque soit le seuil choisi

33

34 A method of comparing the areas under receiver operating characteristics curves derived from the same cases Hanley JA, McNeil BJ Radiology 1983; 148:

35 Predictive performance of three methods on validation sample 0 0 0,2 0,4 0,6 0, Specificity 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Sensitivity : AUC = 0,766,:AUC=0770,:AUC=0772 : AUC = 0,777

36 Choix du seuil Dépend de l'utilisation de l'examen Privilégier la sensibilité = Dépistage Privilégier la spécificité = Diagnostic de certitude

37 Choix du seuil Minimiser la distance par rapport au point idéal: Se=Sp= Sensibilité Spécificité (taux de faux positifs)

38 5 critères de qualité d'un test Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

39 QUELLE PRIORITE ? Dépister les patients malades (Sensibilité) Exclure les patients non malades certitude diagn (Spécificité) Exactitude de la mesure (Bien classés)

40 Indices de synthèse Visent à établir la valeur d'un test: Exactitude Test de Younden Rapport de vraisemblance

41 Exactitude (E) Test + Test - Malades Sains VP VN FP FN Exactitude=Bien classés = VP+VN /VP+VN+FP+FN % résultats exacts, cad VP et VN par rapport à la cohorte Varie de 0 à 1 1 correspondant à une absence de FP et de FN Un tirage au sort correspond à 0,5

42 Addition des 2 qualités du test : Se et Sp J (en %)= Se +Sp-100 Varie de –1 à 1 0= pas dorientation diagnostique Cet indice est peu utilisé Indice de Youden (J)

43 Les rapports de vraisemblance ("likelihood ratios") sont des indices qui facilitent le calcul de la probabilité post test de maladie. Ils correspondent, pour un résultat d'examen donné, au rapport de la probabilité d'être malade sur la probabilité de ne pas l'être. Il varie donc selon que le résultat de l'examen diagnostique est positif ou négatif. Rapport de vraisemblance (LR)

44 28 ans, douleur thoracique Pré-testScintigraphie Post-test 0,20Probabilité élevée0,82 0,20Probabilité intermédiaire0,23 0,20Probabilité faible0,08 0,20Normale0,02

45 78 ans, douleur thoracique PO Pré-testScintigraphie Post-test 0,70Probabilité élevée0,97 0,70Probabilité intermédiaire0,74 0,70Probabilité faible0,46 0,70Normale0,19

46 Rapport de vraisemblance L'ampleur du changement de la probabilité de maladie que l'on avait avant le test par rapport à celle que l'on obtient après le test varie selon le rapport de vraisemblance. Plus le rapport de vraisemblance d'un test positif est grand et plus le rapport de vraisemblance d'un test négatif est petit, plus le test est utile cliniquement.

47 Rapport de vraisemblance Le rapport de vraisemblance d'un test positif L = Se/(1-Sp) Varie de 0 (Se nulle) à linfini (Sp tend vers 1) Plus LR sécarte de la valeur 1, (plus le rapport L est élevé, plus il nous permet de confirmer la maladie)

48 Rapport de vraisemblance Le rapport de vraisemblance d'un test négatif _ = (1-Se)/Sp Rapport négatif nul quand Se = 1 Test totalement spécifique (pathognomonique), _ est égal à 1-Se Plus _ est petit, plus il permet d'exclure la maladie.

49 Rapport de vraisemblance L_Changement entre la prob prétest et posttest d'avoir la maladie <0,1 0,1-0,2 0,2-0,5 0,5-1 1 Important Modéré Faible mais parfois significatif Faible rarement significatif Aucun

50 Pour résumer, la valeur diagnostique dun test est dautant plus grande que Lindice de Youden est proche de 1 Lapport diagnostique dun résultat positif du test est dautant plus grand que L est plus élevé Lapport diagnostique dun résultat négatif dautant plus grand que _ est petit et proche de 0

51 Quel est le meilleur examen ? Sensibilité = 50 %; Spécificité = 50% Sensibilité=10%; Spécificité = 90% Sensibilité=90%; Spécificité=10%

52 Test + Test - Malades Sains 50 Quel est le meilleur examen ? EYL_ 0,5011 Se=50 %Sp=50%

53 Test + Test - Malades Sains Quel est le meilleur examen ? EYL_ 0,5011 Se=10% Sp=90%

54 Test + Test - Malades Sains Quel est le meilleur examen ? EYL_ 0,5011 Se=90 %Sp=10%


Télécharger ppt "Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy."

Présentations similaires


Annonces Google