5 critères de qualité d'un test

Slides:



Advertisements
Présentations similaires
L’échantillonnage & Ses Fluctuations
Advertisements

Indicateurs de Suivi, Risques & Mesure d’Associations
Base de sondage et Plan de sondage Pres. 5
Diagnostic et suivi virologique de l ’infection par le VIH
STATISTIQUE INFERENTIELLE L ’ESTIMATION
But de la lecture critique
Risques d’erreur statistique et test statistique
Test statistique : principe
Comment évaluer la valeur d’un examen complémentaire?
Évaluation des examens complémentaires dans la démarche médicale : Prescriptions utiles et inutiles F. KOHLER.
Lecture d’article. Evaluation diagnostique
Évaluation des examens complémentaires dans la démarche médicale : Prescriptions utiles et inutiles F. KOHLER (septembre 2005)
Inférence statistique
Inférence statistique
Les TESTS STATISTIQUES
Pr. François Kohler Probabilités Pr. François Kohler
Tests de comparaison de pourcentages
Nombre de sujets nécessaires en recherche clinique
Les TESTS STATISTIQUES
Échantillonnage-Estimation
Dr DEVILLE Emmanuelle J D V 12/07/2006
Tests de dépistage biologiques : Sensibilité, spécificité, valeur prédictive Jeremy Chobriat ( ENC 2005 )
Les tests d’hypothèses
Discrimination Validation
Les Biais Item 14°) Relever les biais discutés. Rechercher d’autres biais non pris en compte dans la discussion et Relever leurs conséquences Dr Marie-Christine.
Les tests diagnostiques. Dépistage / Confirmation
Valeurs diagnostiques des examens complémentaires (imagerie, biologie…) F. KOHLER N’Djamena 2011.
Probabilités et statistique en TS
Intervalle de confiance pour p en %
Christelle Scharff IFI 2004
Autres LOIS de PROBABILITES
Zone de rejet et scoring
Applications des statistiques
Dépistage de masse, dépistage individuel Démarche diagnostique
L’inférence statistique
Nombre de sujets nécessaires en recherche clinique
Échantillonnage (STT-2000)
Faculté de Médecine Lyon-Sud Module Optionnel de préparation à la lecture critique d ’articles Interprétation des tests statistiques.
Cours ‘ Interprétation de la preuve ’ (5)
Clinical Validity of a Negative Computed Tomography Scan in Patients With Suspected Pulmonary Embolism A Systematic Review JAMA 2005 Quiroz R et al Minet.
La corrélation et la régression
La corrélation et la régression
Université dOttawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :47 1 Concepts fondamentaux: statistiques et distributions.
LE DÉPISTAGE GEAPI 14 DMG Poitiers, GEAPI 14 dépistage,
Conduite à tenir devant une intubation difficile prévue ou non
CHAPITRE 2 LES SITUATIONS FONCTIONNELLES
De la prescription à l’exploitation des résultats aux Urgences
HIERARCHISER LES HYPOTHESES DIAGNOSTIQUES
Évaluation des procédures de diagnostic ou de dépistage
Lecture critique d’un essai clinique
Théorème de la limite centrale l’inférence statistique
Probabilités et cannabis
Évaluation des examens complémentaires
Les Techniques d’enquête quantitative
Evaluation multicentrique du dosage semi- quantitatif de la h-FABP (Cardio Detect®) au laboratoire central : intérêt dans le diagnostic de l’infarctus.
Approche fonctionnelle de l'effort par Grip Test
Lecture et présentation d’une étude pronostique
1.  On souhaite comparer deux traitements dans le cadre d’un essai randomisé sur les lombosciatiques :  corticoïdes par infiltrations  placebo  Critère.
D’après un article du Dr Anne Schillings Clinique du sein – Ottignies Glem 19/05/2010.
SENSIBILITE & SPECIFICITE
CHAPITRE 2 LES SITUATIONS FONCTIONNELLES
PERFORMANCES D’UN TEST DIAGNOSTIQUE
ED LCA Dr. GIGNON Année universitaire 2009 / :
Procédures de diagnostic et de dépistage
ED diagnostic et dépistage
Tests relatifs aux variables qualitatives: Tests du Chi-deux.
Evaluation des examens complémentaires dans la démarche médicale
Statistiques: mesures de liaisons tests d’hypothèse
Cours de Biostatistiques 14 avril 2012 Noémi ARDITI Delphine COUDRAY.
LCA UFR SMBH (DCEM)1 Analyse critique d ’articles évaluant l ’intérêt de nouveaux tests à visée diagnostique Alain Venot UFR SMBH Campus virtuel SMBH
Transcription de la présentation:

Elaboration/Evaluation d'un Test Diagnostique Philippe Montravers DAR CHU Jean Verdier Bondy

5 critères de qualité d'un test Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

5 critères de qualité d'un test Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

Bonne qualité technique Domaine technique La technique mesure-t-elle ce qu'elle est censée mesurer? Est-elle exacte (absence d'erreur systématique) ? Est-elle précise (faible variabilité) ? L'examen est-il facile à exécuter correctement?

5 critères de qualité d'un test Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

Interprétation reproductible Reproductibilité de l'examen Au même endroit ou dans des lieux différents Reproductibilité du jugement Variabilité inter et intra-observateur Coefficient d'agrément Kappa

Coefficient d'agrément Kappa Index d'agrément entre deux observateurs Varie de -1 à +1 Vaut 0 lorsque la concordance de réponse est due au hasard Tend vers -1 : discordance d'interprétation Tend vers +1 : concordance d'interprétation

Coefficient d'agrément Kappa Observ 2 Présent Absent Total a b p1=a+b Observ 1 c d q1=c+d p2=a+c q2=b+d n=a+b+c+d p0 = proportion d'agrément observé = (a + d)/n pe = proportion d'agrément attendu = [(p1 x p2) + (q1 x q2)]/n Kappa = (p0 - pe)/(1 - pe) Inconvénient = dépend de la prévalence de la maladie

5 critères de qualité d'un test Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

Information valide Problème de la valeur-seuil d'un examen Examen clinique donne une estimation des "chances" qu'a le sujet d'être atteint de la maladie Examen complémentaire : modifie les probabilités afin d'estimer en fonction des résultats le risque d'être malade ou pas Dépend des qualités intrinsèques du test (sensibilité et spécificité) Dépend de la prévalence de la maladie (probabilité primaire ou à priori)

Information valide D'où la nécessité d'être très précis sur la définition du signe La définition des patients La définition des malades et non-malades

Définition du signe Variable qualitative 1 Positif Evènement Positif Evènement Non-Evènement Négatif 5

Définition du signe Probabilité Variable quantitative Seuil 1 Evènement Positif 0,5 Seuil Négatif Non-Evènement 5

Définition des patients Population cible = Population susceptible de bénéficier de cet examen

Définition des malades-non malades Examen comparé avec le diagnostic réel Gold standard , diagnostic béton… Examen de référence ou anapath ou consensus!!! L'examen de référence peut lui même être entaché d'erreur L'examen de référence doit être indépendant de l'examen évalué et le résultat non connu

Expression des résultats d'une évaluation Signe binaire (variable qualitative) Sensibilité Spécificité Signe à valeur continue (variable quantitative) Courbes ROC 5

Tableau de contingence Malades Sains Test + a b Test - c d Prévalence de la maladie : Malades/Cohorte p = a + c / a + b + c + d

Tableau de contingence Malades Sains Test + Test - VP FP FN VN Sensibilité = VP/ VP + FN prop de résultats anormaux chez malades Spécificité = VN / VN + FP prop de résultats normaux chez non-malades

Se Sp Avantages/inconvénients Sensibilité = VP/ VP + FN Spécificité = VN / VN + FP Mesures indépendantes de la prévalence Utilisables pour dépistage (prévalence faible) ou diagnostic (prévalence + élevée) Pas utilisable en tant que tel Le résultat de l'examen modifie-t-il la prob de maladie ? Donc utiliser des valeurs prédictives

Tableau de contingence Malades Sains Test + Test - VP FP FN VN VPP = VP/ VP + FP Prob qu'un sujet soit malade si examen + VPN= VN / VN + FN Prob qu'un sujet soit non-malade si examen -

VPP = VP/ VP + FP VPP = Se / [Se + (1-Sp) x (1- p)/p] VPN = VN / VN + FN VPN = Sp / [Sp + (1-Se) x p / (1-p)] Dépendent de Se, Sp et p de la maladie Valeurs prédictives calculées valables que dans un environnement où la prévalence est identique à celle de l'étude

ROLE DE LA PREVALENCE TEST Se = 90 %; Sp= 90 % Prévalence VPP VPN 9 % 47 % 99 % 50 % 90 % 90 % 90 % 99 % 99 %

Intervalles de confiance (IC) Tests réalisés sur des échantillons de population et non pas sur la population totale Etablir IC en choisissant un risque d’erreur que la valeur réelle dans la population ne soit pas dans IC de la valeur déterminée sur l’échantillon . Par convention, un intervalle de confiance à 95% est utilisé

Intervalles de confiance (IC) m= nombre de malades n= nombre de non-malades IC 99% remplacer 1,96 par 2,576 IC 99,9% remplacer 1,96 par 3,290

malades/Total Se (%) IC 95 % 10/20 90 % 71,4-100 100/200 90 % 84,1-95,9 1000/2000 90 % 88,1-91,9

Cas des variables quantitatives COURBES ROC Receiver Operating Characteristic Curve

X Valeurs seuils arbitraires Prob Seuil (Se1,Sp1) (Se3 Sp3) (Se2,Sp2) 0,5 Seuil Positif Négatif X (Se1,Sp1) (Se3 Sp3) (Se2,Sp2) (Se4,Sp4) Par rapport à un examen de référence 5

X Prob Seuil Seuil Seuil Se réduite Sp accrue Se accrue Sp réduite 1 0,5 X Seuil Se réduite Sp accrue Seuil Seuil Se accrue Sp réduite

Sensibilité (Vrais positifs) 1 . . 7 5 . 5 . 2 5 . 2 5 . 5 . 7 5 1 . 1-Spécificité (Faux positifs)

1- Spécificité (taux de faux positifs) Seuil = 0.2 0.2 0.4 0.6 0.8 1 Sensibilité 1- Spécificité (taux de faux positifs) Seuil =0.2 Seuil =0.4 Seuil =0.6 M+ M- p1> S VP FP p1 <= S FN VN Seuil = 0.2 M+ M- p1> S VP FP p1 <= S FN VN Pour être discriminent, il suffit que le modèle permette une approximation de p1 qui soit juste par rapport à 0 ou 1: du moment que les classes 0 et 1 sont bien séparée, on ne s’intéresse pas à la valeur précise de p1 Seuil = 0.4 M+ M- p1> S VP FP p1 <= S FN VN Seuil = 0.6

Avantages des courbes ROC Pas d'hypothèse sur le seuil Analyse globale des VP et VN Index habituel d'évaluation du test AUC

Plus le test apporte d'information Discrimination parfaite Pratique clinique Pas de discrimination 0.2 0.4 0.6 0.8 1 Sensibilité 1- Spécificité (taux de faux positifs) Plus l'aire est grande Plus le test apporte d'information Quelque soit le seuil choisi

A method of comparing the areas under receiver operating characteristics curves derived from the same cases Hanley JA, McNeil BJ Radiology 1983; 148: 838-43

P r e d i c t v p f o m a n h s l , 1 2 3 4 5 6 7 8 9 Sensitivity : A , 1 2 3 4 5 6 7 8 9 Sensitivity : A U C = , 7 6 2 1 , 2 , 4 , 6 , 8 1 - S p e c i f t y

Choix du seuil Dépend de l'utilisation de l'examen Privilégier la sensibilité = Dépistage Privilégier la spécificité = Diagnostic de certitude

Choix du seuil 1 Minimiser la distance par rapport au point idéal: Se=Sp=1 0.8 0.6 0.4 Sensibilité 0.2 0.2 0.4 0.6 0.8 1 1- Spécificité (taux de faux positifs)

5 critères de qualité d'un test Bonne qualité technique Interprétation reproductible Information valide Utile à la prise de décision Efficace pour le malade et la population

QUELLE PRIORITE ? Dépister les patients malades (Sensibilité) Exclure les patients non malades certitude diagn (Spécificité) Exactitude de la mesure (Bien classés)

Visent à établir la valeur d'un test: Indices de synthèse Visent à établir la valeur d'un test: Exactitude Test de Younden Rapport de vraisemblance

Exactitude (E) Test + VP FP Test - FN VN Malades Sains Test + Test - VP FP FN VN Exactitude=Bien classés = VP+VN /VP+VN+FP+FN % résultats exacts , cad VP et VN par rapport à la cohorte Varie de 0 à 1 1 correspondant à une absence de FP et de FN Un tirage au sort correspond à 0,5

Indice de Youden (J) Addition des 2 qualités du test : Se et Sp J (en %)= Se +Sp-100 Varie de –1 à 1 0= pas d’orientation diagnostique Cet indice est peu utilisé

Rapport de vraisemblance (LR) Les rapports de vraisemblance ("likelihood ratios") sont des indices qui facilitent le calcul de la probabilité post test de maladie. Ils correspondent, pour un résultat d'examen donné, au rapport de la probabilité d'être malade sur la probabilité de ne pas l'être. Il varie donc selon que le résultat de l'examen diagnostique est positif ou négatif.

28 ans, douleur thoracique Pré-test Scintigraphie Post-test 0,20 Probabilité élevée 0,82 0,20 Probabilité intermédiaire 0,23 0,20 Probabilité faible 0,08 0,20 Normale 0,02

78 ans, douleur thoracique PO Pré-test Scintigraphie Post-test 0,70 Probabilité élevée 0,97 0,70 Probabilité intermédiaire 0,74 0,70 Probabilité faible 0,46 0,70 Normale 0,19

Rapport de vraisemblance L'ampleur du changement de la probabilité de maladie que l'on avait avant le test par rapport à celle que l'on obtient après le test varie selon le rapport de vraisemblance. Plus le rapport de vraisemblance d'un test positif est grand et plus le rapport de vraisemblance d'un test négatif est petit, plus le test est utile cliniquement.

L = Se/(1-Sp) Rapport de vraisemblance Le rapport de vraisemblance d'un test positif L = Se/(1-Sp) Varie de 0 (Se nulle) à l’infini (Sp tend vers 1) Plus LR s’écarte de la valeur 1, (plus le rapport L est élevé, plus il nous permet de confirmer la maladie)

_ = (1-Se)/Sp Rapport de vraisemblance Le rapport de vraisemblance d'un test négatif _ = (1-Se)/Sp Rapport négatif nul quand Se = 1 Test totalement spécifique (pathognomonique), _ est égal à 1-Se Plus _ est petit, plus il permet d'exclure la maladie.

Rapport de vraisemblance _ Changement entre la prob prétest et posttest d'avoir la maladie ≥ 10 5-10 2-5 1-2 1 <0,1 0,1-0,2 0,2-0,5 0,5-1 Important Modéré Faible mais parfois significatif Faible rarement significatif Aucun

Pour résumer, la valeur diagnostique d’un test est d’autant plus grande que L’indice de Youden est proche de 1 L’apport diagnostique d’un résultat positif du test est d’autant plus grand que L est plus élevé L’apport diagnostique d’un résultat négatif d’autant plus grand que _ est petit et proche de 0

Quel est le meilleur examen ? Sensibilité = 50 %; Spécificité = 50% Sensibilité=10%; Spécificité = 90% Sensibilité=90%; Spécificité=10%

Quel est le meilleur examen ? Se=50 %Sp=50% Test + Test - Malades Sains 50 E Y L _ 0,5 0 1 1

Quel est le meilleur examen ? Se=10% Sp=90% Test + Test - Malades Sains 10 90 E Y L _ 0,5 0 1 1

Quel est le meilleur examen ? Se=90 %Sp=10% Test + Test - Malades Sains 90 10 E Y L _ 0,5 0 1 1