GTS813: cours #6 Évaluation d’une mesure (Validité, Répétabilité, Fiabilité, précision) Activité. Études de cas #2: Qui pose la question? La question est-elle.

Présentation au sujet: "GTS813: cours #6 Évaluation d’une mesure (Validité, Répétabilité, Fiabilité, précision) Activité. Études de cas #2: Qui pose la question? La question est-elle."— Transcription de la présentation:

1 GTS813: cours #6 Évaluation d’une mesure (Validité, Répétabilité, Fiabilité, précision) Activité. Études de cas #2: Qui pose la question? La question est-elle claire?

2 Concepts de base Pourquoi évaluer un instrument de mesure?
Nouvel instrument Instrument existant Validité Apparente : Test la bonne chose? De contenu : Tient compte de tout? Fidélité Répétabilité Indice compris entre 0 et 1 Stabilité Test-retest Homogénéité Consistence

3 Concepts de base Formes empiriques de validité
D’autres échelles existent Validité concourante Pourquoi en développer une nouvelle? Pourquoi comparer à l’ancienne? Validité prédictive Aucune autre mesure n’existe Validité de construit Test du taux de sucre

4 Concepts de base Deux traditions d’évaluation
Modèle catégorique | Modèle dimensionnel Réduction de l’erreur de mesure Formation, connaissances, expérience S’assurer de la cohérence Les choses changent pourtant. On commence à traiter les maladies dans leur ensemble et on traite plusieurs aspect en même temps. On en vient à vouloir mesurer des taux en continu, comme la pression sanguine et on a une approche moins dichotomique. La réduction de l’erreur de mesure: L’erreur de mesure est réduite grâce à la formation, les connaissances pour conduire une bonne entrevue, et surtout l’expérience clinique. En psychométrie, ce sont les patients qui rapportent eux même les informations. L’erreur peut se situer alors au niveau de la transcription, de la compréhension de la question… on remédie à ce type d’erreur en multipliant les items qui couvrent la même dimension et en s’assurant de leur cohérence

5 Fidélité Erreur systématique et aléatoire Fidélité vs exactitude

6 Fidélité Patient Obs.1 Obs.2 Obs3 Moyenne 1 6 7 8 7.0 2 4 5 5.0 3 2.0
4.0 9 10 9.0 6.0 8.0 6.00 Calculs

7 Fidélité Inter et intra-observateur Test-retest
Signification des résultats Test-retest Pourquoi faire un test-retest?

8 Différents coefficients de fidélité
Correlation de Pearson Coeffeicient Kappa Méthode de Bland et Altman Coefficient par corrélations multiples (CMC)

9 Différents coefficients de fidélité
Corrélation de Pearson Cherche une relation linéaire Surestime généralement la fidélité Prend un Pearson par paire d’observateurs Version pour valeurs continues : CMC CMC vs ICC

10 Différents coefficients de fidélité
Coefficient Kappa

11 Interprétation Fidélité et erreur standard de mesure Signification

12 Interprétation Différence attendue lors d’un re-test

13 Interprétation Est-ce que la fidélité est acceptable?
Fidélité s’applique à une population donnée 100 personnes testées, classées. Une personne classée 25, l’autre 50. r = 0  50% d’être inversé si on recommence r = 0.5  37% r = 0.8  20% r = 0.95  2.2%

14 Améliorer la fidélité Façon d’améliorer la fidélité:
Entraînement des observateurs Utiliser une population moins homogène (non légitime) Augmenter la taille de l’échantillon Variance augmente comme le carré du nombre d’items Variance de l’erreur augmente avec le nombre d’items

15 Calculer la taille de l’échantillon

16 Théorie de la généralisabilité
La fidélité trouvée est pour une variante et s’applique à la population utilisée Comment connaître LA fidélité? Refaire une étude de fidélité pour chaque source de variabilité?

17 Théorie de la généralisabilité
Identifier les sources d’erreur Déterminer l’influence de chacune Études de généralisabilité Facettes Différentiation Généralisation Fixes Études de décision

18 Théorie de la généralisabilité
Exemple: Thérapeute, occasions et patients Design expérimental Patient Obs1 Obs 2 Obs 3 jour1 jour5 Jour5 1 2 3 4 5 6 7 … 10

19 Théorie de la généralisabilité
Source Somme des carrés d.f Mean Square Expected mean square Patients(p) 3915 9 435 Day(d) 815 1 DayXpatients(dp) 585 65 Observer(o) 960 2 480 Observerxpatient (op) 540 18 30 Dayxobserver(do) 340 170 DayXObsXPatient(dop) 360 20

20 Théorie de la généralisabilité
Coefficient de généralisabilité inter-observateur Coefficient de généralisabilité test-retest Coefficient de généralisabilité

21 Validité Concept de validité Validité de contenu
Validité critérielle (criterion validity) Validité de construit (construct validity)

22 Validité de contenu Est-ce qu’on tient compte de tout?
Notion d’inférence On tire d’une proposition considérée comme vraie, une autre proposition dont la vérité n’est pas directement connue. Si on réduit le nombre d’items pour augmenter la fidélité, les inférences peuvent diminuer la validité de contenu

23 Validité critérielle Corrélation de l’échelle avec une mesure, idéalement un « golden standard » Validité prédictive Le pronostique se vérifie ou non Plus difficile en sciences humaines Mesure doit posséder 4 qualités: En relation avec la chose prédite Pas de biais Fidèle Facile à obtenir Validité concourante Établie à partir d’un critère actuel éprouvé

24 Validité critérielle Question: pourquoi développer une nouvelle mesure s’il existe un golden standard? Argent (marché lucratif) Renommée Penser que ce qui existe n’est pas bien Ce qui existe est cher, invasif, dangereux, prend beaucoup de temps Résultats disponibles trop tard

25 Mesurer la validité Résultats des rayons X TB No TB Mantoux test a b c

26 Validité de construit Basée sur des hypothèses (contruits)
Construit est nouveau Échelles existantes ne sont pas suffisantes On teste à la fois l’hypothèse et la mesure Méthodes Groupes extrêmes Validité convergente et validité discriminante Méthode multitrait-matrice multi-méthodes

27 Biais dans la détermination de la validité
Réduction de l’étendue de la mesure Importance de bien choisir le contexte

28 Mesurer le changement Le but de mesurer le changement (linn et Slinde, 1977) Mesurer la différence entre individus dans l’amplitude du changement Identifier des corrélations entre des éléments et le changement Déduire des effets de traitements à partir de différences entre groupes

29 Mesurer le changement Pourquoi ne pas mesurer le changement directement? Dans le contexte d’une mesure qualitative Tendance à sous-estimer l’état de départ donc surestimer le traitement Tendance à être influencé par l’état actuel

30 Mesures d’association – fidélité et sensibilité au changement
Patient Avant Après 2sem Moy Changement 1 150 144 147 -6 2 120 112 116 -8 3 110 108 109 -2 4 140 142 141 +2 5 138 132 135 6 114 -4 Moyenne 129 125 127 -4.0

31 Sensibilité au changement