GTS813: cours #6 Évaluation d’une mesure (Validité, Répétabilité, Fiabilité, précision) Activité. Études de cas #2: Qui pose la question? La question est-elle claire?

Concepts de base Pourquoi évaluer un instrument de mesure? Nouvel instrument Instrument existant Validité Apparente : Test la bonne chose? De contenu : Tient compte de tout? Fidélité Répétabilité Indice compris entre 0 et 1 Stabilité Test-retest Homogénéité Consistence

Concepts de base Formes empiriques de validité D’autres échelles existent Validité concourante Pourquoi en développer une nouvelle? Pourquoi comparer à l’ancienne? Validité prédictive Aucune autre mesure n’existe Validité de construit Test du taux de sucre

Concepts de base Deux traditions d’évaluation Modèle catégorique | Modèle dimensionnel Réduction de l’erreur de mesure Formation, connaissances, expérience S’assurer de la cohérence Les choses changent pourtant. On commence à traiter les maladies dans leur ensemble et on traite plusieurs aspect en même temps. On en vient à vouloir mesurer des taux en continu, comme la pression sanguine et on a une approche moins dichotomique. La réduction de l’erreur de mesure: L’erreur de mesure est réduite grâce à la formation, les connaissances pour conduire une bonne entrevue, et surtout l’expérience clinique. En psychométrie, ce sont les patients qui rapportent eux même les informations. L’erreur peut se situer alors au niveau de la transcription, de la compréhension de la question… on remédie à ce type d’erreur en multipliant les items qui couvrent la même dimension et en s’assurant de leur cohérence

Fidélité Erreur systématique et aléatoire Fidélité vs exactitude

Fidélité Patient Obs.1 Obs.2 Obs3 Moyenne 1 6 7 8 7.0 2 4 5 5.0 3 2.0 4.0 9 10 9.0 6.0 8.0 6.00 Calculs

Fidélité Inter et intra-observateur Test-retest Signification des résultats Test-retest Pourquoi faire un test-retest?

Différents coefficients de fidélité Correlation de Pearson Coeffeicient Kappa Méthode de Bland et Altman Coefficient par corrélations multiples (CMC)

Différents coefficients de fidélité Corrélation de Pearson Cherche une relation linéaire Surestime généralement la fidélité Prend un Pearson par paire d’observateurs Version pour valeurs continues : CMC CMC vs ICC

Différents coefficients de fidélité Coefficient Kappa

Interprétation Fidélité et erreur standard de mesure Signification

Interprétation Différence attendue lors d’un re-test

Interprétation Est-ce que la fidélité est acceptable? Fidélité s’applique à une population donnée 100 personnes testées, classées. Une personne classée 25, l’autre 50. r = 0  50% d’être inversé si on recommence r = 0.5  37% r = 0.8  20% r = 0.95  2.2%

Améliorer la fidélité Façon d’améliorer la fidélité: Entraînement des observateurs Utiliser une population moins homogène (non légitime) Augmenter la taille de l’échantillon Variance augmente comme le carré du nombre d’items Variance de l’erreur augmente avec le nombre d’items

Calculer la taille de l’échantillon

Théorie de la généralisabilité La fidélité trouvée est pour une variante et s’applique à la population utilisée Comment connaître LA fidélité? Refaire une étude de fidélité pour chaque source de variabilité?

Théorie de la généralisabilité Identifier les sources d’erreur Déterminer l’influence de chacune Études de généralisabilité Facettes Différentiation Généralisation Fixes Études de décision

Théorie de la généralisabilité Exemple: Thérapeute, occasions et patients Design expérimental Patient Obs1 Obs 2 Obs 3 jour1 jour5 Jour5 1 2 3 4 5 6 7 … 10

Théorie de la généralisabilité Source Somme des carrés d.f Mean Square Expected mean square Patients(p) 3915 9 435 Day(d) 815 1 DayXpatients(dp) 585 65 Observer(o) 960 2 480 Observerxpatient (op) 540 18 30 Dayxobserver(do) 340 170 DayXObsXPatient(dop) 360 20

Théorie de la généralisabilité Coefficient de généralisabilité inter-observateur Coefficient de généralisabilité test-retest Coefficient de généralisabilité

Validité Concept de validité Validité de contenu Validité critérielle (criterion validity) Validité de construit (construct validity)

Validité de contenu Est-ce qu’on tient compte de tout? Notion d’inférence On tire d’une proposition considérée comme vraie, une autre proposition dont la vérité n’est pas directement connue. Si on réduit le nombre d’items pour augmenter la fidélité, les inférences peuvent diminuer la validité de contenu

Validité critérielle Corrélation de l’échelle avec une mesure, idéalement un « golden standard » Validité prédictive Le pronostique se vérifie ou non Plus difficile en sciences humaines Mesure doit posséder 4 qualités: En relation avec la chose prédite Pas de biais Fidèle Facile à obtenir Validité concourante Établie à partir d’un critère actuel éprouvé

Validité critérielle Question: pourquoi développer une nouvelle mesure s’il existe un golden standard? Argent (marché lucratif) Renommée Penser que ce qui existe n’est pas bien Ce qui existe est cher, invasif, dangereux, prend beaucoup de temps Résultats disponibles trop tard

Mesurer la validité Résultats des rayons X TB No TB Mantoux test a b c

Validité de construit Basée sur des hypothèses (contruits) Construit est nouveau Échelles existantes ne sont pas suffisantes On teste à la fois l’hypothèse et la mesure Méthodes Groupes extrêmes Validité convergente et validité discriminante Méthode multitrait-matrice multi-méthodes

Biais dans la détermination de la validité Réduction de l’étendue de la mesure Importance de bien choisir le contexte

Mesurer le changement Le but de mesurer le changement (linn et Slinde, 1977) Mesurer la différence entre individus dans l’amplitude du changement Identifier des corrélations entre des éléments et le changement Déduire des effets de traitements à partir de différences entre groupes

Mesurer le changement Pourquoi ne pas mesurer le changement directement? Dans le contexte d’une mesure qualitative Tendance à sous-estimer l’état de départ donc surestimer le traitement Tendance à être influencé par l’état actuel

Mesures d’association – fidélité et sensibilité au changement Patient Avant Après 2sem Moy Changement 1 150 144 147 -6 2 120 112 116 -8 3 110 108 109 -2 4 140 142 141 +2 5 138 132 135 6 114 -4 Moyenne 129 125 127 -4.0

Sensibilité au changement