Faculté de médecine Bureau dévaluation Quelques biais possibles liés aux évaluateurs dans lutilisation des échelles dappréciation Serge Normand, M.A. Octobre 2007

Évaluer la compétence clinique Most patient encounters require the practitioner to integrate and perform at least 10 separate components capabilities. 16 hours of performance observation across a variety of clinical situations is necessary to achieve reproducible estimates of clinical competence. All reports agree that somewhere between 7 and 11 ratings are necessary to achieve a generalizable global estimate of competence when raters are basing ratings on a nonsystematic sample of observations. Williams, R.G. et al., Cognitive, Social and Environmental Sources of Bias in Clinical performance Ratings, Teach Learn Med 2003;15 (4):270-92

Évaluer la compétence clinique Être sensible aux biais de lévaluation

Threats to the validity of clinical teaching assessments : What about rater error ? Downing, S.M., Medical Education, 2005 In most studies, the variance of raters ( nested in persons or students ) is the largest variance component, typically in the 80-90% range. For example, in a recent study by Kreiter and Ferguson an average of 89% of the total variance was attributable to raters (nested in persons), while only about 10% of the total variance was due the main effect of persons.

Erreur de clémenceError of Leniency + - Je « sympathise » avec lui Je « m identifie » à lui Je tente de corriger ce biais

Erreur de clémenceError of Leniency BonTrès bonExcellentMoyenFaible Correctif

Effet centripèteThe Error of Central Tendency Tendance des examinateurs à ne pas vouloir porter des jugements extrêmes

Effet de haloThe Halo Effect

Effet de haloThe Halo Effect

Erreur de logiqueA Logical Error Lexaminateur présume quil existe une relation entre deux variables. Si la première est telle, la seconde sera semblable.

Erreur par contrasteA Contrast Error Moins que moi Plus que moi

Effet de proximitéA proximity Error Si un observateur évalue deux facteurs différents, lévaluation de lun a tendance à influencer lautre, dautant plus que le laps de temps entre les deux évaluations est plus court.

Downing, S.M., Threats to the validity of clinical teaching assessments : What about rater error ?, Medical Education 2005;30: Guilford, J.P., Psychometric Methods, McGraw-Hill Book, New York, 1954, 597p. Williams, R.G. et al., Cognitive, Social and Environmental Sources of Bias in Clinical performance Ratings, Teach Learn Med 2003;15 (4): (pdf)pdf Bibliographie

Diaporama Documentation Merci de votre attention !