Faculté de médecine Bureau dévaluation Quelques biais possibles liés aux évaluateurs dans lutilisation des échelles dappréciation.

Présentation au sujet: "Faculté de médecine Bureau dévaluation Quelques biais possibles liés aux évaluateurs dans lutilisation des échelles dappréciation."— Transcription de la présentation:

1 serge.normand@umontreal.ca Faculté de médecine Bureau dévaluation Quelques biais possibles liés aux évaluateurs dans lutilisation des échelles dappréciation Serge Normand, M.A. Octobre 2007

2 serge.normand@umontreal.ca Évaluer la compétence clinique Most patient encounters require the practitioner to integrate and perform at least 10 separate components capabilities. 16 hours of performance observation across a variety of clinical situations is necessary to achieve reproducible estimates of clinical competence. All reports agree that somewhere between 7 and 11 ratings are necessary to achieve a generalizable global estimate of competence when raters are basing ratings on a nonsystematic sample of observations. Williams, R.G. et al., Cognitive, Social and Environmental Sources of Bias in Clinical performance Ratings, Teach Learn Med 2003;15 (4):270-92

3 serge.normand@umontreal.ca Évaluer la compétence clinique Être sensible aux biais de lévaluation

4 serge.normand@umontreal.ca Threats to the validity of clinical teaching assessments : What about rater error ? Downing, S.M., Medical Education, 2005 In most studies, the variance of raters ( nested in persons or students ) is the largest variance component, typically in the 80-90% range. For example, in a recent study by Kreiter and Ferguson an average of 89% of the total variance was attributable to raters (nested in persons), while only about 10% of the total variance was due the main effect of persons.

5 serge.normand@umontreal.ca Erreur de clémenceError of Leniency + - Je « sympathise » avec lui Je « m identifie » à lui Je tente de corriger ce biais

6 serge.normand@umontreal.ca Erreur de clémenceError of Leniency BonTrès bonExcellentMoyenFaible Correctif

7 serge.normand@umontreal.ca Effet centripèteThe Error of Central Tendency Tendance des examinateurs à ne pas vouloir porter des jugements extrêmes

8 serge.normand@umontreal.ca Effet de haloThe Halo Effect + + + + + +

9 serge.normand@umontreal.ca Effet de haloThe Halo Effect

10 serge.normand@umontreal.ca Erreur de logiqueA Logical Error Lexaminateur présume quil existe une relation entre deux variables. Si la première est telle, la seconde sera semblable.

11 serge.normand@umontreal.ca Erreur par contrasteA Contrast Error Moins que moi Plus que moi

12 serge.normand@umontreal.ca Effet de proximitéA proximity Error Si un observateur évalue deux facteurs différents, lévaluation de lun a tendance à influencer lautre, dautant plus que le laps de temps entre les deux évaluations est plus court.

13 serge.normand@umontreal.ca Downing, S.M., Threats to the validity of clinical teaching assessments : What about rater error ?, Medical Education 2005;30:350-355 Guilford, J.P., Psychometric Methods, McGraw-Hill Book, New York, 1954, 597p. Williams, R.G. et al., Cognitive, Social and Environmental Sources of Bias in Clinical performance Ratings, Teach Learn Med 2003;15 (4):270-92. (pdf)pdf Bibliographie

14 serge.normand@umontreal.ca Diaporama Documentation http://www.medbev.umontreal.ca/docimo serge.normand@umontreal.ca Merci de votre attention !