Grilles d’observation Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé Atelier Grilles d’observation Serge Normand, M.A. Docimologue Édition : serge.normand@umontreal.ca

Évaluer la compétence clinique ? Définir … Édition : serge.normand@umontreal.ca

Clinical professional competence The ability to gather data from the patient by history and physical examination, integrate this information into a diagnostic formulation, select appropriate investigations to confirm the diagnosis, and institute efficacious management ( Norman 1981 ) The habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individual and community being served ( Epstein and Hundert 2002 ) Édition : serge.normand@umontreal.ca

Defining and Assessing Professional Competence: A Framework for Assessment Epstein, RM and EM Hundert, Defining and Assessing Professional Competence, JAMA, Vol 287, No 2, 2002

Évaluer la compétence clinique ? Observations Examens oraux QCM Patients standardisés ECOS, CPX 75 % préclinique 63 % clinique LCME 2004 Édition : serge.normand@umontreal.ca

Évaluer la compétence clinique Epstein, RM and EM Hundert, Defining and Assessing Professional Competence, JAMA, Vol 287, No 2, 2002 Édition : serge.normand@umontreal.ca

Grille d’évaluation Geste technique Critères Attitude Niveaux qualitatifs ( échelle descriptive ) Stratégie de notation Geste technique Attitude Entrevue Examen physique Etc. Édition : serge.normand@umontreal.ca

Observation directe Liste de vérification Grille d’évaluation ( Checklist ) Grille d’évaluation ( Rating Form ) Fait / non fait Présent / absent Adéquat / inadéquat Satisfaisant / non satisfaisant Etc. Performance supérieure Réussite certaine Réussite limite Échec limite Échec certain Édition : serge.normand@umontreal.ca

Observation directe Liste de vérification Fait / non fait Présent / absent Adéquat / inadéquat Satisfaisant / non satisfaisant Etc. Liste de vérification ( Checklist ) Observation « dichotomique » Adaptée au contexte 10 – 30 items Pondération Niveau du candidat Whelan and al., Medical Teacher 2005 : 3; Huber and al. Medical Education 2005 : 39; Kogan and al., Teaching and Learning in Medicine 2005 : 17(2); Gorter and al, Academic Medicine 2000 : 75(11) Édition : serge.normand@umontreal.ca

Critère : coopération ( échange des idées ) Grille d’évaluation Critère : coopération ( échange des idées ) Échelle uniforme Excellente Satisfaisante Insatisfaisante descriptive Donne ses idées et accepte celle des autres Donne ses idées ou accepte celles des autres Ne donne pas d’idée et n’accepte pas celles des autres SCALLON, Gérard, L’évaluation des apprentissages dans une approche par compétences, Édition du renouveau pédagogique, 2004 Édition : serge.normand@umontreal.ca

Élaboration de la grille Grille d’évaluation Élaboration de la grille Un travail d’équipe ! Édition : serge.normand@umontreal.ca

Favorise la rétroaction Grille d’évaluation Échelle descriptive Ou Échelle uniforme Favorise la rétroaction Mieux adaptée au candidat « expert » Édition : serge.normand@umontreal.ca

Établir des normes de réussite Setting Performance Standards Niveau acceptable C o m p é t e n c e s Édition : serge.normand@umontreal.ca

Déterminer la note de passage Édition : serge.normand@umontreal.ca

( selon la méthode Borderline Group ) Déterminer la note de passage - ECOS ( selon la méthode Borderline Group ) Grille Moyennes des scores par examinateurs 1. Hs shjs sjnhss sjhs sjs sj 2. Ksks sksmsiqopql qlqmq q q qkl 3. Lalka kdm ddkk dlkl dlld 4. Keyw dd e r rrmt tmk 5. Jfjfk dd 6. Hskl;s skj sls ska ak akl ald 7. Hdhhddh shs ahhakk as TOTAL     1 = Échec 2 = Limite insuffisant 3 = Limite suffisant 4 = Attendu 5 = Excellent  Éval. Globale 1 2 3 4 5 Édition : serge.normand@umontreal.ca

( selon la méthode Borderline Group ) Déterminer la note de passage - ECOS ( selon la méthode Borderline Group ) Édition : serge.normand@umontreal.ca

( selon la méthode Borderline Group ) Déterminer la note de passage ( selon la méthode Borderline Group ) Édition : serge.normand@umontreal.ca

Déterminer la note de passage ( selon la méthode de Ebel ) Situez chaque question ou élément de questions qui composent l’examen dans les cellules de cette grille; par exemple, une questions de 3 points comportera 3 entrées dans la grille. Dans chaque cellule, une proportion de questions qu’un candidat à compétence acceptable devrait réussir est proposée. Pour chaque cellule, multipliez le nombre de questions (ou d’éléments) par le pourcentage correspondant et faites ensuite la somme de ces produits. La valeur obtenue divisée par le nombre total de questions (ou d’éléments) constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage. Édition : serge.normand@umontreal.ca

Déterminer la note de passage ( selon la méthode de Ebel ) Nombre de questions : 72 SAP : 61 % Édition : serge.normand@umontreal.ca

Déterminer la note de passage ( selon la méthode « Direct Borderline » ) Question 1 oui non Question 2 oui non Question 3 oui non Exemple Nombre de questions: 25 Nombre de OUI : 16 SAP : 64 % Question … oui non Question … oui non Question 25 oui non Indiquez pour chaque question si un candidat à compétence acceptable devrait répondre correctement à la question. Le nombre total de « OUI » divisé par le nombre total de questions constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage. Édition : serge.normand@umontreal.ca

Déterminer la note de passage ( selon la méthode Hofstee ) Édition : serge.normand@umontreal.ca