Les grilles d’observation. Michel Girard MD MHPE FRCP(C) Directeur Serge Normand MA Docimologue Bureau d’évaluation Faculté de médecine

En remontant la pyramide... Fait Évaluation de la performance in vivo: Pt simulé incognito, Video, Dossiers….. Fait Démontre Évaluation de la performance in vitro: ÉCOS, examen avec pt simulé….. Démontre Sait comment Examens à contenu clinique: QCR, type dévelop., oral….. Sait comment Sait Épreuves factuelles: QCR, écrit, oral….. Sait Cees van der Vleuten, Université de Maastricht

Les grilles d’observation Quelques questions Qui construit la grille? Quoi évaluer? Qui évaluer? Binaire ou continue? Quand la remplir? Formatif ou normatif? Qui utilise la grille?

Qui construit la grille? Mais attention, l’évaluation est un puissant stimulus de l’apprentissage. Importance

Qui construit la grille? Et c’est toujours plus agréable de travailler en équipe. Qui construit la grille? Importance

Quoi évaluer? Un geste technique Une attitude Une entrevue Un examen physique Etc.

Qui évaluer? Les grilles d’évaluation binaires (Fait/Non fait) se prêtent-elles à tous les types d’étudiants?

Qui évaluer? Hodges, Acad Med. 1999; 1129-34

Qui évaluer? Pourtant, il n’y a pas de différence quant à l’établissement d’un diagnostic correct entre les membres des 3 groupes. Hodges, Acad Med. 1999; 1129-34

Ne pas confondre objectivité et recherche d’objectivation!* *Norman Qui évaluer? L’expert L’étudiant plus avancé devient plus personnel dans sa démarche. Peut-être désavantagé par les grilles d’observation (binaires). Ne pas confondre objectivité et recherche d’objectivation!* *Norman Dauphinee, 2000, Credentialing Physician Specialists: A World Perspective

Qui évaluer? Le novice Les items spécifiques de la grille sont utiles pour la rétroaction. L’utilité, au niveau prégradué, est bien démontrée. Dauphinee, 2000, Credentialing Physician Specialists: A World Perspective

Binaire ou continue? Grille d’observation Grille d’appréciation A: Fait, Non fait B: Fait, Non fait C: Fait, Non fait D: Fait, Non fait E: Fait, Non fait F: Fait, Non fait G: Fait, Non fait 1: Échec certain 2: Échec limite 3: Réussite limite 4: Réussite certaine 5: Performance supérieure

Binaire ou continue? Grilles binaires Grille continue On souhaite évaluer la technique chirurgicale après 3 ans de résidence en chirurgie (7 interventions diff.) Grilles binaires Différentes pour chaque intervention. Grille continue La même pour toutes les interventions. Parce que les gestes sont différents d’une intervention à l’autre. Parce que les principes sont les mêmes d’une intervention à l’autre.

Spécifique ou globale? Grille globale Pour chaque intervention La même pour toutes les interventions. Pour chaque intervention Respect des tissus Gestuelle Manipulation des instruments Connaissance des instruments Déroulement de l’intervention Gestion des assistants Connaissance de la procédure Parce que les principes sont les mêmes d’une intervention à l’autre. Regehr, Acad Med. 1998; 993-7

Spécifique ou globale? Mais attention! Chaque point sur l’échelle doit être bien défini. 1: Échec certain, 2: Échec limite, 3: Réussite limite, 4: Réussite certaine, 5: Performance supérieure

Sans que l’étudiant puisse se constituer une banque de questions. Formatif ou normatif Bonne nouvelle Les deux ! ! ! Sans que l’étudiant puisse se constituer une banque de questions.

Mais attention, ne pas noter l’épisode formatif ! Formatif ou normatif Bonne nouvelle Mais attention, ne pas noter l’épisode formatif !

Quand la remplir? Le 2 avril dernier, vous avez semblé manquer d’intérêt lors de ...

Quand la remplir? Maintenant

Peu importe qui rempli la grille, il/elle doit être formé(e). Qui utilise la grille? Un professeur Un patient simulé Un autre étudiant Une infirmière Peu importe qui rempli la grille, il/elle doit être formé(e).

Les grilles d’observation En résumé Élaborées en groupe Utilisable dans plus d’une situation Éviter la multiplication des instruments Bien décrire chaque élément de la grille Les items évalués Les descripteurs de performance Former les professeurs

Seuil acceptable de passage (Contrasting group method) Grille 1. Hs shjs sjnhss sjhs sjs sj 2. Ksks sksmsiqopql qlqmq q q qkl 3. Lalka kdm ddkk dlkl dlld 4. Keyw dd e r rrmt tmk 5. Jfjfk dd 6. Hskl;s skj sls ska ak akl ald 7. Hdhhddh shs ahhakk as TOTAL     Échec Succès  Succès/Échec S/É SAP Cees van der Vleuten, Université de Maastricht

SAP, approche par régression Grille X = seuil de passage 1. Hs shjs sjnhss sjhs sjs sj 2. Ksks sksmsiqopql qlqmq q q qkl 3. Lalka kdm ddkk dlkl dlld 4. Keyw dd e r rrmt tmk 5. Jfjfk dd 6. Hskl;s skj sls ska ak akl ald 7. Hdhhddh shs ahhakk as TOTAL  Résultat grille  X    1 2 3 4 5 Éval. Globale 1 2 3 4 5 1 = Faible 2 = Insuffisant 3 = Suffisant 4 = Bon 5 = Excellent Cees van der Vleuten, Université de Maastricht

Quelques règles de base Ne basez pas l’évaluation sur des examens courts Échantillonnez largement (contenu, temps, évaluateurs, patients) Ne soyez pas « fidèle » à une seule méthode - le contenu est plus important Choisissez des tâches le plus près possible de la pratique clinique - ne vous inquiétez pas tant de la compétence mesurée Évitez la complexité des simulations ou de la notation Vérifiez les impacts éducatifs de l’évaluation - évaluez l’évaluation Utilisez l’évaluation stratégiquement pour atteindre des objectifs éducatifs Considérez l’évaluation comme faisant partie du défi du canevas éducatif Van der Vleuten, 2000, Credentialing Physician Specialists: A World Perspective

Qui évaluer? Hodges, Acad Med. 1999; 1129-34

Qui évaluer? Hodges, Acad Med. 1999; 1129-34

La compétence clinique Un exercice Que devons-nous évaluer?