Comité du programme des études de premier cycle Faculté de médecine Comité du programme des études de premier cycle Groupe de travail sur l’évaluation des apprentissages Réforme – Innovations - Changements Occasions d’apprentissages Système – Actuel – Proposé Competency-Based Assessment Compétences MD – ProMED2000 LCME 2002 Plan directeur Outils – R-Type – Q4 - Portfolio Acteurs Conseils de compétences Comités d’épreuves - Mentors Accueil Membres Projet – Buts Finalités Principes généraux Conditions gagnantes Site Web Historique serge.normand@umontreal.ca

Comité du programme des études de premier cycle Faculté de médecine Comité du programme des études de premier cycle Groupe de travail sur l’évaluation des apprentissages Mandat ( 01-11-22 ) Revoir la procédure d’évaluation actuellement en vigueur au programme MD; Réfléchir à l’opportunité d’une centralisation des examens; Revoir nos politiques d’évaluation et, s’il y a lieu, proposer des modifications. serge.normand@umontreal.ca

Groupe de travail sur l’évaluation des apprentissages ( GTEA ) Membres ad hoc Andrée Boucher Christian Bourdy Bernard Charlin Dominique Chandonnet André Ferron Raymond Lalande Christian Lavallée Julien Lord Brigitte Maheux Serge Normand Louise Roy Autres personnes et instances consultées Comité du programme Comité des directeurs des département cliniques Serge Dubé Michel Girard Bernard Messier Ramses Wassef serge.normand@umontreal.ca

Un projet… à découvrir ! serge.normand@umontreal.ca

Un projet… pour nous tous ! serge.normand@umontreal.ca

Finalités du système d’évaluation des apprentissages formative Évaluation sanctionnelle serge.normand@umontreal.ca

to develop a system of evaluation The LCME urges schools to develop a system of evaluation that fosters self-initiated learning by students and disapproves of the use of frequent tests which condition students to memorize details for short-term retention only. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002. serge.normand@umontreal.ca

Evaluation of student performance should measure not only retention of factual knowledge, but also development of the skills, behaviors, and attitudes needed in subsequent medical training and practice, and the ability to use data appropriately for solving problems commonly encountered in medical practice. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002. serge.normand@umontreal.ca

that are extremely short in duration may not have sufficient time Courses or clerkships that are extremely short in duration may not have sufficient time to provide structured activities for formative evaluation, but should provide some alternate means (such as self-testing or teacher consultation) that will allow students to measure their progress in learning. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002. serge.normand@umontreal.ca

Des courants majeurs issus des milieux anglo-saxons Outcome-Based Education Competency-Based Assessment Des objectifs … aux compétences serge.normand@umontreal.ca

Un médecin compétent Professionalism Agir correctement de façon professionnelle Professionalism Approach to tasks Doing the thing right Performance of Tasks Most studies stress knowledge and organization of subject matter, skills in instruction, and personal qualities and attitudes useful to working with students. If personal characteristics are emphasized … good teaching will be … those who are enthusiastic, energic, approachable, open, imaginative, and possessed of a sense of humor. If characteristics of mastering a subject matter and posessing teaching skills are emphasized , good teachers will be those who are masters of a subject, can organize and emphasize, can clarify ideas and point out relationships, can motivate students, can pose and elicit useful questions and examples, and are reasonable, imaginative, and fair in managing the details of learning. Such characteristics as stupidity, arrogance, narrowness, torpor, cynicism, dullness, and insensitively are commonly associated with bad teaching, as are shortcomings in command of subject matter or teaching skills. The right person doing it Doing the right thing Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14 serge.normand@umontreal.ca

Un médecin compétent Professionalisme Agir correctement de façon professionnelle Professionalisme Exécution de la tâche L’exécuter correctement Tâche à effectuer Most studies stress knowledge and organization of subject matter, skills in instruction, and personal qualities and attitudes useful to working with students. If personal characteristics are emphasized … good teaching will be … those who are enthusiastic, energic, approachable, open, imaginative, and possessed of a sense of humor. If characteristics of mastering a subject matter and posessing teaching skills are emphasized , good teachers will be those who are masters of a subject, can organize and emphasize, can clarify ideas and point out relationships, can motivate students, can pose and elicit useful questions and examples, and are reasonable, imaginative, and fair in managing the details of learning. Such characteristics as stupidity, arrogance, narrowness, torpor, cynicism, dullness, and insensitively are commonly associated with bad teaching, as are shortcomings in command of subject matter or teaching skills. Effectuer la bonne action Par la bonne personne Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14 serge.normand@umontreal.ca

What the doctor is able to do Doing the right thing Clinical skills Practical procedures Patient investigation Patient management Health promotion and disease prevention Communication skills Information handling and retrieval Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999 serge.normand@umontreal.ca

How the doctor approaches their practice Doing the thing right Understanding of basic, clinical and social sciences Appropriate attitudes, ethical understanding and legal responsibilities Appropriate decision making , clinical reasoning and judgment Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999 serge.normand@umontreal.ca

The doctor as a professional The right person doing it Role of the doctor within the health service Aptitude for personal development Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999 serge.normand@umontreal.ca

Modèle de certification des compétences serge.normand@umontreal.ca

Occasions d’apprentissages au programme MD IMC - IDC 1138 1139 * * * 2127 2128 APP 1128 1129 * * * 2133 2134 EXTERNAT 3301 3302 * * * 4410 4411 serge.normand@umontreal.ca

Objets d’évaluation ( actuels ) au programme MD IMC - IDC 1138 1139 * * * 2127 2128 É V A L T I O N APP 1128 1129 * * * 2133 2134 É V A L T I O N EXTERNAT 3301 3302 * * * 4410 4411 Unités cours et stages serge.normand@umontreal.ca

Objets d’évaluation ( proposés ) au programme MD C O M P É T E N S IMC - IDC 1138 1139 * * * 2127 2128 APP 1128 1129 * * * 2133 2134 EXTERNAT 3301 3302 * * * 4410 4411 É V A L U A T I O N serge.normand@umontreal.ca

Les compétences attendues Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002 serge.normand@umontreal.ca

Educational objectives are statements of the items of knowledge, skills, behaviors, and attitudes that students are expected to exhibit as evidence of their achievement. They are not statements of mission or broad institutional purpose, such as education, research, health care, or community service. Educational objectives state what students are expected to learn, not what is to be taught. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002. serge.normand@umontreal.ca

Énoncé des compétences médicales ( mots clés seulement ) IMC-IDC Externat CMFC - 2000 ProMEDS - 2000 Questionnaire Examen Interrogatoire Examen physique Gestes techniques Prise en charge Investigation Traitement Clinicien compétent et efficace Expertise médicale Communication Communiquer Relation médecin-patient Communication Contexte Travailler en équipe Communautaire Collaboration Intégration connaissances Intégration connaissances Ressource pour population définie de patients Érudition Jugement critique Maintien compétence Gestion Éducateur Promotion santé Promotion de la santé Éthique Notions éthiques Professionnalisme Professionnalisme serge.normand@umontreal.ca

Compétences pour un plan directeur ( mots clés seulement ) Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002 serge.normand@umontreal.ca

Réforme du système d’évaluation Innovations Modèle d’évaluation axé sur la certification des compétences Tests périodiques de rendement pour mesurer les progrès Profil cumulatif pour l’évaluation formative Mentors pour accompagner les étudiants Formation aux professeurs sur le feedback serge.normand@umontreal.ca

Système d’évaluation des apprentissages au programme MD C o m p é t e n c e m é d i c a l e Évaluation formative Évaluation sommative CONNAISSANCES CERTIFICATION des COMPÉTENCES TRP HABILETÉS + ATTITUDES TRP : Test de rendement périodique ( Progress Test ) serge.normand@umontreal.ca

Réforme du système d’évaluation Changements Évaluation sanctionnelle se concentre sur la certification et la consolidation des compétences Systématisation de l’évaluation formative aux années pré-cliniques pour mesurer les progrès Outils d’évaluation choisis pour mesurer l’intégration des connaissances, l’application des habiletés et la démonstration des attitudes Travail d’équipe pour préparer les instruments d’évaluation serge.normand@umontreal.ca

Les acteurs serge.normand@umontreal.ca

Rôle des Conseils de compétences Identifier les objets de l’évaluation Actualiser les objectifs en termes de compétences Élaborer un plan directeur pour certifier et consolider les compétences Déterminer les moments pour mesurer les progrès Définir le contenu d’un profil individuel serge.normand@umontreal.ca

Rôle des Comités d’épreuves Élaborer un ensemble d’épreuves et définir les réalisations attendues Élaborer les test périodiques de rendement pour mesurer les progrès Choisir les formats et contenus d’épreuves pour mesurer l’intégration des connaissances Déterminer le format d’un portfolio serge.normand@umontreal.ca

Rôle des Mentors Accompagner les étudiants dont les résultats aux évaluations formatives indiquent qu’ils n’enregistrent pas les progrès attendus Guider l’étudiant dans sa démarche d’apprentissage Offrir des sessions d’évaluation individualisée serge.normand@umontreal.ca

Rôle des Étudiants Se responsabiliser davantage dans des activités d’autoévaluation Évaluer les pairs Se constituer un portfolio serge.normand@umontreal.ca

Évaluation des apprentissages Exemple d’un plan directeur tel que proposé par le CMC serge.normand@umontreal.ca

Compétences CanMEDS 2000

Exemple Plan directeur CanMEDS 2000

Exemple Plan directeur adapté CanMEDS 2000

Réforme du système d’évaluation des apprentissages au programme MD Choisir les instruments appropriés serge.normand@umontreal.ca

Évaluer la compétence professionnelle Pyramide de Miller Comportement Behaviour Savoir Cognition Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. serge.normand@umontreal.ca

Évaluer la compétence professionnelle Modes d’évaluation de la performance contextuelle Évaluation écrite orale ordinateur Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. serge.normand@umontreal.ca

Évaluer la compétence professionnelle Types d’instruments Performance in vivo : PS. incognito, Vidéo, Dossiers Portfolio … Performance in vitro : ECOS, Ex. PS. … Épreuves à contenus cliniques : QCM, Q. dév., Ex. oral … Épreuves factuelles : QCM, Ex. écrit, oral … Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. serge.normand@umontreal.ca

Instruments d’évaluation Curriculum de Dundee Portfolio ECOS QCM-R QROC QCM Q. dév. Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261 serge.normand@umontreal.ca

Portfolio (évaluation formative et sanctionnelle) Inventaire de preuves et de réalisations cumulées par le candidat durant sa période d’apprentissage. Réflexion du candidat sur les éléments rassemblés pour témoigner des progrès enregistrés. Analyse du portfolio par des examinateurs. Dialogue entre les examinateurs et l’étudiant fondé sur les éléments du portfolio. Système de notation adapté aux finalités formatives ou sanctionnelles. Vidéos de pratique clinique, Résultats de tests formatifs, etc. Histoires de cas, Exposés, etc. serge.normand@umontreal.ca

Portfolio Quelques avantages … Approche très individualisé de l’évaluation Permet d’évaluer les dimensions « compliquées » : développement personnel, professionnalisme, auto-apprentissage, auto-évaluation, réflexion, etc. Volet longitudinal, accumulation de preuves, mesure du progrès Exploite la richesse de l’interaction étudiant-professeur serge.normand@umontreal.ca

Portfolio Quelques défis … Culture « nouvelle » de l’évaluation Formation des examinateurs (contexte sanctionnel) « Repenser » les critères psychométriques (validité, fidélité) serge.normand@umontreal.ca

Évaluation des apprentissages Exemple d’un format de question Q4 utilisé par le CMC serge.normand@umontreal.ca

Question Type Q4 CMC www.mcc.ca/CRS_Demo

Évaluation des apprentissages Exemple d’un format de question type R prôné par le NBME serge.normand@umontreal.ca

NBME – Extended-Matching ( R-Type) Items ( Question d’appariement détaillé )

Réforme du système d’évaluation des apprentissages au programme MD Principes généraux et Règles d’application serge.normand@umontreal.ca

Énoncé des principes généraux Évaluation des apprentissages au programme MD L’évaluation des apprentissages est planifié sur un continuum englobant les années pré-cliniques et cliniques. Les activités formelles d’évaluation formative occupent autant d’importance que les activités d’évaluation sommative. La fréquence des séances d’évaluation formative et sommative, leur séquence et leur pondération sont choisies afin de maximiser la validité. Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003 serge.normand@umontreal.ca

L’évaluation des apprentissages est planifié sur un continuum englobant les années pré-cliniques et cliniques Règles d’application : Les compétences clés constituent toujours la base d’un plan directeur pour situer et justifier les activités d’évaluation autant formative que sommative. L’acquisition des compétences clés est évaluée en termes de progression, de consolidation et de certification à diverses étapes dans le programme MD. Les modalités et les protocoles d’évaluation adoptés facilitent l’accès aux résultats cumulatifs de l’évaluation pour permettre à chaque étudiant et à ses professeurs d’en exploiter toute la richesse. Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003 serge.normand@umontreal.ca

Les activités formelles d’évaluation formative occupent autant d’importance que les activités d’évaluation sommative Règles d’application : Les séances d’évaluation formative produisent des résultats quantitatifs et qualitatifs qui ne sont pas comptabilisés pour fins de certification. Les séances d’évaluation formative génèrent une rétroaction rapide à l’étudiant. L’ensemble des compétences et des objectifs clés sont soumis à des procédures d’évaluation formative. Les corpus de connaissances associés aux sciences fondamentales et aux sciences cliniques sont l’objet d’activités d’évaluation formative. Les procédures et les modalités de l’évaluation formative font appel à l’autoévaluation et à l’évaluation par les pairs. Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003 serge.normand@umontreal.ca

La fréquence des séances d’évaluation formative et sommative, leur séquence et leur pondération sont choisies afin de maximiser la validité Règles d’application : Les résultats de l’évaluation formative indiquent les progrès de l’étudiant en rapport avec les corpus de connaissances fondamentales et cliniques. Les modalités de l’évaluation formative fournissent à l’étudiant des indications précises sur ses acquis et sur ses prescriptions suivantes d’apprentissage. Les séances d’évaluation sommative sont établies au moment le plus approprié pour évaluer l’intégration et l’application des connaissances. La pondération de l’évaluation sommative est ajustée pour tenir compte des progrès de l’étudiant. L’évaluation sommative certifie également la consolidation des compétences attendues. Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003 serge.normand@umontreal.ca

Conditions gagnantes Des étudiants responsables et autonomes Des professeurs engagés et fiers Une Faculté qui innove et qui rayonne serge.normand@umontreal.ca

www.medbev.umontreal.ca/gtea Faculté de médecine Comité du programme des études de premier cycle Groupe de travail sur l’évaluation des apprentissages J’ai réalisé ce site www.medbev.umontreal.ca/gtea Il est sécurisé !