Comité du programme des études de premier cycle

Présentation au sujet: "Comité du programme des études de premier cycle"— Transcription de la présentation:

1 Comité du programme des études de premier cycle
Faculté de médecine Comité du programme des études de premier cycle Groupe de travail sur l’évaluation des apprentissages Réforme – Innovations - Changements Occasions d’apprentissages Système – Actuel – Proposé Competency-Based Assessment Compétences MD – ProMED2000 LCME 2002 Plan directeur Outils – R-Type – Q4 - Portfolio Acteurs Conseils de compétences Comités d’épreuves - Mentors Accueil Membres Projet – Buts Finalités Principes généraux Conditions gagnantes Site Web Historique

2 Comité du programme des études de premier cycle
Faculté de médecine Comité du programme des études de premier cycle Groupe de travail sur l’évaluation des apprentissages Mandat ( ) Revoir la procédure d’évaluation actuellement en vigueur au programme MD; Réfléchir à l’opportunité d’une centralisation des examens; Revoir nos politiques d’évaluation et, s’il y a lieu, proposer des modifications.

3 Groupe de travail sur l’évaluation des apprentissages ( GTEA )
Membres ad hoc Andrée Boucher Christian Bourdy Bernard Charlin Dominique Chandonnet André Ferron Raymond Lalande Christian Lavallée Julien Lord Brigitte Maheux Serge Normand Louise Roy Autres personnes et instances consultées Comité du programme Comité des directeurs des département cliniques Serge Dubé Michel Girard Bernard Messier Ramses Wassef

4 Un projet… à découvrir !

5 Un projet… pour nous tous !

6 Finalités du système d’évaluation des apprentissages
formative Évaluation sanctionnelle

7 to develop a system of evaluation
The LCME urges schools to develop a system of evaluation that fosters self-initiated learning by students and disapproves of the use of frequent tests which condition students to memorize details for short-term retention only. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.

8 Evaluation of student performance
should measure not only retention of factual knowledge, but also development of the skills, behaviors, and attitudes needed in subsequent medical training and practice, and the ability to use data appropriately for solving problems commonly encountered in medical practice. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.

9 that are extremely short in duration may not have sufficient time
Courses or clerkships that are extremely short in duration may not have sufficient time to provide structured activities for formative evaluation, but should provide some alternate means (such as self-testing or teacher consultation) that will allow students to measure their progress in learning. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.

10 Des courants majeurs issus des milieux anglo-saxons
Outcome-Based Education Competency-Based Assessment Des objectifs … aux compétences

11 Un médecin compétent Professionalism
Agir correctement de façon professionnelle Professionalism Approach to tasks Doing the thing right Performance of Tasks Most studies stress knowledge and organization of subject matter, skills in instruction, and personal qualities and attitudes useful to working with students. If personal characteristics are emphasized … good teaching will be … those who are enthusiastic, energic, approachable, open, imaginative, and possessed of a sense of humor. If characteristics of mastering a subject matter and posessing teaching skills are emphasized , good teachers will be those who are masters of a subject, can organize and emphasize, can clarify ideas and point out relationships, can motivate students, can pose and elicit useful questions and examples, and are reasonable, imaginative, and fair in managing the details of learning. Such characteristics as stupidity, arrogance, narrowness, torpor, cynicism, dullness, and insensitively are commonly associated with bad teaching, as are shortcomings in command of subject matter or teaching skills. The right person doing it Doing the right thing Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14

12 Un médecin compétent Professionalisme
Agir correctement de façon professionnelle Professionalisme Exécution de la tâche L’exécuter correctement Tâche à effectuer Most studies stress knowledge and organization of subject matter, skills in instruction, and personal qualities and attitudes useful to working with students. If personal characteristics are emphasized … good teaching will be … those who are enthusiastic, energic, approachable, open, imaginative, and possessed of a sense of humor. If characteristics of mastering a subject matter and posessing teaching skills are emphasized , good teachers will be those who are masters of a subject, can organize and emphasize, can clarify ideas and point out relationships, can motivate students, can pose and elicit useful questions and examples, and are reasonable, imaginative, and fair in managing the details of learning. Such characteristics as stupidity, arrogance, narrowness, torpor, cynicism, dullness, and insensitively are commonly associated with bad teaching, as are shortcomings in command of subject matter or teaching skills. Effectuer la bonne action Par la bonne personne Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14

13 What the doctor is able to do Doing the right thing
Clinical skills Practical procedures Patient investigation Patient management Health promotion and disease prevention Communication skills Information handling and retrieval Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999

14 How the doctor approaches their practice Doing the thing right
Understanding of basic, clinical and social sciences Appropriate attitudes, ethical understanding and legal responsibilities Appropriate decision making , clinical reasoning and judgment Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999

15 The doctor as a professional The right person doing it
Role of the doctor within the health service Aptitude for personal development Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999

16 Modèle de certification des compétences

17 Occasions d’apprentissages au programme MD
IMC - IDC 1138 1139 * * * 2127 2128 APP 1128 1129 * * * 2133 2134 EXTERNAT 3301 3302 * * * 4410 4411

18 Objets d’évaluation ( actuels ) au programme MD
IMC - IDC 1138 1139 * * * 2127 2128 É V A L T I O N APP 1128 1129 * * * 2133 2134 É V A L T I O N EXTERNAT 3301 3302 * * * 4410 4411 Unités cours et stages

19 Objets d’évaluation ( proposés ) au programme MD
C O M P É T E N S IMC - IDC 1138 1139 * * * 2127 2128 APP 1128 1129 * * * 2133 2134 EXTERNAT 3301 3302 * * * 4410 4411 É V A L U A T I O N

20 Les compétences attendues
Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002

21 Educational objectives are statements
of the items of knowledge, skills, behaviors, and attitudes that students are expected to exhibit as evidence of their achievement. They are not statements of mission or broad institutional purpose, such as education, research, health care, or community service. Educational objectives state what students are expected to learn, not what is to be taught. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.

22 Énoncé des compétences médicales ( mots clés seulement )
IMC-IDC Externat CMFC ProMEDS Questionnaire Examen Interrogatoire Examen physique Gestes techniques Prise en charge Investigation Traitement Clinicien compétent et efficace Expertise médicale Communication Communiquer Relation médecin-patient Communication Contexte Travailler en équipe Communautaire Collaboration Intégration connaissances Intégration connaissances Ressource pour population définie de patients Érudition Jugement critique Maintien compétence Gestion Éducateur Promotion santé Promotion de la santé Éthique Notions éthiques Professionnalisme Professionnalisme

23 Compétences pour un plan directeur ( mots clés seulement )
Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002

24 Réforme du système d’évaluation Innovations
Modèle d’évaluation axé sur la certification des compétences Tests périodiques de rendement pour mesurer les progrès Profil cumulatif pour l’évaluation formative Mentors pour accompagner les étudiants Formation aux professeurs sur le feedback

25 Système d’évaluation des apprentissages au programme MD
C o m p é t e n c e m é d i c a l e Évaluation formative Évaluation sommative CONNAISSANCES CERTIFICATION des COMPÉTENCES TRP HABILETÉS + ATTITUDES TRP : Test de rendement périodique ( Progress Test )

26 Réforme du système d’évaluation Changements
Évaluation sanctionnelle se concentre sur la certification et la consolidation des compétences Systématisation de l’évaluation formative aux années pré-cliniques pour mesurer les progrès Outils d’évaluation choisis pour mesurer l’intégration des connaissances, l’application des habiletés et la démonstration des attitudes Travail d’équipe pour préparer les instruments d’évaluation

27 Les acteurs

28 Rôle des Conseils de compétences
Identifier les objets de l’évaluation Actualiser les objectifs en termes de compétences Élaborer un plan directeur pour certifier et consolider les compétences Déterminer les moments pour mesurer les progrès Définir le contenu d’un profil individuel

29 Rôle des Comités d’épreuves
Élaborer un ensemble d’épreuves et définir les réalisations attendues Élaborer les test périodiques de rendement pour mesurer les progrès Choisir les formats et contenus d’épreuves pour mesurer l’intégration des connaissances Déterminer le format d’un portfolio

30 Rôle des Mentors Accompagner les étudiants dont les résultats aux évaluations formatives indiquent qu’ils n’enregistrent pas les progrès attendus Guider l’étudiant dans sa démarche d’apprentissage Offrir des sessions d’évaluation individualisée

31 Rôle des Étudiants Se responsabiliser davantage dans des activités d’autoévaluation Évaluer les pairs Se constituer un portfolio

32 Évaluation des apprentissages
Exemple d’un plan directeur tel que proposé par le CMC

33 Compétences CanMEDS 2000

34 Exemple Plan directeur CanMEDS 2000

35 Exemple Plan directeur adapté CanMEDS 2000

36 Réforme du système d’évaluation des apprentissages au programme MD
Choisir les instruments appropriés

37 Évaluer la compétence professionnelle Pyramide de Miller
Comportement Behaviour Savoir Cognition Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

38 Évaluer la compétence professionnelle Modes d’évaluation
de la performance contextuelle Évaluation écrite orale ordinateur Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

39 Évaluer la compétence professionnelle Types d’instruments
Performance in vivo : PS. incognito, Vidéo, Dossiers Portfolio … Performance in vitro : ECOS, Ex. PS. … Épreuves à contenus cliniques : QCM, Q. dév., Ex. oral … Épreuves factuelles : QCM, Ex. écrit, oral … Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

40 Instruments d’évaluation Curriculum de Dundee
Portfolio ECOS QCM-R QROC QCM Q. dév. Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3):

41 Portfolio (évaluation formative et sanctionnelle)
Inventaire de preuves et de réalisations cumulées par le candidat durant sa période d’apprentissage. Réflexion du candidat sur les éléments rassemblés pour témoigner des progrès enregistrés. Analyse du portfolio par des examinateurs. Dialogue entre les examinateurs et l’étudiant fondé sur les éléments du portfolio. Système de notation adapté aux finalités formatives ou sanctionnelles. Vidéos de pratique clinique, Résultats de tests formatifs, etc. Histoires de cas, Exposés, etc.

42 Portfolio Quelques avantages …
Approche très individualisé de l’évaluation Permet d’évaluer les dimensions « compliquées » : développement personnel, professionnalisme, auto-apprentissage, auto-évaluation, réflexion, etc. Volet longitudinal, accumulation de preuves, mesure du progrès Exploite la richesse de l’interaction étudiant-professeur

43 Portfolio Quelques défis …
Culture « nouvelle » de l’évaluation Formation des examinateurs (contexte sanctionnel) « Repenser » les critères psychométriques (validité, fidélité)

44 Évaluation des apprentissages
Exemple d’un format de question Q4 utilisé par le CMC

45 Question Type Q4 CMC

46 Évaluation des apprentissages
Exemple d’un format de question type R prôné par le NBME

47 NBME – Extended-Matching ( R-Type) Items ( Question d’appariement détaillé )

48 Réforme du système d’évaluation des apprentissages au programme MD
Principes généraux et Règles d’application

49 Énoncé des principes généraux Évaluation des apprentissages au programme MD
L’évaluation des apprentissages est planifié sur un continuum englobant les années pré-cliniques et cliniques. Les activités formelles d’évaluation formative occupent autant d’importance que les activités d’évaluation sommative. La fréquence des séances d’évaluation formative et sommative, leur séquence et leur pondération sont choisies afin de maximiser la validité. Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003

50 L’évaluation des apprentissages est planifié sur un continuum englobant les années pré-cliniques et cliniques Règles d’application : Les compétences clés constituent toujours la base d’un plan directeur pour situer et justifier les activités d’évaluation autant formative que sommative. L’acquisition des compétences clés est évaluée en termes de progression, de consolidation et de certification à diverses étapes dans le programme MD. Les modalités et les protocoles d’évaluation adoptés facilitent l’accès aux résultats cumulatifs de l’évaluation pour permettre à chaque étudiant et à ses professeurs d’en exploiter toute la richesse. Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003

51 Les activités formelles d’évaluation formative occupent autant d’importance que les activités d’évaluation sommative Règles d’application : Les séances d’évaluation formative produisent des résultats quantitatifs et qualitatifs qui ne sont pas comptabilisés pour fins de certification. Les séances d’évaluation formative génèrent une rétroaction rapide à l’étudiant. L’ensemble des compétences et des objectifs clés sont soumis à des procédures d’évaluation formative. Les corpus de connaissances associés aux sciences fondamentales et aux sciences cliniques sont l’objet d’activités d’évaluation formative. Les procédures et les modalités de l’évaluation formative font appel à l’autoévaluation et à l’évaluation par les pairs. Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003

52 La fréquence des séances d’évaluation formative et sommative, leur séquence et leur pondération sont choisies afin de maximiser la validité Règles d’application : Les résultats de l’évaluation formative indiquent les progrès de l’étudiant en rapport avec les corpus de connaissances fondamentales et cliniques. Les modalités de l’évaluation formative fournissent à l’étudiant des indications précises sur ses acquis et sur ses prescriptions suivantes d’apprentissage. Les séances d’évaluation sommative sont établies au moment le plus approprié pour évaluer l’intégration et l’application des connaissances. La pondération de l’évaluation sommative est ajustée pour tenir compte des progrès de l’étudiant. L’évaluation sommative certifie également la consolidation des compétences attendues. Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003

53 Conditions gagnantes Des étudiants responsables et autonomes
Des professeurs engagés et fiers Une Faculté qui innove et qui rayonne

54 www.medbev.umontreal.ca/gtea Faculté de médecine
Comité du programme des études de premier cycle Groupe de travail sur l’évaluation des apprentissages J’ai réalisé ce site Il est sécurisé !