Accueil Définition Courants Stratégie Concept Contexte Faculté de médecine Bureau d’évaluation Docimologie – Dossier compétences Accueil Définition Courants Stratégie Concept Contexte Actuel Futur ExCanM Évaluation Niveaux Outils Portfolio Fin Portfolio Cas Convergence Harden Miller CBA CanMEDS CMFC CMQ GMC (UK) ACGME-ABMS LCME Brown IIME GTEA Système Acteurs Édition: serge.normand@umontreal.ca

Approche par compétences Faculté de médecine Actualiser notre pédagogie médicale dans un nouveau contexte Approche par compétences Serge Normand, M.A. Bureau d’évaluation

l’acquisition de compétences Faculté de médecine Formation médicale C O M P É T E N S Prédoctorale Programme MD Postdoctorale Programmes de résidence Continue Programmes FMC Formation, certification, maintien axée sur l’acquisition de compétences Édition: serge.normand@umontreal.ca

Nouveaux défis professionnels pour le médecin des années 2000 « Que le Collège des médecins, de concert avec les universités et les milieux d’enseignement, convienne d’un plan directeur de façon que la formation médicale, dans tout son continuum (formation prédoctorale, postdoctorale et éducation médicale continue), permette aux médecins d’aujourd’hui et de demain d’acquérir les compétences nécessaires pour relever les défis de la médecine et des problèmes de santé des années 2000. » http://www.cmq.org Édition: serge.normand@umontreal.ca

Quelle sorte de docteur le programme va-t-il produire ? Faculté de médecine Quelle sorte de docteur le programme va-t-il produire ? Édition: serge.normand@umontreal.ca

Des courants majeurs issus des milieux anglo-saxons Approche par compétences Outcome-Based Education Competency-Based Assessment Édition: serge.normand@umontreal.ca

Outcome-Based Education It is an approach to education in which decisions about the curriculum are driven by outcomes the students should display by the end of the course ( Harden 1999 ) A way of designing, developing, delivering and documenting instruction in terms of its intended goals and outcomes ( Spady 1988 ) You develop the curriculum from the outcomes you want students to demonstrate, rather than writing objectives for the curriculum you already have ( Spady 1988 ) Édition: serge.normand@umontreal.ca

Competency-Based Assessment Édition: serge.normand@umontreal.ca

Formation médicale axée sur l’acquisition de compétences GTEA Édition: serge.normand@umontreal.ca

Stratégie pédagogique Approche par compétences Stratégie pédagogique Apprentissage Compétences Évaluation Édition: serge.normand@umontreal.ca

Nos pratiques actuelles… Définir l’apprentissage Approche par compétences Nos pratiques actuelles… Objectifs Compétences Connaissances Habiletés Attitudes Édition: serge.normand@umontreal.ca

Définir l’apprentissage Approche par compétences Nos pratiques futures… Objets d’apprentissage Objectifs Compétences Édition: serge.normand@umontreal.ca

Post-doctorale et Formation professionnelle continue Convergence des rôles Pré-doctorale Post-doctorale et Formation professionnelle continue Anamnèse Examen Communication Contexte Intégration connaissances Éthique IMC-IDC Interrogatoire Examen physique Gestes techniques Prise en charge Investigation Traitement Communiquer Travailler en équipe Intégration connaissances Jugement critique Maintien compétence Éducateur Promotion santé Notions éthiques Professionnalisme Externat - MD Clinicien scientifique et efficace Communicateur Enseignant Collaborateur Travailler équipe Apprenant Chercheur Gestionnaire Leader pour sa communauté Professionnel humaniste CMQ - 2000 Clinicien compétent et efficace Relation médecin-patient Communautaire Ressource pour population définie de patients CMFC - 2000 Expertise médicale Communication Collaboration Érudition Gestion Promotion de la santé Professionnalisme CanMEDS-2000 Édition: serge.normand@umontreal.ca

Études de cas Approche par compétences Édition: serge.normand@umontreal.ca

Notre contexte Compétences … … à déployer Approche par compétences Édition: serge.normand@umontreal.ca

Exemple CanMEDS Compétences Approche par compétences Collaboration Les médecins ne travaillent pas en vase clos. Ils oeuvrent souvent de concert avec d’autres personnes qui prodiguent des soins à des individus ou des groupes précis de patients. Il est donc essentiel que les médecins puissent collaborer efficacement avec les patients, leur famille et l’équipe multiprofessionnelle pour offrir les meilleurs soins possibles aux patients et optimiser l’éducation et la recherche. Définition Collaboration CRMCC Édition: serge.normand@umontreal.ca

Compétences attendues Approche par compétences Exemple CanMEDS Compétences Le médecin est en mesure de consulter de façon efficace d’autres médecins et professionnels de la santé. Le médecin est en mesure de contribuer activement aux travaux d’équipes multiprofessionnelles. Compétences attendues Collaboration CRMCC Édition: serge.normand@umontreal.ca

Exemple CanMEDS Niveau résidence Approche par compétences Compétences intermédiaires Le médecin est en mesure de consulter de façon efficace d’autres médecins et professionnels de la santé. Le médecin est en mesure de contribuer activement aux travaux d’équipes multiprofessionnelles. Compétences attendues … est en mesure d’agir comme un leader dans une équipe multiprofessionnelle Fellow … est en mesure de déléguer efficacement certains actes à d’autres professionnels de la santé R. senior … utilise judicieusement l’ensemble des ressources professionnelles pour adapter les soins au patient R. junior Édition: serge.normand@umontreal.ca

Exemple CanMEDS Niveau clinique Approche par compétences Compétences intermédiaires Le médecin est en mesure de consulter de façon efficace d’autres médecins et professionnels de la santé. Le médecin est en mesure de contribuer activement aux travaux d’équipes multiprofessionnelles. Compétences attendues … est en mesure d’informer efficacement les membres de l’équipe multiprofessionnelle concernant la condition de ses patients. Externe 2ième année … est en mesure de situer son rôle par rapport à celui des autres professionnels de la santé. Externe 1ère année Édition: serge.normand@umontreal.ca

Exemple CanMEDS Niveau préclinique Approche par compétences Compétences intermédiaires Le médecin est en mesure de consulter de façon efficace d’autres médecins et professionnels de la santé. Le médecin est en mesure de contribuer activement aux travaux d’équipes multiprofessionnelles. Compétences attendues … anime efficacement son groupe APP … reconnaît les rôles et compétences des autres professionnels de la santé Et. 2ième … interagit avec respect avec les membres de son groupe Et. 1ère … partage ses connaissances avec ses pairs. Et. prép. Édition: serge.normand@umontreal.ca

Stratégie pédagogique Approche par compétences Stratégie pédagogique Apprentissage Compétences Évaluation Édition: serge.normand@umontreal.ca

Finalités d’un système d’évaluation des apprentissages formative Évaluation sanctionnelle Édition: serge.normand@umontreal.ca

Certifier des niveaux de compétences Approche par compétences Évaluation Certifier des niveaux de compétences Expert Intermé- diaire Novice Édition: serge.normand@umontreal.ca

Choisir les instruments appropriés Approche par compétences Évaluation Choisir les instruments appropriés Compétences Édition: serge.normand@umontreal.ca

Instruments d’évaluation Curriculum de Dundee Portfolio ECOS QCM-R QROC QCM Q. dév. Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261 Édition: serge.normand@umontreal.ca

Approche par compétences Faculté de médecine Les priorités ? Centre Apprentissage Attitudes Habiletés Cliniques Cyber- enseignement E-learning Approche par compétences Édition: serge.normand@umontreal.ca

Pour en savoir plus … Approche par compétences www.medbev.umontreal.ca/docimo Rubrique: Dossier compétences Diaporama Bibliographie serge.normand@umontreal.ca

www.medbev.umontreal.ca

www.medbev.umontreal.ca/docimo

GTEA Approche par compétences http://www.medbev.umontreal.ca/gtea Réformer le système d’évaluation des apprentissages : un projet pour nous tous Rapport du groupe de travail sur l’évaluation des apprentissages au programme MD Comité du programme des études de premier cycle 13 novembre 2003 Entériné par le Comité du programme, 11 mars 2004 http://www.medbev.umontreal.ca/gtea Édition: serge.normand@umontreal.ca

Réforme du système d’évaluation Innovations GTEA Modèle d’évaluation axé sur la certification des compétences Tests périodiques de rendement pour mesurer les progrès Profil cumulatif pour l’évaluation formative Mentors pour accompagner les étudiants Formation aux professeurs sur le feedback Édition: serge.normand@umontreal.ca

Système d’évaluation des apprentissages au programme MD GTEA C o m p é t e n c e m é d i c a l e Évaluation formative Évaluation sanctionnelle CONNAISSANCES CERTIFICATION des COMPÉTENCES TRP HABILETÉS + ATTITUDES TRP : Test de rendement périodique ( Progress Test ) Édition: serge.normand@umontreal.ca

Les acteurs GTEA Édition: serge.normand@umontreal.ca

to develop a system of evaluation The LCME urges schools to develop a system of evaluation that fosters self-initiated learning by students and disapproves of the use of frequent tests which condition students to memorize details for short-term retention only. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002. Édition: serge.normand@umontreal.ca

Evaluation of student performance should measure not only retention of factual knowledge, but also development of the skills, behaviors, and attitudes needed in subsequent medical training and practice, and the ability to use data appropriately for solving problems commonly encountered in medical practice. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002. Édition: serge.normand@umontreal.ca

that are extremely short in duration may not have sufficient time Courses or clerkships that are extremely short in duration may not have sufficient time to provide structured activities for formative evaluation, but should provide some alternate means (such as self-testing or teacher consultation) that will allow students to measure their progress in learning. Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL, Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002. Édition: serge.normand@umontreal.ca

Choisir les instruments appropriés Approche par compétences Évaluation Choisir les instruments appropriés Compétences Édition: serge.normand@umontreal.ca

Évaluer la compétence professionnelle Pyramide de Miller Comportement Behaviour Savoir Cognition Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Édition: serge.normand@umontreal.ca

Évaluer la compétence professionnelle Modes d’évaluation de la performance contextuelle Évaluation écrite orale ordinateur Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Édition: serge.normand@umontreal.ca

Évaluer la compétence professionnelle Types d’instruments Performance in vivo : PS. incognito, Vidéo, Dossiers Portfolio … Performance in vitro : ECOS, Ex. PS. … Épreuves à contenus cliniques : QCM, Q. dév., Ex. oral … Épreuves factuelles : QCM, Ex. écrit, oral … Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Édition: serge.normand@umontreal.ca

Instruments d’évaluation Curriculum de Dundee Portfolio ECOS QCM-R QROC QCM Q. dév. Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261 Édition: serge.normand@umontreal.ca

Portfolio (évaluation formative et sanctionnelle) Inventaire de preuves et de réalisations cumulées par le candidat durant sa période d’apprentissage. Réflexion du candidat sur les éléments rassemblés pour témoigner des progrès enregistrés. Analyse du portfolio par des examinateurs. Dialogue entre les examinateurs et l’étudiant fondé sur les éléments du portfolio. Système de notation adapté aux finalités formatives ou sanctionnelles. Vidéos de pratique clinique, Résultats de tests formatifs, etc. Histoires de cas, Exposés, etc. Édition: serge.normand@umontreal.ca

Un outil intéressant … Portfolio Approche très individualisé de l’évaluation Permet d’évaluer les dimensions « compliquées » : développement personnel, professionnalisme, auto-apprentissage, auto-évaluation, réflexion, etc. Volet longitudinal, accumulation de preuves, mesure du progrès Exploite la richesse de l’interaction étudiant-professeur Édition: serge.normand@umontreal.ca

Des défis à relever … Portfolio Culture « nouvelle » de l’évaluation Formation des examinateurs (contexte sanctionnel) « Repenser » les critères psychométriques (validité, fidélité) Édition: serge.normand@umontreal.ca

Étude de cas Expérience de 6 ans Portfolio Étude de cas Expérience de 6 ans Portfolio assessment is a major logistical exercise for the medical school but is worth the effort The focus on the exit learning outcomes ensures high validity The portfolio process has high credibility with the staff Students were initially ambivalent about the portfolio process but their attitude towards the portfolio has improved over the years Reliability can be improved by examiner training, setting criteria for assessment decisions and the consensus approach to assessment decisions Portfolio provide an assessment framework at the level of performance Source : Davis, Margery, Portfolio assessment at Dundee medical School, Symposium on Portfolio Assessment, AMEE 2004 Conference, Edinburgh Édition: serge.normand@umontreal.ca

Étude de cas Expérience de 6 ans Portfolio Étude de cas Expérience de 6 ans Fitness to practice can be assessed using the portfolio process The portfolio process identified problems that the medical school did not have the procedures to deal with Reflection may be difficult for some individuals but it can, however, be learned Staff development and examiner training are crucial for success Student induction benefits from P-2-P learning The portfolio is not a receptacle for all coursework A balance is needed between structure to enable assessment, and selection to enable the student to submit material that reflects his/her ability in the outcomes Source : Davis, Margery, Portfolio assessment at Dundee medical School, Symposium on Portfolio Assessment, AMEE 2004 Conference, Edinburgh Édition: serge.normand@umontreal.ca

Dundee - Three Circle Model Professionalism Approach to tasks Doing the thing right Performance of Tasks Most studies stress knowledge and organization of subject matter, skills in instruction, and personal qualities and attitudes useful to working with students. If personal characteristics are emphasized … good teaching will be … those who are enthusiastic, energic, approachable, open, imaginative, and possessed of a sense of humor. If characteristics of mastering a subject matter and posessing teaching skills are emphasized , good teachers will be those who are masters of a subject, can organize and emphasize, can clarify ideas and point out relationships, can motivate students, can pose and elicit useful questions and examples, and are reasonable, imaginative, and fair in managing the details of learning. Such characteristics as stupidity, arrogance, narrowness, torpor, cynicism, dullness, and insensitively are commonly associated with bad teaching, as are shortcomings in command of subject matter or teaching skills. The right person doing it Doing the right thing Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14 Édition: serge.normand@umontreal.ca

What the doctor is able to do Doing the right thing Technical intelligences Clinical skills Practical procedures Patient investigation Patient management Health promotion and disease prevention Communication skills Information handling and retrieval Référence : HARDEN, R.M. et al. ,From competency to meta-competency: a model for the specification of learning outcomes, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education, University of Dundee, 1999 Édition: serge.normand@umontreal.ca

How the doctor approaches their practice Doing the thing right Intellectual intelligences Understanding of basic, clinical and social sciences Appropriate attitudes, ethical understanding and legal responsibilities Appropriate decision making , clinical reasoning and judgment Emotional intelligences Analytical and creative intelligences Référence : HARDEN, R.M. et al. ,From competency to meta-competency: a model for the specification of learning outcomes, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education, University of Dundee, 1999 Édition: serge.normand@umontreal.ca

The doctor as a professional The right person doing it Personal intelligences Role of the doctor within the health service Aptitude for personal development Référence : HARDEN, R.M. et al. ,From competency to meta-competency: a model for the specification of learning outcomes, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education, University of Dundee, 1999 Édition: serge.normand@umontreal.ca

http://crmcc.medical.org/canmeds/index.php Édition: serge.normand@umontreal.ca

Compétences CanMEDS 2000 Édition: serge.normand@umontreal.ca

Exemple Plan directeur CanMEDS 2000 Édition: serge.normand@umontreal.ca

Exemple Plan directeur adapté CanMEDS 2000 Édition: serge.normand@umontreal.ca

Le médecin de famille est un clinicien compétent et efficace. La médecine familiale est « communautaire ». Le médecin de famille est une ressource pour une population définie de patients. La relation médecin-patient constitue l’essence du rôle du médecin de famille. http://www.cfpc.ca/French Édition: serge.normand@umontreal.ca

Nouveaux défis professionnels pour le médecin des années 2000 Clinicien scientifique et efficace Professionnel humaniste Apprenant Communicateur Collaborateur capable de travailler en équipe Gestionnaire Leader pour sa communauté Chercheur et enseignant http://www.cmq.org Édition: serge.normand@umontreal.ca

The residency program must require its residents to obtain competencies in the 6 areas below to the level expected of a new practitioner. Toward this end, programs must define the specific knowledge, skills, and attitudes required and provide educational experiences as needed in order for their residents to demonstrate: Patient Care that is compassionate, appropriate, and effective for the treatment of health problems and the promotion of health Medical Knowledge about established and evolving biomedical, clinical, and cognate (e.g. epidemiological and social-behavioral) sciences and the application of this knowledge to patient care Practice-Based Learning and Improvement that involves investigation and evaluation of their own patient care, appraisal and assimilation of scientific evidence, and improvements in patient care Interpersonal and Communication Skills that result in effective information exchange and teaming with patients, their families, and other health professionals Professionalism, as manifested through a commitment to carrying out professional responsibilities, adherence to ethical principles, and sensitivity to a diverse patient population Systems-Based Practice, as manifested by actions that demonstrate an awareness of and responsiveness to the larger context and system of health care and the ability to effectively call on system resources to provide care that is of optimal value Approved by the ACGME, September 28, 1999 http://www.acgme.org/outcome/ Édition: serge.normand@umontreal.ca

http://www.acgme.org/outcome/ Édition: serge.normand@umontreal.ca

The New Doctor Recommendations on General Clinical Training Jan 2005 The Transitional Edition of The New Doctor Good clinical care. Doctors must practise good standards of clinical care, practise within the limits of their ability, and make sure that patients are not put at unnecessary risk. Maintaining good medical practice. Doctors must keep up to date with developments in their field and maintain their skills. Relationships with patients. Doctors must be able to develop, encourage and maintain successful relationships with their patients. Working with colleagues. Doctors must work effectively with colleagues in medicine, other health-care professions and allied health-care workers. Teaching and training. Doctors have teaching responsibilities to colleagues, patients and their relatives. They must develop the skills, attitudes and practices of a competent teacher.  Probity. Doctors must be honest. Health. Doctors must not allow their own health or condition to put patients and others at risk. Doctors must maintain their health. They must take the appropriate steps to make sure their own health does not put patients, colleagues or the public at any risk. http://www.gmc-uk.org/med_ed/default.htm Édition: serge.normand@umontreal.ca

"...our mission is to collect worldwide information on requirements and standards of undergraduate medical education and to develop the global minimum essential requirements of medical education that are necessary to equip all physicians, regardless of where they are trained, with medical knowledge, skills, professional attitudes and behavior of universal value..." http://www.iime.org Édition: serge.normand@umontreal.ca

Institute for International Medical Education Global Minimum Essential Requirements: A Road Towards Competence-Oriented Medical Education (1) Professional Values, Attitudes, Behavior and Ethics (2) Scientific Foundation of Medicine (3) Clinical Skills (4) Communication Skills (5) Population Health and Health Systems (6) Management of Information (7) Critical Thinking and Research   Institute for International Medical Education Copyright © 1999-2005 Édition: serge.normand@umontreal.ca

Nine Abilities Effective Communication Basic Clinical Skills Using Basic Science in the Practice of Medicine Diagnosis, Management, and Prevention Lifelong Learning Self-Awareness, Self-Care, and Personal Growth The Social and Community Contexts of Health Care Moral Reasoning and Clinical Ethics Problem Solving Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999 Édition: serge.normand@umontreal.ca

Knowledge Base Édition: serge.normand@umontreal.ca Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999 Édition: serge.normand@umontreal.ca

Knowledge Base Édition: serge.normand@umontreal.ca Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999 Édition: serge.normand@umontreal.ca

113 clinical tasks as the focus for learning Task-Based Learning The focus for learning is a set of tasks addressed by a doctor in clinical practice. The learning is built round the tasks and learning results as the student tries to understand not only the tasks themselves but also the concepts and mechanisms underlying the tasks. ( Harden 2000 ) The task is an important one facing a doctor. The task is likely to be encountered by students during their clinical attachments and usually in more than one attachment. The task can serve as an appropriate focus for learning clinical medicine, for reviewing the basic medical sciences and for the development of the generic competences expected of a doctor. 113 clinical tasks as the focus for learning Édition: serge.normand@umontreal.ca

Task-Based Learning Clinical attachments 1 General medicine 2 Specialized medicine 3 Ageing and health dermatology 4 Surgery 5 Orthopaedics Accident and emergency 6 ENT/Ophthalmology 7 General practice 8 Obstetrics & gynaecology 9 Child health 10 Psychiatry Pain Pain in the leg on walking Acute abdominal pain Loin pain and dysuria Joint pain Back and neck pain Indigestion Headache Cancer pain Earache Nutrition/weight Thirsty and losing weight Difficulty swallowing Weight loss Seriously overweight Source : RM Harden, J Crosby, MH Davis, PW Howie & AD Struthers, Task-based learning: the answer to integration and problem based learning in the clinical years, Medical Education 2000;34:391-397 Édition: serge.normand@umontreal.ca

SCAL Systematic Clinical Appraisal and Learning Students independently saw a patient and were asked to make judgements about the patient’s potential diagnosis, tests required, management, psychosocial needs, preventive health requirements, and any ethical problems. These judgements were then compared with those of the clinical supervisor, who saw the same patient independently. Source : RW Sanson-Fisher, IE Rolfe & N Williams, Competency based teaching: the need for a new approach to teaching clinical skills in the undergraduate medical education course, Medical Teacher 2005;27:29-36 Édition: serge.normand@umontreal.ca

Objets d’évaluation ( actuels ) au programme MD IMC - IDC 1138 1139 * * * 2127 2128 É V A L T I O N APP 1128 1129 * * * 2133 2134 É V A L T I O N EXTERNAT 3301 3302 * * * 4410 4411 Unités cours et stages Édition: serge.normand@umontreal.ca

Objets d’évaluation ( proposés ) au programme MD C O M P É T E N S IMC - IDC 1138 1139 * * * 2127 2128 APP 1128 1129 * * * 2133 2134 EXTERNAT 3301 3302 * * * 4410 4411 É V A L U A T I O N Édition: serge.normand@umontreal.ca

Formation médicale axée sur l’acquisition de compétences GTEA Édition: serge.normand@umontreal.ca