L’évaluation des apprentissages en sciences de la santé Faculté de médecine Bureau d’évaluation L’évaluation des apprentissages en sciences de la santé Bilan et perspective Serge Normand, M.A. 20 mars 2006

Évaluation des apprentissages en sciences de la santé Bilan et perspective Docimologue « praticien » Édition: serge.normand@umontreal.ca

Domaines de l’évaluation en éducation Agrément Évaluation interne et externe Apprentissages Étudiants Enseignement Enseignants Programmes Édition: serge.normand@umontreal.ca

Mon album photo … Contexte Processus Objets Finalités Édition: serge.normand@umontreal.ca

Évaluation des apprentissages Contexte Évaluation des apprentissages Chers professeurs ! Chers pédagogues ! Édition : serge.normand@umontreal.ca

Évaluation Assessment Contexte « s’asseoir avec » « accompagner » Édition : serge.normand@umontreal.ca

« Renouveau pédagogique » Professeur enseigne à l’étudiant Étudiant apprend avec l’aide du professeur Édition: serge.normand@umontreal.ca

Évaluation des apprentissages Objet Évaluation des apprentissages Édition: serge.normand@umontreal.ca

Quelle sorte de docteur le programme va-t-il produire ? Objet Faculté de médecine Quelle sorte de docteur le programme va-t-il produire ? Édition: serge.normand@umontreal.ca

http://crmcc.medical.org/canmeds/bestpractices/index.php Édition: serge.normand@umontreal.ca

l’acquisition de compétences Faculté de médecine Formation médicale C O M P É T E N S Prédoctorale Programme MD Postdoctorale Programmes de résidence Continue Programmes FMC Formation, certification, maintien axée sur l’acquisition de compétences Édition: serge.normand@umontreal.ca

Post-doctorale et Formation professionnelle continue Convergence des rôles Post-doctorale et Formation professionnelle continue Pré-doctorale Anamnèse Examen Communication Contexte Intégration connaissances Éthique IMC-IDC Interrogatoire Examen physique Gestes techniques Prise en charge Investigation Traitement Communiquer Travailler en équipe Intégration connaissances Jugement critique Maintien compétence Éducateur Promotion santé Notions éthiques Professionnalisme Externat - MD Clinicien scientifique et efficace Communicateur Enseignant Collaborateur Travailler équipe Apprenant Chercheur Gestionnaire Leader pour sa communauté Professionnel humaniste CMQ - 2000 Clinicien compétent et efficace Relation médecin-patient Communautaire Ressource pour population définie de patients CMFC - 2000 Expertise médicale Communication Collaboration Érudition Gestion Promotion de la santé Professionnalisme CanMEDS-2005 Édition: serge.normand@umontreal.ca

Finalités d’un système d’évaluation des apprentissages formative Évaluation certificative Édition: serge.normand@umontreal.ca

L’évaluation questionnée … Formative par nature … … et certificative seulement par déformation CARDINET, J. et D. LAVEAULT, L’activité évaluative en éducation: évolution des préoccupations des deux côtés de l’Atlantique, in L’activité évaluative réinterrogée (Figari, G. et al. ), Éditions De Boeck Université, 2001. Évaluation formative Évaluation certificative Édition: serge.normand@umontreal.ca

L’évaluation questionnée … Renseigner l’enseignant sur les résultats de l’apprentissage. L’évaluation appartient à l’enseignant. Le rôle de l’enseignant est d’aider l’élève à maîtriser l’évaluation pour réguler son apprentissage. VESLIN, Odile et Jean VESLIN, Évaluation formatrice et critères de réalisation, in L’activité évaluative réinterrogée (Figari, G. et al. ), Éditions De Boeck Université, 2001. Régulation Aide Contrôle Mesure Édition: serge.normand@umontreal.ca

How convincing is alternative assessment for use in higher education ? Within the higher education sector, the preparation of our graduates to take their professional place in society necessitates benchmarks through which student entry, progress, qualification and graduation is recorded. So however much we might want to be primarily concerned with the diagnosis and support of student learning, the reality is that assessment in higher education is not confined to instructional improvement Référence : Maclellan, Effie, How convincing is alternative assessment for use in higher education ?, Assessment & Evaluation in Higher Education, June 2004. Édition: serge.normand@umontreal.ca

Le processus de l’évaluation Examens Travaux Observations etc. Certification Qualifier la réussite Seuil de passage Approche : - relative - absolue Édition: serge.normand@umontreal.ca

Le processus de l’évaluation Examens Travaux Observations etc. Édition: serge.normand@umontreal.ca

Évaluer la compétence professionnelle Pyramide de Miller Comportement Behaviour Savoir Cognition Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Édition: serge.normand@umontreal.ca

Évaluer les apprentissages Sait comment Fait Sait Démontre Évaluation Édition: serge.normand@umontreal.ca

Évaluer les apprentissages Ce que nous faisons le plus ! Sait comment Sait Fait Démontre Évaluation Édition: serge.normand@umontreal.ca

Évaluer les apprentissages Ce que nous devrions faire le plus ! Sait comment Sait Fait Démontre Évaluation Édition: serge.normand@umontreal.ca

Faculté de médecine Instruments d’évaluation Portfolio ECOS Q4 QROC QCM Édition: serge.normand@umontreal.ca

Le processus de l’évaluation Approche : - relative - absolue Édition: serge.normand@umontreal.ca

Comment interpréter les résultats ? Édition: serge.normand@umontreal.ca

Interpréter les résultats Édition: serge.normand@umontreal.ca

Le processus de l’évaluation Qualifier la réussite Seuil de passage Édition: serge.normand@umontreal.ca

Établir des normes de réussite Setting Performance Standards Niveau acceptable C o m p é t e n c e s Édition: serge.normand@umontreal.ca

Déterminer la note de passage Édition: serge.normand@umontreal.ca

Déterminer la note de passage ( selon la méthode de Ebel ) Nombre de questions : 72 SAP : 61 % Édition: serge.normand@umontreal.ca

Déterminer la note de passage ( selon la méthode Hofstee ) Édition: serge.normand@umontreal.ca

Choisir de nouvelles unités d’évaluation Perspectives Choisir de nouvelles unités d’évaluation Édition: serge.normand@umontreal.ca

Occasions d’apprentissages au programme MD Faculté de médecine Occasions d’apprentissages au programme MD IMC - IDC 1138 1139 * * * 2127 2128 APP 1128 1129 * * * 2133 2134 EXTERNAT 3301 3302 * * * 4410 4411 Édition: serge.normand@umontreal.ca

Objets d’évaluation ( actuels ) au programme MD Faculté de médecine Recommandations du GTEA - 2004 Objets d’évaluation ( actuels ) au programme MD IMC - IDC 1138 1139 * * * 2127 2128 É V A L U A T I O N APP 1128 1129 * * * 2133 2134 É V A L U A T I O N EXTERNAT 3301 3302 * * * 4410 4411 Unités cours et stages Édition: serge.normand@umontreal.ca

Objets d’évaluation ( proposés ) au programme MD Faculté de médecine Recommandations du GTEA - 2004 Objets d’évaluation ( proposés ) au programme MD C O M P É T E N S IMC - IDC 1138 1139 * * * 2127 2128 APP 1128 1129 * * * 2133 2134 EXTERNAT 3301 3302 * * * 4410 4411 É V A L U A T I O N Édition: serge.normand@umontreal.ca

Choisir de nouvelles unités d’évaluation Évaluer sur un continuum Perspectives Choisir de nouvelles unités d’évaluation Évaluer sur un continuum Édition: serge.normand@umontreal.ca

Système d’évaluation des apprentissages au programme MD Faculté de médecine Recommandations du GTEA - 2004 Système d’évaluation des apprentissages au programme MD C o m p é t e n c e m é d i c a l e Évaluation formative Évaluation sommative et sanctionnelle CONNAISSANCES CERTIFICATION des COMPÉTENCES HABILETÉS + ATTITUDES Édition: serge.normand@umontreal.ca

Test de rendement périodique (Progress Test) Édition: serge.normand@umontreal.ca

Choisir de nouvelles unités d’évaluation Évaluer sur un continuum Perspectives Choisir de nouvelles unités d’évaluation Évaluer sur un continuum Varier les instruments Édition: serge.normand@umontreal.ca

Choisir les instruments d’évaluation appropriés Compétences Édition: serge.normand@umontreal.ca

Choisir de nouvelles unités d’évaluation Évaluer sur un continuum Perspectives Choisir de nouvelles unités d’évaluation Évaluer sur un continuum Varier les instruments Responsabiliser les étudiants Édition: serge.normand@umontreal.ca

Source des indicateurs pour évaluer la compétence au niveau de la pratique · Self assessment exercises · Peer assessment ratings · Assessment by co-workers · Direct evaluation of skills · Log books or reflective diaries · Prescribing profiles or other practice based data · Portfolio assessment Fait Démontre Source : Dauphinee, W.D. Assessment of Specialty Competence in Credentialing Physician Specialists: A World Perpective RCPSC and ABMS Proceedings, Chicago, 2000. Édition: serge.normand@umontreal.ca

Choisir de nouvelles unités d’évaluation Évaluer sur un continuum Perspectives Choisir de nouvelles unités d’évaluation Évaluer sur un continuum Varier les instruments Responsabiliser les étudiants Évaluer l’évaluation Édition: serge.normand@umontreal.ca

Validité Repères pour apprécier les instruments d’évaluation Fidélité Faisabilité Efficacité Acceptabilité van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications. Adv health Sci Educ 1996;1:41-67. Édition: serge.normand@umontreal.ca

Choisir de nouvelles unités d’évaluation Évaluer sur un continuum Perspectives Choisir de nouvelles unités d’évaluation Évaluer sur un continuum Varier les instruments Responsabiliser les étudiants Évaluer l’évaluation Travailler en équipe Édition: serge.normand@umontreal.ca

Merci de votre attention Pour en savoir plus … www.medbev.umontreal.ca/docimo Rubrique: Dossier compétences Diaporama Bibliographie serge.normand@umontreal.ca

www.medbev.umontreal.ca/docimo/medulb.htm Édition: serge.normand@umontreal.ca