Consolider nos pratiques en évaluation des apprentissages Faculté de médecine Bureau d’évaluation Consolider nos pratiques en évaluation des apprentissages Est-ce que la docimologie peut nous aider ? Serge Normand, M.A. 20-24 mars 2006

Rien, sinon une corvée dont je souhaiterais bien être dispensée ! Question préalable Qu’attendez-vous de l’évaluation ? Certifier Aider Motiver Rien, sinon une corvée dont je souhaiterais bien être dispensée ! Édition serge.normand@umontreal.ca

Évaluer les apprentissage: repères Regards sur nos pratiques actuelles Nos activités Première séance Évaluer les apprentissage: repères Regards sur nos pratiques actuelles Normes de rédaction des épreuves écrites Deuxième séance Grilles d’observation Analyse d’items Édition serge.normand@umontreal.ca

Quels sont les défauts de nos examens ? Réponses des étudiants : Pertinence par rapport à la matière enseignée du type de compétences mesurées de la formulation des questions de la notation Édition serge.normand@umontreal.ca

Quels sont les critères pour apprécier nos examens ? Réponses des docimologues : Validité Objet Mesures Résultats Protocole Fidélité Commodité Édition serge.normand@umontreal.ca

Améliorer nos pratique en évaluation ? Quelques pistes de solution: Mieux planifier l’évaluation Varier les instruments de mesure Respecter certaines règles docimologiques Fixer des critères de performance Édition serge.normand@umontreal.ca

Mieux planifier l’évaluation ? ? ? Édition serge.normand@umontreal.ca

Cognitif Savoir Connaissances Affectif Savoir être Attitudes Domaines de comportements observables (pour mesurer des objectifs d’apprentissage) Cognitif Savoir Connaissances Affectif Savoir être Attitudes Psychomoteur Savoir faire Habiletés Édition serge.normand@umontreal.ca

Taxonomie simplifiée (pour mesurer des objectifs d’apprentissage) Connaissance Mémoriser Compréhension Interpréter Application Solutionner Édition serge.normand@umontreal.ca

Tableau de spécification Source : jean-louis.brazier@umontreal.ca Édition serge.normand@umontreal.ca

Édition serge.normand@umontreal.ca

Knowledge Base Édition serge.normand@umontreal.ca Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999 Édition serge.normand@umontreal.ca

Knowledge Base Édition serge.normand@umontreal.ca Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999 Édition serge.normand@umontreal.ca

Évaluer la compétence professionnelle Pyramide de Miller Comportement Behaviour Savoir Cognition Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Édition serge.normand@umontreal.ca

Évaluer la compétence professionnelle Types d’instruments Performance in vivo : PS. incognito, Vidéo, Dossiers Portfolio … Performance in vitro : ECOS, Ex. PS. … Épreuves à contenus cliniques : QCM, Q. dév., Ex. oral … Épreuves factuelles : QCM, Ex. écrit, oral … Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Édition serge.normand@umontreal.ca

Instruments d’évaluation Curriculum de Dundee Portfolio ECOS QCM-R QROC QCM Q. dév. Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261 Édition serge.normand@umontreal.ca

Validité Repères pour apprécier les instruments d’évaluation Fidélité Faisabilité Efficacité Acceptabilité van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications. Adv health Sci Educ 1996;1:41-67. Édition serge.normand@umontreal.ca

Analysons nos épreuves : écrites orales pratiques Fait Démontre Sait comment Sait Validité Fidélité Faisabilité Efficacité Acceptabilité Repères pour apprécier les instruments d’évaluation Édition serge.normand@umontreal.ca

Docimologie Faculté de médecine – Bureau d’évaluation Atelier de formation pédagogique Docimologie 1 Normes recommandées pour la rédaction de questions de type QCM et QROC

Docimologie Faculté de médecine – Bureau d’évaluation Atelier de formation pédagogique Docimologie 2 Normes recommandées pour l’élaboration de grilles d’observation

Docimologie Faculté de médecine – Bureau d’évaluation Atelier de formation pédagogique Docimologie 3 L’analyse d’items une technique docimologique pour valider des questions d’examen

Mes références « Coup de cœur » 2005 The place of the oral examination in today’s assessment systems Margery H. Davis & Indika Karunathilake Medical Teacher, Vol. 27, No. 4, 2005, pp.294-297 Édition serge.normand@umontreal.ca

www.medbev.umontreal.ca/docimo/medulb.htm Édition serge.normand@umontreal.ca

Merci de votre attention ! http://www.medbev.umontreal.ca/docimo/medulb.htm serge.normand@umontreal.ca Diaporama Documentation