Consolider nos pratiques en évaluation des apprentissages Faculté de médecine Bureau d’évaluation Consolider nos pratiques en évaluation des apprentissages Est-ce que la docimologie peut nous aider ? Serge Normand, M.A. Mars 2008 serge.normand@umontreal.ca

Analyser, discuter, partager … vos attentes vos réalisations vos problèmes … serge.normand@umontreal.ca

Qu’attendez-vous de l’évaluation ? Question préalable Qu’attendez-vous de l’évaluation ? serge.normand@umontreal.ca

Domaines de l’évaluation en éducation Agrément Évaluation des apprentissages Évaluation de l’enseignement Évaluation des programmes serge.normand@umontreal.ca

Finalités d’un système d’évaluation des apprentissages formative Évaluation certificative serge.normand@umontreal.ca

Le processus de l’évaluation Examens Travaux Observations etc. Certification Qualifier la réussite Seuil de passage Approche : - relative - absolue serge.normand@umontreal.ca

L’évaluation Quoi serge.normand@umontreal.ca

Quelle sorte de professionnel de la santé le programme va-t-il produire ? serge.normand@umontreal.ca

Professionalism Approach to tasks The right person doing it Dundee - Three Circle Model The right person doing it Professionalism Approach to tasks Doing the thing right Performance of Tasks Doing the right thing Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14 serge.normand@umontreal.ca

http://crmcc.medical.org/canmeds/bestpractices/index.php serge.normand@umontreal.ca

L’évaluation Quoi (suite) serge.normand@umontreal.ca

Évaluer la compétence professionnelle Pyramide de Miller Comportement Behaviour Savoir Cognition Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. serge.normand@umontreal.ca

L’évaluation Comment serge.normand@umontreal.ca

Évaluer la compétence professionnelle Types d’instruments Performance in vivo : PS. incognito, Vidéo, Dossiers Portfolio … Performance in vitro : ECOS, Ex. PS. … Épreuves à contenus cliniques : QCM, Q. dév., Ex. oral … Épreuves factuelles : QCM, Ex. écrit, oral … Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. serge.normand@umontreal.ca

Évaluer les apprentissages Sait comment Fait Sait Démontre Évaluation serge.normand@umontreal.ca

Évaluer les apprentissages Ce que nous faisons le plus ! Sait comment Sait Fait Démontre Évaluation serge.normand@umontreal.ca

Évaluer les apprentissages Ce que nous devrions faire le plus ! Sait comment Sait Fait Démontre Évaluation serge.normand@umontreal.ca

Instruments d’évaluation Curriculum de Dundee Portfolio ECOS QCM-R QROC QCM Q. dév. Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261 serge.normand@umontreal.ca

Le processus de l’évaluation Approche : - relative - absolue serge.normand@umontreal.ca

Comment interpréter les résultats ? serge.normand@umontreal.ca

Interpréter les résultats serge.normand@umontreal.ca

Le processus de l’évaluation Qualifier la réussite Seuil de passage serge.normand@umontreal.ca

Établir des normes de réussite Setting Performance Standards Niveau acceptable C o m p é t e n c e s serge.normand@umontreal.ca

Déterminer la note de passage serge.normand@umontreal.ca

Déterminer la note de passage ( selon la méthode de Ebel ) Nombre de questions : 72 SAP : 61 % serge.normand@umontreal.ca

Déterminer la note de passage ( selon la méthode Hofstee ) serge.normand@umontreal.ca

L’évaluation Validée serge.normand@umontreal.ca

Validité Repères pour apprécier les instruments d’évaluation Fidélité Faisabilité Efficacité Acceptabilité van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications. Adv health Sci Educ 1996;1:41-67. serge.normand@umontreal.ca

Quels sont les défauts de nos examens ? Réponses des étudiants : Pertinence par rapport à la matière enseignée du type de compétences mesurées de la formulation des questions de la notation serge.normand@umontreal.ca

Quels sont les critères pour apprécier nos examens ? Réponses des docimologues : Validité Objet Mesures Résultats Protocole Fidélité Commodité serge.normand@umontreal.ca

Améliorer nos pratique en évaluation ? Quelques pistes de solution: Mieux planifier l’évaluation Varier les instruments de mesure Respecter certaines règles docimologiques Fixer des critères de performance serge.normand@umontreal.ca

Mieux planifier l’évaluation ? ? ? serge.normand@umontreal.ca

Cognitif Savoir Connaissances Affectif Savoir être Attitudes Domaines de comportements observables (pour mesurer des objectifs d’apprentissage) Cognitif Savoir Connaissances Affectif Savoir être Attitudes Psychomoteur Savoir faire Habiletés serge.normand@umontreal.ca

Taxonomie simplifiée (pour mesurer des objectifs d’apprentissage) Connaissance Mémoriser Compréhension Interpréter Application Solutionner serge.normand@umontreal.ca

Tableau de spécification Source : jean-louis.brazier@umontreal.ca serge.normand@umontreal.ca

serge.normand@umontreal.ca

Knowledge Base serge.normand@umontreal.ca Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999 serge.normand@umontreal.ca

Knowledge Base serge.normand@umontreal.ca Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999 serge.normand@umontreal.ca

Exercice 1 Préparer une ébauche de tableau de spécification pour une épreuve écrite dans votre discipline : Importance relative des « chapitres » Niveaux taxonomiques Mémoriser Interpréter Solutionner serge.normand@umontreal.ca

Docimologie Faculté de médecine – Bureau d’évaluation Atelier de formation pédagogique Docimologie 1 Normes recommandées pour la rédaction de questions de type QCM et QROC serge.normand@umontreal.ca

Docimologie Faculté de médecine – Bureau d’évaluation Atelier de formation pédagogique Docimologie 2 L’analyse d’items une technique docimologique pour valider des questions d’examen serge.normand@umontreal.ca

Rédiger une question QCM de type A Exercice 2 Rédiger une question QCM de type A QCM serge.normand@umontreal.ca

Rédiger une question à réponse ouverte courte Exercice 3 Rédiger une question à réponse ouverte courte QROC serge.normand@umontreal.ca

www.medbev.umontreal.ca/docimo/atelier.htm serge.normand@umontreal.ca anne.charbonneau@umontreal.ca

Merci de votre attention ! http://www.medbev.umontreal.ca/docimo/atelier.htm serge.normand@umontreal.ca Diaporama Documentation serge.normand@umontreal.ca