La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Faculté de médecine Bureau dévaluation Consolider nos pratiques en évaluation des apprentissages Est-ce que la docimologie peut.

Présentations similaires


Présentation au sujet: "Faculté de médecine Bureau dévaluation Consolider nos pratiques en évaluation des apprentissages Est-ce que la docimologie peut."— Transcription de la présentation:

1 serge.normand@umontreal.ca Faculté de médecine Bureau dévaluation Consolider nos pratiques en évaluation des apprentissages Est-ce que la docimologie peut nous aider ? Serge Normand, M.A. Mars 2008

2 serge.normand@umontreal.ca Analyser, discuter, partager … vos attentes vos réalisations vos problèmes …

3 serge.normand@umontreal.ca Question préalable Quattendez-vous de lévaluation ?

4 serge.normand@umontreal.ca Évaluation des apprentissages Évaluation de lenseignement Évaluation des programmes Domaines de lévaluation en éducation Agrément

5 serge.normand@umontreal.ca Finalités dun système dévaluation des apprentissages ResponsableFaculté Certifier compétences Mesurer les progrès Évaluation certificativ e Évaluation certificativ e Évaluatio n formative Évaluatio n formative

6 serge.normand@umontreal.ca Le processus de lévaluation Évaluer MesurerInterpréterJugerDécider Examens Travaux Observations etc. Approche : - relative - absolue Qualifier la réussite Seuil de passage Certification

7 serge.normand@umontreal.ca Lévaluation Quoi

8 serge.normand@umontreal.ca Quelle sorte de professionnel de la santé le programme va-t-il produire ?

9 serge.normand@umontreal.ca Performance of Tasks Doing the right thing Doing the thing right The right person doing it Dundee - Three Circle Model Référence :Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14

10 serge.normand@umontreal.ca http://crmcc.medical.org/canmeds/bestpractices/index.php

11 serge.normand@umontreal.ca Lévaluation Quoi (suite)

12 serge.normand@umontreal.ca Évaluer la compétence professionnelle Pyramide de Miller Fait Does Démontre Shows How Sait comment Knows How Sait Knows Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Savoir Cognition Comportement Behaviour

13 serge.normand@umontreal.ca Lévaluation Comment

14 serge.normand@umontreal.ca Évaluer la compétence professionnelle Types dinstruments Fait Démontre Sait comment Sait Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Épreuves factuelles : QCM, Ex. écrit, oral … Épreuves à contenus cliniques : QCM, Q. dév., Ex. oral … Performance in vitro : ECOS, Ex. PS. … Performance in vivo : PS. incognito, Vidéo, Dossiers Portfolio …

15 serge.normand@umontreal.ca Évaluation Sait comment Sait Fait Démontre Évaluer les apprentissages

16 serge.normand@umontreal.ca Évaluation Sait comment Sait Fait Démontre Évaluer les apprentissages Ce que nous faisons le plus !

17 serge.normand@umontreal.ca Évaluation Sait comment Sait Fait Démontre Évaluer les apprentissages Ce que nous devrions faire le plus !

18 serge.normand@umontreal.ca Instruments dévaluation Curriculum de Dundee Fait Démontre Sait comment Sait Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261 Portfolio ECOS QCM-R QROC QCM Q. dév.

19 serge.normand@umontreal.ca Le processus de lévaluation Évaluer MesurerInterpréterJugerDécider Approche : - relative - absolue

20 serge.normand@umontreal.ca Comment interpréter les résultats ?

21 serge.normand@umontreal.ca Interpréter les résultats Approche Relative Comparer avec dautres sujets Évaluation normative Absolue Comparer avec des critères Évaluation critériée

22 serge.normand@umontreal.ca Le processus de lévaluation Évaluer MesurerInterpréterJugerDécider Qualifier la réussite Seuil de passage

23 serge.normand@umontreal.ca Établir des normes de réussite Setting Performance Standards C o m p é t e n c e s Niveau acceptable

24 serge.normand@umontreal.ca Déterminer la note de passage Sources dinformation Données recueillies Distribution des résultats Examinee centered Jugement dexperts Caractéristiques des questions Test centered

25 serge.normand@umontreal.ca Déterminer la note de passage ( selon la méthode de Ebel ) Nombre de questions : 72 SAP : 61 %

26 serge.normand@umontreal.ca Déterminer la note de passage ( selon la méthode Hofstee )

27 serge.normand@umontreal.ca Lévaluation Validée

28 serge.normand@umontreal.ca Validité FidélitéFaisabilité EfficacitéAcceptabilité Repères pour apprécier les instruments dévaluation van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications. Adv health Sci Educ 1996;1:41-67.

29 serge.normand@umontreal.ca Pertinence par rapport à la matière enseignée du type de compétences mesurées de la formulation des questions de la notation Quels sont les défauts de nos examens ? Réponses des étudiants :

30 serge.normand@umontreal.ca Quels sont les critères pour apprécier nos examens ? Réponses des docimologues : Validité Fidélité Commodité Objet Mesures Résultats Protocole

31 serge.normand@umontreal.ca Mieux planifier lévaluation Varier les instruments de mesure Respecter certaines règles docimologiques Fixer des critères de performance Améliorer nos pratique en évaluation ? Quelques pistes de solution:

32 serge.normand@umontreal.ca Mieux planifier lévaluation ? ? ?

33 serge.normand@umontreal.ca Domaines de comportements observables (pour mesurer des objectifs dapprentissage) Cognitif Savoir Connaissances Affectif Savoir être Attitudes Psychomoteur Savoir faire Habiletés

34 serge.normand@umontreal.ca Taxonomie simplifiée (pour mesurer des objectifs dapprentissage) Connaissance Mémoriser Compréhension Interpréter Application Solutionner

35 serge.normand@umontreal.ca Tableau de spécification Source : jean-louis.brazier@umontreal.ca

36 serge.normand@umontreal.ca

37 Knowledge Base Référence :SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999

38 serge.normand@umontreal.ca Knowledge Base Référence :SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999

39 serge.normand@umontreal.ca Exercice 1 Préparer une ébauche de tableau de spécification pour une épreuve écrite dans votre discipline : 1.Importance relative des « chapitres » 2.Niveaux taxonomiques Mémoriser Interpréter Solutionner

40 serge.normand@umontreal.ca Docimologie Faculté de médecine – Bureau dévaluation Atelier de formation pédagogique Normes recommandées pour la rédaction de questions de type QCM et QROC 1

41 serge.normand@umontreal.ca Docimologie Faculté de médecine – Bureau dévaluation Atelier de formation pédagogique Lanalyse ditems une technique docimologique pour valider des questions dexamen 2

42 serge.normand@umontreal.ca Exercice 2 Rédiger une question QCM de type A QCM

43 serge.normand@umontreal.ca Exercice 3 Rédiger une question à réponse ouverte courte QROC

44 serge.normand@umontreal.ca anne.charbonneau@umontreal.ca www.medbev.umontreal.ca/docimowww.medbev.umontreal.ca/docimo/atelier.htm

45 serge.normand@umontreal.ca Diaporama Documentation http://www.medbev.umontreal.ca/docimo/atelier.htm serge.normand@umontreal.ca Merci de votre attention !


Télécharger ppt "Faculté de médecine Bureau dévaluation Consolider nos pratiques en évaluation des apprentissages Est-ce que la docimologie peut."

Présentations similaires


Annonces Google