Consolider nos pratiques en évaluation des apprentissages

Présentation au sujet: "Consolider nos pratiques en évaluation des apprentissages"— Transcription de la présentation:

1 Consolider nos pratiques en évaluation des apprentissages
Faculté de médecine Bureau d’évaluation Consolider nos pratiques en évaluation des apprentissages Est-ce que la docimologie peut nous aider ? Serge Normand, M.A. Mars 2008

2 Analyser, discuter, partager …
vos attentes vos réalisations vos problèmes …

3 Qu’attendez-vous de l’évaluation ?
Question préalable Qu’attendez-vous de l’évaluation ?

4 Domaines de l’évaluation en éducation
Agrément Évaluation des apprentissages Évaluation de l’enseignement Évaluation des programmes

5 Finalités d’un système d’évaluation des apprentissages
formative Évaluation certificative

6 Le processus de l’évaluation
Examens Travaux Observations etc. Certification Qualifier la réussite Seuil de passage Approche : - relative - absolue

7 L’évaluation Quoi

8 Quelle sorte de professionnel de la santé le programme
va-t-il produire ?

9 Professionalism Approach to tasks The right person doing it
Dundee - Three Circle Model The right person doing it Professionalism Approach to tasks Doing the thing right Performance of Tasks Doing the right thing Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14

10

11 L’évaluation Quoi (suite)

12 Évaluer la compétence professionnelle Pyramide de Miller
Comportement Behaviour Savoir Cognition Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

13 L’évaluation Comment

14 Évaluer la compétence professionnelle Types d’instruments
Performance in vivo : PS. incognito, Vidéo, Dossiers Portfolio … Performance in vitro : ECOS, Ex. PS. … Épreuves à contenus cliniques : QCM, Q. dév., Ex. oral … Épreuves factuelles : QCM, Ex. écrit, oral … Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

15 Évaluer les apprentissages
Sait comment Fait Sait Démontre Évaluation

16 Évaluer les apprentissages
Ce que nous faisons le plus ! Sait comment Sait Fait Démontre Évaluation

17 Évaluer les apprentissages
Ce que nous devrions faire le plus ! Sait comment Sait Fait Démontre Évaluation

18 Instruments d’évaluation Curriculum de Dundee
Portfolio ECOS QCM-R QROC QCM Q. dév. Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3):

19 Le processus de l’évaluation
Approche : - relative - absolue

20 Comment interpréter les résultats ?

21 Interpréter les résultats

22 Le processus de l’évaluation
Qualifier la réussite Seuil de passage

23 Établir des normes de réussite Setting Performance Standards
Niveau acceptable C o m p é t e n c e s

24 Déterminer la note de passage

25 Déterminer la note de passage ( selon la méthode de Ebel )
Nombre de questions : 72 SAP : 61 %

26 Déterminer la note de passage ( selon la méthode Hofstee )

27 L’évaluation Validée

28 Validité Repères pour apprécier les instruments d’évaluation Fidélité
Faisabilité Efficacité Acceptabilité van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications. Adv health Sci Educ 1996;1:41-67.

29 Quels sont les défauts de nos examens ? Réponses des étudiants :
Pertinence par rapport à la matière enseignée du type de compétences mesurées de la formulation des questions de la notation

30 Quels sont les critères pour apprécier nos examens ?
Réponses des docimologues : Validité Objet Mesures Résultats Protocole Fidélité Commodité

31 Améliorer nos pratique en évaluation ? Quelques pistes de solution:
Mieux planifier l’évaluation Varier les instruments de mesure Respecter certaines règles docimologiques Fixer des critères de performance

32 Mieux planifier l’évaluation
? ? ?

33 Cognitif Savoir Connaissances Affectif Savoir être Attitudes
Domaines de comportements observables (pour mesurer des objectifs d’apprentissage) Cognitif Savoir Connaissances Affectif Savoir être Attitudes Psychomoteur Savoir faire Habiletés

34 Taxonomie simplifiée (pour mesurer des objectifs d’apprentissage)
Connaissance Mémoriser Compréhension Interpréter Application Solutionner

35 Tableau de spécification
Source :

36

37 Knowledge Base serge.normand@umontreal.ca
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999

38 Knowledge Base serge.normand@umontreal.ca
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999

39 Exercice 1 Préparer une ébauche de tableau de spécification
pour une épreuve écrite dans votre discipline : Importance relative des « chapitres » Niveaux taxonomiques Mémoriser Interpréter Solutionner

40 Docimologie Faculté de médecine – Bureau d’évaluation
Atelier de formation pédagogique Docimologie 1 Normes recommandées pour la rédaction de questions de type QCM et QROC

41 Docimologie Faculté de médecine – Bureau d’évaluation
Atelier de formation pédagogique Docimologie 2 L’analyse d’items une technique docimologique pour valider des questions d’examen

42 Rédiger une question QCM de type A
Exercice 2 Rédiger une question QCM de type A QCM

43 Rédiger une question à réponse ouverte courte
Exercice 3 Rédiger une question à réponse ouverte courte QROC

44

45 Merci de votre attention !
Diaporama Documentation