UFR Paris 7 Denis Diderot1 Les bases de l’évaluation CCO Tutorat

UFR Paris 7 Denis Diderot2 Pourquoi évaluer ?

UFR Paris 7 Denis Diderot3 Evaluer l’étudiant pour… Certification de compétence la société Efficacité et pertinence p/r objectifs institutionnelsl’institution Ajustement contenu / outil / méthodel’enseignant Élément de motivation Identification erreurs- lacunes l’ étudiant

UFR Paris 7 Denis Diderot4 Evaluer l’étudiant pour… La sociétéL’étudiant sommativeEvaluation sommative ou sanctionnelle  Quantitative : note sélectionFonction de sélection jugeEnseignant : juge formativeEvaluation formative  Qualitative d’enseignementFonction d’enseignement pédagogueEnseignant : pédagogue

UFR Paris 7 Denis Diderot5 L'évaluation formative  Met en évidence Les points forts Les difficultés et erreurs,  Progressive et continue  Respectueuse de la personne

UFR Paris 7 Denis Diderot6 L’évaluation sommative Type d’évaluation Type d’évaluation Stratégie d’apprentissage Stratégie d’apprentissage  Induit toujours chez l’étudiant une stratégie d’apprentissage Car la réussite immédiate est l’obsession de tout étudiant

UFR Paris 7 Denis Diderot7 L’évaluation Tandis que le cursus définit ce qui va être enseigné, c’est l’évaluation qui dicte ce qui va être appris [Miller G.,AcademicMedicine 1993;68: ] Enseignants Etudiants Cursus Evaluation

UFR Paris 7 Denis Diderot8 Les différents outils en PACES  QCM  Questions rédactionnelles

UFR Paris 7 Denis Diderot9 Quelles sont les qualités attendues d’un outil d’évaluation?

UFR Paris 7 Denis Diderot10 Caractéristiques d’un instrument de mesure  Validité  Fiabilité Schuwirth & Van der Vleuten, BMJ 2003;326:

UFR Paris 7 Denis Diderot11 Validité :  Validité apparente : Semble adapté à ce que l’on souhaite mesurer  Validité de contenu : Couvre les aspects importants des dimensions à évaluer Jugement  Validité de construit : Statistiquement représentatif du champ de connaissance à évaluer

UFR Paris 7 Denis Diderot12 Fiabilité  Reproductibilité avec laquelle un instrument mesure une variable donnée Fiabilité interne Fiabilité inter-juges  Reproductibilité dans le temps  Reproductibilité en fonction des questions

UFR Paris 7 Denis Diderot13 Critères de choix d'un instrument d'évaluation ?

UFR Paris 7 Denis Diderot14 En pratique… Faisabilité, acceptabilité Impact éducatif Stratégies d’apprentissage Stratégies d’enseignement Compétence professionnelle ? Offre de soins ?

UFR Paris 7 Denis Diderot15 Utilité d’un instrument de mesure Van Der Vleuten C. Advances in Health Sciences Education 1996;1:  U = p r F x p v V x p v E F = Fiabilité V = Validité p = Poids E = Impact éducatif 0% Poids Evaluation formative Selection

UFR Paris 7 Denis Diderot16 Validité : Suggestions  Format de la question Contexte authentique Appeler à un raisonnement  Eviter la complexité Cas courts (à opposer aux questions à tiroir) Faciles à noter  Plusieurs méthodes Comment faire l’ascension de la pyramide? Savoir Faire Montrer comment Savoir comment Norman, 1987 ; Swanson, 1987

UFR Paris 7 Denis Diderot17 Domaine à évaluer Echantillon  Fiabilité : échantillonnage Swanson, Educational Researcher 1995;24:5-11

UFR Paris 7 Denis Diderot18 Fiabilité : Suggestions  Durée d’examen suffisante  Choix de l’instrument  Construction des questions  Approche par points clés  Note de passage

UFR Paris 7 Denis Diderot19 Durée ECOS 0,86 0,76 0,43 Oral 0,48 0,47 0,46 0,45 Simulations écrites 0,82 0,69 0,53 0,36 QCM 0,93 0,76 0,62 1 Norcini, 1985 ; Newble & Swanson, 1987 ; Swanson, 1987 ; Wass, 2001 Fiabilité : variation selon la durée de l’examen