Déterminer la note de passage et qualifier la réussite Faculté de médecine CPASS -Évaluation Déterminer la note de passage et qualifier la réussite dans des épreuves de certification Serge Normand, M.A. XVIIe Journées universitaires de pédagogie des sciences de la santé CIDMEF Lille - 5-8 avril 2008

Objectifs Déterminer une note de passage – Qualifier la réussite Aborder des problématiques souvent négligées Vulgariser quelques approches relativement faciles à implanter Échanger, discuter, analyser vos pratiques serge.normand@umontreal.ca

Un peu de vocabulaire … Notation Action d’attribuer un score ( chiffre ou pourcentage ) ou une cote ( lettre ou symbole ) sur les apprentissages. Score Nombre exprimant le résultat obtenu à un test, à un examen ou`à une production scolaire. Cote Symbole alphabétique ( A, B, C, D, E, F, …), numérique (1,2,3,4,5, …) ou autre qui traduit le résultat d’une performance. Note Valeur numérique qui traduit le résultat de la mesure ou de l’appréciation d’une performance. Note de passage Seuil de réussite appliqué à la totalité d’un instrument de mesure qui porte sur un large domaine et imposé à tous les répondants. Legendre, R, Dictionnaire actuel de l’éducation, 2005 serge.normand@umontreal.ca 3

Nos échelles … Nos habitudes … 20 19 18 … 13 12 11 10 9 1 100 99 98 … 61 60 50 49 1 De l’autre côté D’un coté de l’Atlantique serge.normand@umontreal.ca 4

Aborder des problématiques souvent négligées Comment déterminer une note de passage qui soit la plus « juste » possible ? Comment qualifier la réussite dans une cohorte de candidats qui ont subi une épreuve d’évaluation des apprentissage ? serge.normand@umontreal.ca

Grilles d’observation Vulgariser quelques approches relativement faciles à implanter Épreuves écrites Méthode EBEL Cote Z Approche Hofstee Grilles d’observation 4. ECOS – Borderline Group 5. Échelles descriptives serge.normand@umontreal.ca

Évaluer les apprentissages Rappel Évaluer les apprentissages Examens Travaux Observations etc. Certification Approche : - relative - absolue Qualifier la réussite Note de passage serge.normand@umontreal.ca

Évaluer les apprentissages Approche : - relative - absolue serge.normand@umontreal.ca

Comment interpréter les résultats ? serge.normand@umontreal.ca

Interpréter les résultats serge.normand@umontreal.ca

Évaluer les apprentissages Qualifier la réussite Note de passage serge.normand@umontreal.ca

Combien faut-il pour passer ? Un enjeux important: déterminer la note de passage ( Setting Performance Standards ) Combien faut-il pour passer ? How much is enough ? Niveau acceptable C o m p é t e n c e s serge.normand@umontreal.ca

Déterminer une note de passage Sources d’information Jugements d’experts Caractéristiques des questions Test centered Données recueillies Distribution des résultats Examinee centered serge.normand@umontreal.ca

Méthodes Angoff Nedelsky Candidat Ebel à la LIMITE Hofstee Un enjeux important: déterminer la note de passage ( Setting Performance Standards ) Méthodes Angoff Nedelsky Ebel Hofstee Contrasting Group Borderline Group Direct Borderline (2003) Etc… Candidat à la LIMITE « borderline »

Étude de cas No 1 Méthode EBEL Déterminer une note de passage Épreuves écrites Caractéristiques des questions Jugement de (plusieurs) experts « Imaginer » le candidat limite Ne repose pas sur la distribution des résultats serge.normand@umontreal.ca

Déterminer la note de passage ( selon la méthode EBEL ) Situez chaque question ou élément de questions qui composent l’épreuve dans les cellules de cette grille; par exemple, une questions de 3 points comportera 3 entrées dans la grille. Dans chaque cellule, une proportion de questions qu’un candidat à compétence acceptable devrait réussir est proposée. Pour chaque cellule, multipliez le nombre de questions (ou d’éléments) par le pourcentage correspondant et faites ensuite la somme de ces produits. La valeur obtenue divisée par le nombre total de questions (ou d’éléments) constitue la note de passage pour cette épreuve exprimée en pourcentage. serge.normand@umontreal.ca

Déterminer la note de passage ( selon la méthode EBEL ) Nombre de questions : 72 SAP : 61 % serge.normand@umontreal.ca

Déterminer la note de passage ( variante: méthode « Direct Borderline » ) Question 1 oui non Question 2 oui non Question 3 oui non Exemple Nombre de questions: 25 Nombre de OUI : 16 SAP : 64 % Question … oui non Question … oui non Question 25 oui non Indiquez pour chaque question si un candidat à compétence acceptable devrait répondre correctement à la question. Le nombre total de « OUI » divisé par le nombre total de questions constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage. serge.normand@umontreal.ca

Étude de cas No 2 Utilisation de la cote Z Qualifier la réussite et/ou Déterminer la note de passage Épreuves écrites – Notes « cumulatives » Repose sur la distribution des résultats Approche normative Standardisation vs Normalisation serge.normand@umontreal.ca

Zx = X - Mx sx Moyenne Écart type N 69,5 13,13 99 76 – 69,5 13,13 0,50 =

Les formules où X et Y = scores du « sujet » n et N = ensemble des « sujets » Moyenne : Mx = S X N Écart type : sx = S X - Mx 2 N Variance : sx = sx2 Score standard : Zx = X - Mx sx serge.normand@umontreal.ca

Distribution normale serge.normand@umontreal.ca

Distribution normale 68 % 96 % σ μ σ serge.normand@umontreal.ca

Distribution Z standardisée Moyenne Écart type N 69,5 13,13 99 75,4 10,0 99 Distribution Z standardisée

Distribution Z normalisée Moyenne Écart type N 69,5 13,13 99 76,1 10,04 99 Distribution Z normalisée

Utiliser la Cote Z pour … Niveau acceptable Qualifier la réussite ? C o m p é t e n c e s serge.normand@umontreal.ca 26

Système de notation littérale Excellent Très bon Bon Passable Échec A+ A A- B+ B B- C+ C C- D+ D E Identifier des « paliers » de réussite serge.normand@umontreal.ca

Utiliser la Cote Z pour qualifier la réussite Excellent Très bon Bon Passable Échec A+ A A- B+ B B- C+ C C- D+ D E serge.normand@umontreal.ca

Exemple de notation littérale via Cote Z serge.normand@umontreal.ca

Cote Z Moyenne = 0,0 Écart-type = 1,0 Score standard Moyenne = 500 Utiliser un score standard ( Cote Z ) pour analyser le « profil » d’un candidat Cote Z Moyenne = 0,0 Écart-type = 1,0 Score standard Moyenne = 500 Écart-type = 100 serge.normand@umontreal.ca

Calculer un score standard à partir d’une cote Z Calculer le score standard pour une note de 81 Moyenne Écart type 69,5 13,13 Statistiques de la distribution 81 – 69,5 13,13 0,87 = Calcul du score Z Calcul du score standard 587 = ( 0,87 X 100 ) + 500 Score standard = 587 serge.normand@umontreal.ca

Distribution normale – Score standard Moyenne = 500 Écart-type = 100 serge.normand@umontreal.ca

Profil de candidats en Scores standards Candidat Ex 1 Ex 2 Ex 3 Ex 4 Ex 5 A 482 503 515 408 575 B 680 710 590 740 760 C 273 405 333 397 410 serge.normand@umontreal.ca

Étude de cas No 3 Approche Hofstee Déterminer la note de passage Approche normative Hautement politique Épreuves de sélection serge.normand@umontreal.ca

Déterminer la note de passage ( selon la méthode Hofstee ) Quelle est la note de passage maximun ? 50 60 Quelle est la note de passage minimum ? Quel est le % maximun d’échecs ? 10 % 30 % Quel est le % minimum d’échecs ? serge.normand@umontreal.ca 35

Étude de cas No 4 Méthode « Borderline Group » Déterminer la note de passage - ECOS Appropriée pour les grilles d’observation Combine appréciation globale de l’évaluateur et distribution des résultats Corrige la « variabilité » des évaluateurs serge.normand@umontreal.ca

Grille d’observation Station ECOS Examen clinique objectif standardisé Fait Non fait Item 1 Item 2 Item x TOTAL Moyennes des scores par examinateurs    1 = Échec 2 = Limite insuffisant 3 = Limite suffisant 4 = Attendu 5 = Excellent  Éval. Globale 1 2 3 4 5 serge.normand@umontreal.ca

Déterminer la note de passage – Station ECOS ( selon la méthode Borderline Group ) Station No 1 serge.normand@umontreal.ca

Cohorte Limite / Suffisant Déterminer la note de passage –ECOS ( selon la méthode Borderline Group ) Cohorte Limite / Suffisant Station N Moyennes S1 16 60,0 S2 17 69,2 S3 6 61,8 S4 30 70,3 S5 24 64,5 S6 63,8 S7 25 62,2 S8 20 59,5 S9 64,8 S10 10 64,3 Moyenne 18,9 64,0 serge.normand@umontreal.ca 39

Étude de cas No 5 Échelles qualitatives et descriptives Déterminer la note de passage Approche critériée Identifier des critères déterminants Évaluation formative vs évaluation certificative serge.normand@umontreal.ca

Exemples Échelles qualitatives et descriptives Critère : coopération ( échange des idées ) Évaluation certificative Échelle uniforme Excellente Satisfaisante Insatisfaisante descriptive Donne ses idées et accepte celle des autres Donne ses idées ou accepte celles des autres Ne donne pas d’idée et n’accepte pas celles des autres Évaluation formative SCALLON, Gérard, L’évaluation des apprentissages dans une approche par compétences, Édition du renouveau pédagogique, 2004

Exemple d’un protocole de notation pour grille d’observation Échelle de notation au-delà des attentes : (Plus +) conforme aux attentes : (Attendu) en deçà des attentes : (Moins –) Protocole de notation 1. 100% des critères cotés (Attendu) => B+ si aucun critère n’est coté (Moins -) et que : 2. 75% des critères cotés (Plus +) => A+ 3. 50% des critères cotés (Plus +) => A 4. 25% des critères cotés (Plus +) => A- si des critères cotés (Moins -) sont présents et que 50% des critères sont cotés (Plus +) : 5. les règles 2 à 4 s’appliquent, mais la notation littérale est réduite d’un nombre de paliers égal au nombre de critères (Moins -) Exemple : si les règles 2 à 4 génèrent une notation de A, mais que 2 critères ont été cotés (Moins -), la notation sera réduite de 2 paliers à B+ autrement : 6. 10% des critères cotés (Moins -) => B+ 7. 20% des critères cotés (Moins -) => B 8. 25% des critères cotés (Moins -) => B- 9. 30% des critères cotés (Moins -) => C+ 10. 35% des critères cotés (Moins -) => C Situation d’échec Si 50% des critères sont cotés (Moins -) ou Si l’un ou l’autre des critères déterminants sont cotés (Moins - )

Échelles d’appréciation Sait faire évoluer le domaine en innovant Expert Sait maîtriser parfaitement et sait transmettre ses connaissances Compétent professionnel confirmé Sait maîtriser parfaitement Compétent professionnel Sait faire de manière autonome sans le soutien du superviseur Compétent Sait faire avec le soutien du superviseur Intermédiaire Ne sait pas faire Débutant serge.normand@umontreal.ca

Critères déterminants

CPASS – Évaluation, Faculté de médecine, Université de Montréal, 2008

CPASS – Évaluation, Faculté de médecine, Université de Montréal, 2008

Vierset, V. et Foidart, J. M. , Faculté de Médecine Vierset, V. et Foidart, J.M., Faculté de Médecine. Université de Liège Service Gynécologie-Obstétrique, 2007

Bibliographie sélective Notation – Standard Setting BOULET, J.R. et al., Setting defensible performance standards on OSCEs and standardized patient examinations, Medical Teacher 2003;25(3):245-249. CUSIMANO, MD. et al., The Effect of Incorporating Normative data into a Criterion-Referenced Standard Setting in Medical Education, Acad Med 2003;78(10suppl):S88-90. DOWNING,SM et al., Establishing Passing Standards for Classroom Achievement Tests in Medical Education: A Comparative Study of Four Methods, Academic Medicine, Acad Med 2003;78(10suppl):S85-87. SMEE, SM., Setting standards for an objectif structured clinical examination: the borderline group method gains ground on Angoff, Med Educ 2001;35:1009-1010. WILKINSON TJ. et al., Standard setting in an objective structured clinical examination: use of global ratings borderline performance to determine the passing scores, Med Educ 2001;35:1043-1049. McILROY, JH., The Impact of an Alternative Approach to Computing Station Cut Scores in an OSCE, Acad Med 2000;75(10suppl):S18-20. FRIEDMAN BEN-DAVID, M., Standard setting in student assessment, AMEE Medical Education Guide No 18, University of Dundee, 2000. CIZEK, GJ., Setting Passing Scores, Educational Measurement: Issues and Practice, NCME, 1996. CUSIMANO, MD., Standard Setting in Medical Education, Acad Med 1996;71(10suppl):S112-120.

Merci de votre attention ! http://www.medbev.umontreal.ca/docimo serge.normand@umontreal.ca Diaporama Documentation

Les formules où X et Y = scores du « sujet » n et N = ensemble des « sujets » Moyenne : Mx = S X N Écart type : sx = S X - Mx 2 N Variance : sx = sx2 Score standard : Zx = X - Mx sx Corrélation : rxy = S X - Mx Y - My Nsxsy serge.normand@umontreal.ca

Les formules où X = score du « sujet », N = ensemble des « sujets » et r xx = indice de fidélité Moyenne : Mx = S X N Écart type : sx = S X - Mx 2 N Erreur type (moyenne) : s x = sx N Niveau de confiance à 95% : plus ou moins 1.96 s x Erreur de mesure : se = sx 1 – r xx serge.normand@umontreal.ca

Fidélité Coefficient d ’homogénéité interne Alpha de Cronbach k k - 1 1 - S s 2 j s 2 t où : k : nombre d’items s 2 j : variance des scores à l’item j s 2 t : variance des scores à l ’ensemble du test serge.normand@umontreal.ca