Déterminer la note de passage et qualifier la réussite

Présentation au sujet: "Déterminer la note de passage et qualifier la réussite"— Transcription de la présentation:

1 Déterminer la note de passage et qualifier la réussite
Faculté de médecine CPASS -Évaluation Déterminer la note de passage et qualifier la réussite dans des épreuves de certification Serge Normand, M.A. XVIIe Journées universitaires de pédagogie des sciences de la santé CIDMEF Lille avril 2008

2 Objectifs Déterminer une note de passage – Qualifier la réussite
Aborder des problématiques souvent négligées Vulgariser quelques approches relativement faciles à implanter Échanger, discuter, analyser vos pratiques

3 Un peu de vocabulaire … Notation
Action d’attribuer un score ( chiffre ou pourcentage ) ou une cote ( lettre ou symbole ) sur les apprentissages. Score Nombre exprimant le résultat obtenu à un test, à un examen ou`à une production scolaire. Cote Symbole alphabétique ( A, B, C, D, E, F, …), numérique (1,2,3,4,5, …) ou autre qui traduit le résultat d’une performance. Note Valeur numérique qui traduit le résultat de la mesure ou de l’appréciation d’une performance. Note de passage Seuil de réussite appliqué à la totalité d’un instrument de mesure qui porte sur un large domaine et imposé à tous les répondants. Legendre, R, Dictionnaire actuel de l’éducation, 2005 3

4 Nos échelles … Nos habitudes …
20 19 18 … 13 12 11 10 9 1 100 99 98 … 61 60 50 49 1 De l’autre côté D’un coté de l’Atlantique 4

5 Aborder des problématiques souvent négligées
Comment déterminer une note de passage qui soit la plus « juste » possible ? Comment qualifier la réussite dans une cohorte de candidats qui ont subi une épreuve d’évaluation des apprentissage ?

6 Grilles d’observation
Vulgariser quelques approches relativement faciles à implanter Épreuves écrites Méthode EBEL Cote Z Approche Hofstee Grilles d’observation 4. ECOS – Borderline Group 5. Échelles descriptives

7 Évaluer les apprentissages
Rappel Évaluer les apprentissages Examens Travaux Observations etc. Certification Approche : - relative - absolue Qualifier la réussite Note de passage

8 Évaluer les apprentissages
Approche : - relative - absolue

9 Comment interpréter les résultats ?

10 Interpréter les résultats

11 Évaluer les apprentissages
Qualifier la réussite Note de passage

12 Combien faut-il pour passer ?
Un enjeux important: déterminer la note de passage ( Setting Performance Standards ) Combien faut-il pour passer ? How much is enough ? Niveau acceptable C o m p é t e n c e s

13 Déterminer une note de passage
Sources d’information Jugements d’experts Caractéristiques des questions Test centered Données recueillies Distribution des résultats Examinee centered

14 Méthodes Angoff Nedelsky Candidat Ebel à la LIMITE Hofstee
Un enjeux important: déterminer la note de passage ( Setting Performance Standards ) Méthodes Angoff Nedelsky Ebel Hofstee Contrasting Group Borderline Group Direct Borderline (2003) Etc… Candidat à la LIMITE « borderline »

15 Étude de cas No 1 Méthode EBEL Déterminer une note de passage
Épreuves écrites Caractéristiques des questions Jugement de (plusieurs) experts « Imaginer » le candidat limite Ne repose pas sur la distribution des résultats

16 Déterminer la note de passage ( selon la méthode EBEL )
Situez chaque question ou élément de questions qui composent l’épreuve dans les cellules de cette grille; par exemple, une questions de 3 points comportera 3 entrées dans la grille. Dans chaque cellule, une proportion de questions qu’un candidat à compétence acceptable devrait réussir est proposée. Pour chaque cellule, multipliez le nombre de questions (ou d’éléments) par le pourcentage correspondant et faites ensuite la somme de ces produits. La valeur obtenue divisée par le nombre total de questions (ou d’éléments) constitue la note de passage pour cette épreuve exprimée en pourcentage.

17 Déterminer la note de passage ( selon la méthode EBEL )
Nombre de questions : 72 SAP : 61 %

18 Déterminer la note de passage ( variante: méthode « Direct Borderline » )
Question 1 oui non Question 2 oui non Question 3 oui non Exemple Nombre de questions: 25 Nombre de OUI : SAP : 64 % Question … oui non Question … oui non Question 25 oui non Indiquez pour chaque question si un candidat à compétence acceptable devrait répondre correctement à la question. Le nombre total de « OUI » divisé par le nombre total de questions constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage.

19 Étude de cas No 2 Utilisation de la cote Z Qualifier la réussite et/ou Déterminer la note de passage
Épreuves écrites – Notes « cumulatives » Repose sur la distribution des résultats Approche normative Standardisation vs Normalisation

20 Zx = X - Mx sx Moyenne Écart type N 69,5 13,13 99 76 – 69,5 13,13
0,50 =

21 Les formules où X et Y = scores du « sujet » n et N = ensemble des « sujets »
Moyenne : Mx = S X N Écart type : sx = S X - Mx 2 N Variance : sx = sx2 Score standard : Zx = X - Mx sx

22 Distribution normale

23 Distribution normale 68 % 96 % σ μ σ

24 Distribution Z standardisée
Moyenne Écart type N 69,5 13,13 99 75,4 10,0 99 Distribution Z standardisée

25 Distribution Z normalisée
Moyenne Écart type N 69,5 13,13 99 76,1 10,04 99 Distribution Z normalisée

26 Utiliser la Cote Z pour …
Niveau acceptable Qualifier la réussite ? C o m p é t e n c e s 26

27 Système de notation littérale
Excellent Très bon Bon Passable Échec A+ A A- B+ B B- C+ C C- D+ D E Identifier des « paliers » de réussite

28 Utiliser la Cote Z pour qualifier la réussite
Excellent Très bon Bon Passable Échec A+ A A- B+ B B- C+ C C- D+ D E

29 Exemple de notation littérale via Cote Z

30 Cote Z Moyenne = 0,0 Écart-type = 1,0 Score standard Moyenne = 500
Utiliser un score standard ( Cote Z ) pour analyser le « profil » d’un candidat Cote Z Moyenne = 0,0 Écart-type = 1,0 Score standard Moyenne = 500 Écart-type = 100

31 Calculer un score standard à partir d’une cote Z
Calculer le score standard pour une note de 81 Moyenne Écart type 69,5 13,13 Statistiques de la distribution 81 – 69,5 13,13 0,87 = Calcul du score Z Calcul du score standard 587 = ( 0,87 X 100 ) + 500 Score standard = 587

32 Distribution normale – Score standard
Moyenne = 500 Écart-type = 100

33 Profil de candidats en Scores standards
Candidat Ex 1 Ex 2 Ex 3 Ex 4 Ex 5 A B C

34 Étude de cas No 3 Approche Hofstee Déterminer la note de passage
Approche normative Hautement politique Épreuves de sélection

35 Déterminer la note de passage ( selon la méthode Hofstee )
Quelle est la note de passage maximun ? 50 60 Quelle est la note de passage minimum ? Quel est le % maximun d’échecs ? 10 % 30 % Quel est le % minimum d’échecs ? 35

36 Étude de cas No 4 Méthode « Borderline Group » Déterminer la note de passage - ECOS
Appropriée pour les grilles d’observation Combine appréciation globale de l’évaluateur et distribution des résultats Corrige la « variabilité » des évaluateurs

37 Grille d’observation Station ECOS Examen clinique objectif standardisé
Fait Non fait Item 1 Item 2 Item x TOTAL Moyennes des scores par examinateurs    1 = Échec 2 = Limite insuffisant 3 = Limite suffisant 4 = Attendu 5 = Excellent  Éval. Globale

38 Déterminer la note de passage – Station ECOS ( selon la méthode Borderline Group ) Station No 1

39 Cohorte Limite / Suffisant
Déterminer la note de passage –ECOS ( selon la méthode Borderline Group ) Cohorte Limite / Suffisant Station N Moyennes S1 16 60,0 S2 17 69,2 S3 6 61,8 S4 30 70,3 S5 24 64,5 S6 63,8 S7 25 62,2 S8 20 59,5 S9 64,8 S10 10 64,3 Moyenne 18,9 64,0 39

40 Étude de cas No 5 Échelles qualitatives et descriptives Déterminer la note de passage
Approche critériée Identifier des critères déterminants Évaluation formative vs évaluation certificative

41 Exemples Échelles qualitatives et descriptives
Critère : coopération ( échange des idées ) Évaluation certificative Échelle uniforme Excellente Satisfaisante Insatisfaisante descriptive Donne ses idées et accepte celle des autres Donne ses idées ou accepte celles des autres Ne donne pas d’idée et n’accepte pas celles des autres Évaluation formative SCALLON, Gérard, L’évaluation des apprentissages dans une approche par compétences, Édition du renouveau pédagogique, 2004

42 Exemple d’un protocole de notation pour grille d’observation
Échelle de notation au-delà des attentes : (Plus +) conforme aux attentes : (Attendu) en deçà des attentes : (Moins –) Protocole de notation % des critères cotés (Attendu) => B si aucun critère n’est coté (Moins -) et que : % des critères cotés (Plus +) => A+ % des critères cotés (Plus +) => A % des critères cotés (Plus +) => A si des critères cotés (Moins -) sont présents et que % des critères sont cotés (Plus +) : 5. les règles 2 à 4 s’appliquent, mais la notation littérale est réduite d’un nombre de paliers égal au nombre de critères (Moins -) Exemple : si les règles 2 à 4 génèrent une notation de A, mais que 2 critères ont été cotés (Moins -), la notation sera réduite de 2 paliers à B+ autrement : % des critères cotés (Moins -) => B+ % des critères cotés (Moins -) => B % des critères cotés (Moins -) => B- % des critères cotés (Moins -) => C+ % des critères cotés (Moins -) => C Situation d’échec Si 50% des critères sont cotés (Moins -) ou Si l’un ou l’autre des critères déterminants sont cotés (Moins - )

43 Échelles d’appréciation
Sait faire évoluer le domaine en innovant Expert Sait maîtriser parfaitement et sait transmettre ses connaissances Compétent professionnel confirmé Sait maîtriser parfaitement Compétent professionnel Sait faire de manière autonome sans le soutien du superviseur Compétent Sait faire avec le soutien du superviseur Intermédiaire Ne sait pas faire Débutant

44

45 Critères déterminants

46 CPASS – Évaluation, Faculté de médecine, Université de Montréal, 2008

47 CPASS – Évaluation, Faculté de médecine, Université de Montréal, 2008

48 Vierset, V. et Foidart, J. M. , Faculté de Médecine
Vierset, V. et Foidart, J.M., Faculté de Médecine. Université de Liège Service Gynécologie-Obstétrique, 2007

49 Bibliographie sélective Notation – Standard Setting
BOULET, J.R. et al., Setting defensible performance standards on OSCEs and standardized patient examinations, Medical Teacher 2003;25(3): CUSIMANO, MD. et al., The Effect of Incorporating Normative data into a Criterion-Referenced Standard Setting in Medical Education, Acad Med 2003;78(10suppl):S88-90. DOWNING,SM et al., Establishing Passing Standards for Classroom Achievement Tests in Medical Education: A Comparative Study of Four Methods, Academic Medicine, Acad Med 2003;78(10suppl):S85-87. SMEE, SM., Setting standards for an objectif structured clinical examination: the borderline group method gains ground on Angoff, Med Educ 2001;35: WILKINSON TJ. et al., Standard setting in an objective structured clinical examination: use of global ratings borderline performance to determine the passing scores, Med Educ 2001;35: McILROY, JH., The Impact of an Alternative Approach to Computing Station Cut Scores in an OSCE, Acad Med 2000;75(10suppl):S18-20. FRIEDMAN BEN-DAVID, M., Standard setting in student assessment, AMEE Medical Education Guide No 18, University of Dundee, 2000. CIZEK, GJ., Setting Passing Scores, Educational Measurement: Issues and Practice, NCME, 1996. CUSIMANO, MD., Standard Setting in Medical Education, Acad Med 1996;71(10suppl):S

50 Merci de votre attention !
Diaporama Documentation

51 Les formules où X et Y = scores du « sujet » n et N = ensemble des « sujets »
Moyenne : Mx = S X N Écart type : sx = S X - Mx 2 N Variance : sx = sx2 Score standard : Zx = X - Mx sx Corrélation : rxy = S X - Mx Y - My Nsxsy

52 Les formules où X = score du « sujet », N = ensemble des « sujets » et r xx = indice de fidélité
Moyenne : Mx = S X N Écart type : sx = S X - Mx 2 N Erreur type (moyenne) : s x = sx N Niveau de confiance à 95% : plus ou moins s x Erreur de mesure : se = sx – r xx

53 Fidélité Coefficient d ’homogénéité interne Alpha de Cronbach
k k - 1 1 - S s 2 j s 2 t où : k : nombre d’items s 2 j : variance des scores à l’item j s 2 t : variance des scores à l ’ensemble du test