La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Faculté de médecine CPASS -Évaluation Déterminer la note de passage et qualifier la réussite dans des épreuves de certification Serge Normand, M.A. XVII.

Présentations similaires


Présentation au sujet: "Faculté de médecine CPASS -Évaluation Déterminer la note de passage et qualifier la réussite dans des épreuves de certification Serge Normand, M.A. XVII."— Transcription de la présentation:

1 Faculté de médecine CPASS -Évaluation Déterminer la note de passage et qualifier la réussite dans des épreuves de certification Serge Normand, M.A. XVII e Journées universitaires de pédagogie des sciences de la santé CIDMEF Lille avril 2008

2 Objectifs Déterminer une note de passage – Qualifier la réussite Aborder des problématiques souvent négligées Vulgariser quelques approches relativement faciles à implanter Échanger, discuter, analyser vos pratiques

3 Un peu de vocabulaire … Notation Action d’attribuer un score ( chiffre ou pourcentage ) ou une cote ( lettre ou symbole ) sur les apprentissages. Note Valeur numérique qui traduit le résultat de la mesure ou de l’appréciation d’une performance. Cote Symbole alphabétique ( A, B, C, D, E, F, …), numérique (1,2,3,4,5, …) ou autre qui traduit le résultat d’une performance. Score Nombre exprimant le résultat obtenu à un test, à un examen ou`à une production scolaire. Note de passage Seuil de réussite appliqué à la totalité d’un instrument de mesure qui porte sur un large domaine et imposé à tous les répondants. Legendre, R, Dictionnaire actuel de l’éducation, 2005

4 Nos échelles …Nos habitudes … … … 1 D’un coté de l’Atlantique … … … 1 De l’autre côté

5 Comment déterminer une note de passage qui soit la plus « juste » possible ? Comment qualifier la réussite dans une cohorte de candidats qui ont subi une épreuve d’évaluation des apprentissage ? Aborder des problématiques souvent négligées

6 Épreuves écrites 1. Méthode EBEL 2. Cote Z 3. Approche Hofstee Grilles d’observation 4. ECOS – Borderline Group 5. Échelles descriptives Grilles d’observation 4. ECOS – Borderline Group 5. Échelles descriptives Vulgariser quelques approches relativement faciles à implanter

7 Évaluer les apprentissages Évaluer MesurerInterpréterJugerDécider Examens Travaux Observations etc. Approche : - relative - absolue Qualifier la réussite Note de passage Certification Rappel

8 Évaluer les apprentissages Évaluer MesurerInterpréterJugerDécider Approche : - relative - absolue

9 Comment interpréter les résultats ?

10 Interpréter les résultats Approche Relative Comparer avec d’autres sujets Évaluation normative Absolue Comparer avec des critères Évaluation critériée

11 Évaluer les apprentissages Évaluer MesurerInterpréterJugerDécider Qualifier la réussite Note de passage

12 Un enjeux important: déterminer la note de passage ( Setting Performance Standards ) C o m p é t e n c e s Niveau acceptable How much is enough ? Combien faut-il pour passer ?

13 Déterminer une note de passage Sources d’information Jugements d’experts Caractéristiques des questions Test centered Données recueillies Distribution des résultats Examinee centered

14 Un enjeux important: déterminer la note de passage ( Setting Performance Standards ) Méthodes •Angoff •Nedelsky •Ebel •Hofstee •Contrasting Group •Borderline Group •Direct Borderline ( 2003 ) •Etc… Candidat à la LIMITE « borderline » Candidat à la LIMITE « borderline »

15 Étude de cas N o 1 Méthode EBEL Déterminer une note de passage Épreuves écritesCaractéristiques des questionsJugement de (plusieurs) experts« Imaginer » le candidat limiteNe repose pas sur la distribution des résultats

16 Déterminer la note de passage ( selon la méthode EBEL ) Situez chaque question ou élément de questions qui composent l’épreuve dans les cellules de cette grille; par exemple, une questions de 3 points comportera 3 entrées dans la grille. Dans chaque cellule, une proportion de questions qu’un candidat à compétence acceptable devrait réussir est proposée. Pour chaque cellule, multipliez le nombre de questions (ou d’éléments) par le pourcentage correspondant et faites ensuite la somme de ces produits. La valeur obtenue divisée par le nombre total de questions (ou d’éléments) constitue la note de passage pour cette épreuve exprimée en pourcentage.

17 Déterminer la note de passage ( selon la méthode EBEL ) Nombre de questions : 72 SAP : 61 %

18 Déterminer la note de passage ( variante: méthode « Direct Borderline » ) Indiquez pour chaque question si un candidat à compétence acceptable devrait répondre correctement à la question. Le nombre total de « OUI » divisé par le nombre total de questions constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage. Question1ouinon Question2ouinon Question3ouinon Question…ouinon Question25ouinon Exemple Nombre de questions: 25 Nombre de OUI : 16 SAP : 64 %

19 Étude de cas N o 2 Utilisation de la cote Z Qualifier la réussite et/ou Déterminer la note de passage Épreuves écrites – Notes « cumulatives » Approche normative Repose sur la distribution des résultats Standardisation vs Normalisation

20  X - M x s x Z x   76 – 69,5 13,13 0,50  Moyenne Écart type N 69,5 13,13 99

21 Les formules où X et Y = scores du « sujet » n et N = ensemble des « sujets » XNXN Moyenne : M x    X - M x 2 N Écart type : s x   X - M x s x Score standard : Z x  Variance :  x  s x 2

22 Distribution normale

23 68 % 96 % μσσ

24 Moyenne Écart type N 69,5 13, ,4 10,0 99 Distribution Z standardisée

25 Moyenne Écart type N 76,1 10, ,5 13,13 99 Distribution Z normalisée

26 Utiliser la Cote Z pour … C o m p é t e n c e s Niveau acceptable Qualifier la réussite ?

27 Système de notation littérale A+ A A- B+ B B- C+ C C- D+ D E Excellent Très bon Bon Passable Échec Identifier des « paliers » de réussite

28 Utiliser la Cote Z pour qualifier la réussite A+ A A- B+ B B- C+ C C- D+ D E Excellent Très bon Bon Passable Échec

29 Exemple de notation littérale via Cote Z

30 Utiliser un score standard ( Cote Z ) pour analyser le « profil » d’un candidat Cote Z Moyenne = 0,0 Écart-type = 1,0 Score standard Moyenne = 500 Écart-type = 100

31 Calculer un score standard à partir d’une cote Z  81 – 69,5 13,13 0,87  Moyenne Écart type 69,5 13,13 Calculer le score standard pour une note de 81 Statistiques de la distribution Calcul du score Z Calcul du score standard 587  0,87 X 100 ) Score standard = 587

32 Distribution normale – Score standard Moyenne = 500Écart-type = 100

33 Profil de candidats en Scores standards CandidatEx 1Ex 2Ex 3Ex 4Ex 5 A B C

34 Étude de cas N o 3 Approche Hofstee Déterminer la note de passage Approche normativeHautement politiqueÉpreuves de sélection

35 Déterminer la note de passage ( selon la méthode Hofstee ) Quelle est la note de passage maximun ? % Quel est le % maximun d’échecs ? Quelle est la note de passage minimum ? Quel est le % minimum d’échecs ? 10 %

36 Étude de cas N o 4 Méthode « Borderline Group » Déterminer la note de passage - ECOS Appropriée pour les grilles d’observation Combine appréciation globale de l’évaluateur et distribution des résultats Corrige la « variabilité » des évaluateurs

37 Fait Non fait Item 1 Item 2 Item x TOTAL  Grille d’observation Station ECOS Examen clinique objectif standardisé Éval. Globale = Échec 2 = Limite insuffisant 3 = Limite suffisant 4 = Attendu 5 = Excellent Moyennes des scores par examinateurs   

38 Déterminer la note de passage – Station ECOS ( selon la méthode Borderline Group ) Station N o 1

39 Déterminer la note de passage –ECOS ( selon la méthode Borderline Group ) Cohorte Limite / Suffisant StationNMoyennes S11660,0 S21769,2 S3661,8 S43070,3 S52464,5 S61663,8 S72562,2 S82059,5 S92564,8 S101064,3 Moyenne18,964,0

40 Étude de cas N o 5 Échelles qualitatives et descriptives Déterminer la note de passage Approche critériéeIdentifier des critères déterminants Évaluation formative vs évaluation certificative

41 SCALLON, Gérard, L’évaluation des apprentissages dans une approche par compétences, Édition du renouveau pédagogique, 2004 Critère : coopération ( échange des idées ) Échelle uniforme ExcellenteSatisfaisanteInsatisfaisante Échelle descriptive Donne ses idées et accepte celle des autres Donne ses idées ou accepte celles des autres Ne donne pas d’idée et n’accepte pas celles des autres Exemples Échelles qualitatives et descriptives Évaluation formative Évaluation certificative

42 Échelle de notation au-delà des attentes : (Plus +) conforme aux attentes : (Attendu) en deçà des attentes : (Moins –) Protocole de notation % des critères cotés (Attendu) => B+ si aucun critère n’est coté (Moins -) et que : 2. 75% des critères cotés (Plus +) => A % des critères cotés (Plus +) => A 4. 25% des critères cotés (Plus +) => A- si des critères cotés (Moins -) sont présents et que 50% des critères sont cotés (Plus +) : 5. les règles 2 à 4 s’appliquent, mais la notation littérale est réduite d’un nombre de paliers égal au nombre de critères (Moins -) Exemple : si les règles 2 à 4 génèrent une notation de A, mais que 2 critères ont été cotés (Moins -), la notation sera réduite de 2 paliers à B+ autrement : 6. 10% des critères cotés (Moins -) => B % des critères cotés (Moins -) => B 8. 25% des critères cotés (Moins -) => B % des critères cotés (Moins -) => C % des critères cotés (Moins -) => C Situation d’échec Si 50% des critères sont cotés (Moins -) ou Si l’un ou l’autre des critères déterminants sont cotés (Moins - ) Exemple d’un protocole de notation pour grille d’observation

43 Ne sait pas faire Sait faire avec le soutien du superviseur Sait faire de manière autonome sans le soutien du superviseur Sait maîtriser parfaitement Sait maîtriser parfaitement et sait transmettre ses connaissances Sait faire évoluer le domaine en innovant Débutant Intermédiaire Compétent Compétent professionnel Compétent professionnel confirmé Expert Échelles d’appréciation

44

45 Critères déterminants

46 CPASS – Évaluation, Faculté de médecine, Université de Montréal, 2008

47

48 Vierset, V. et Foidart, J.M., Faculté de Médecine. Université de Liège Service Gynécologie-Obstétrique, 2007

49 Bibliographie sélective Notation – Standard Setting BOULET, J.R. et al., Setting defensible performance standards on OSCEs and standardized patient examinations, Medical Teacher 2003;25(3): CUSIMANO, MD. et al., The Effect of Incorporating Normative data into a Criterion-Referenced Standard Setting in Medical Education, Acad Med 2003;78(10suppl):S DOWNING,SM et al., Establishing Passing Standards for Classroom Achievement Tests in Medical Education: A Comparative Study of Four Methods, Academic Medicine, Acad Med 2003;78(10suppl):S SMEE, SM., Setting standards for an objectif structured clinical examination: the borderline group method gains ground on Angoff, Med Educ 2001;35: WILKINSON TJ. et al., Standard setting in an objective structured clinical examination: use of global ratings borderline performance to determine the passing scores, Med Educ 2001;35: McILROY, JH., The Impact of an Alternative Approach to Computing Station Cut Scores in an OSCE, Acad Med 2000;75(10suppl):S FRIEDMAN BEN-DAVID, M., Standard setting in student assessment, AMEE Medical Education Guide No 18, University of Dundee, CIZEK, GJ., Setting Passing Scores, Educational Measurement: Issues and Practice, NCME, CUSIMANO, MD., Standard Setting in Medical Education, Acad Med 1996;71(10suppl):S

50 Diaporama Documentation Merci de votre attention !

51 Les formules où X et Y = scores du « sujet » n et N = ensemble des « sujets » XNXN Moyenne : M x    X - M x 2 N Écart type : s x   X - M x s x Score standard : Z x    X - M x Y - M y Ns x s y Corrélation : r xy  Variance :  x  s x 2

52 Les formules où X = score du « sujet », N = ensemble des « sujets » et r xx = indice de fidélité XNXN Moyenne : M x    X - M x 2 N Écart type : s x  sxNsxN Erreur type (moyenne) : s x = Niveau de confiance à 95% : plus ou moins 1.96 s x Erreur de mesure : s e = s x 1 – r xx

53 Fidélité Coefficient d ’homogénéité interne Alpha de Cronbach k k - 1    j   t 1 - où : k : nombre d’items   j : variance des scores à l’item j   t : variance des scores à l ’ensemble du test 


Télécharger ppt "Faculté de médecine CPASS -Évaluation Déterminer la note de passage et qualifier la réussite dans des épreuves de certification Serge Normand, M.A. XVII."

Présentations similaires


Annonces Google