1 Application de la modélisation à facettes à lestimation de la sévérité des juges dans la création de copies-types à lexamen de français 10 e année du ministère de lÉducation de lOntario Gilles Raîche Université de Moncton Dany Laveault Université dOttawa 1 e colloque international de la revue Mesure et évaluation en éducation Rimouski 21 mai

2 Déroulement Contexte Objectif Méthodologie Modélisation à facettes Indices dajustement Résultats Conclusions Références

3 Contexte Le comité détablissement des normes avait pour mandat de formuler une recommandation à la ministre de lÉducation quant à la description des normes devant servir à établir le niveau de rendement requis pour la réussite du test dhabileté en lecture et écriture Pour réussir le test, lélève de 10 e année doit avoir fait la démonstration de ses compétences à la fois dans la composante lecture et dans la composante écriture du test. Était-il possible de dégager des exemples clairs et distinctifs de travaux délèves représentant différentes catégories de rendement ou des niveaux de réussite?

4 Objectif Comparer les résultats de classement obtenus lors de la démarche du comité détablissement des normes avec ceux qui auraient été obtenus à partir dune modélisation à facettes Vérifier lutilité des informations complémentaires obtenues à partir dune modélisation à facettes

5 Méthodologie Répartir les questions de lecture selon les trois habiletés essentielles : explicite, implicite et interprétation Trier les copies délèves selon trois niveaux de rendement : insuffisant, suffisant, élevé 20 copies, 3 équipes (n=6, 6, 5) et 4 critères (Lecture : implicite, explicite et interprétation; Écriture) Décrire le rendement à chaque niveau selon les habiletés essentielles Trier les copies en deux catégories selon les normes établies : réussite/non réussite

6 Modélisation à facettes (modèle de Rasch) Considérant que Modèle de Rasch traditionnel ne tenant compte que du niveau dhabileté du sujet et du niveau de difficulté de litem :

7 Modélisation à facettes (modèle de Linacre) Modèle à facettes où les facettes correcteur et équipe ont été ajoutées

8 Indices dajustement (ajustement externe) Outfit index : indice dajustement externe (doit varier entre 0,6 et 1,4) Indice dajustement qui met lemphase sur les réponses inattendues qui séloignent du score de la personne (Wright et Master,1982, p. 100).

9 Indices dajustement (ajustement interne) Infit index : indice dajustement interne Ou indice dajustement pondéré (doit varier entre 0,6 et 1,4) Indice dajustement qui met lemphase sur les réponses inattendues qui sont près du score de la personne (Wright et Master,1982, p. 100).

10 Indices dajustement (coefficient de fidélité) Coefficient de fidélité – séparation des personnes Cet indice permet de juger comment on peut différencier deux personnes sur la variable mesurée (Bond et Fox, 2001, p ; Wright et Master,1982, p. 107).

11 Résultats (comparaison des méthodes, R p = 0,99) Une copie est jugée satisfaisante lorsque thêta = -0,29

12 Résultats (ajustement des personnes : interne et externe)

13 Résultats (critères) CritèreMesureErreur-typeInfitOutfit Explicite-1,750,171,302,00 Implicite0,220,151,101,20 Interprétation0,700,150,700,60 Écriture0,830,150,700,60 En gras : valeur à caution Fidélité : 0,98

14 Résultats (correcteurs) En gras : valeur à caution Fidélité : 0,18 Correcteur (c=17)MesureErreur-typeInfitOutfit 22-0,500,321,401, ,300,321,401, ,200,321,803,30 5-0,180,320,700,50 120,900,320,800,50

15 Résultats (équipes) ÉquipeMesureErreur-typeInfitOutfit 1-0,090,130,700,80 20,250,130,900,80 3-0,160,141,401,70 En gras : valeur à caution Fidélité : 0,44

16 Conclusions La modélisation à facettes permet dobtenir une gamme dinformations beaucoup plus riche La modélisation à facettes permet de mesurer les performances en tenant compte (contrôler) de plusieurs variables simultanément : utilisations possibles dans lévaluation de lenseignement ou dans lévaluation institutionnelle La modélisation à facettes permet de rendre lévaluation plus équitable

17 Références Bond, T.G. et Fox, C.M. (2001, Applying the Rasch model – Fundamental measurement in the human sciences. Mahwah, NJ : Lawrence Erlbaum Associates. Linacre, J.M.(1994). Many-facet Rasch measurement. Chicago : MESA Press. Rudner, L.M., Bracey, G. et Skaggs, G. (1996). The use of a person-fit statistic with one hight-quality achievement test. Applied psychological measurement, 9(1), Wright, B.D. et Linacre, J.M. (1994). Reasonable mean-square fit values. Rasch measurement transactions, 8(3), 370 Wright, B.D. et Master, G.N. (1982). Rating scale analysis. Chicago : MESA Press.