Modélisations et applications de la théorie de la réponse à l’item Gilles Raîche, éducation Bernard de Dormale, mathématiques et statistiques François Vigneau, psychologie Carole Tranchant, sciences des aliments 3 avril 2003 Département de mathématiques et de statistiques Université de Moncton

Plan Collaborations Contexte Modélisations Théorie de la réponse à l’item Estimation des paramètres Applications de la TRI

Collaborations Gilles Raîche, éducation Bernard de Dormale, mathématiques et statistiques François Vigneau, psychologie Carole Tranchant, sciences des aliments Claire Isabelle, éducation Jean-Guy Blais, éducation, Université de Montréal

Contexte Évaluation des apprentissages Surtout à grande échelle (PISA, PIRS, etc) Programmes alpha et bêta de la défense américaine Educational testing service Certification en ligne (Novell et Microsoft) Traduction de tests

Modélisations 1 : Avant 1960 Théorie classique des tests Charles Spearman, Thurstone, Guilford, etc. Tests d’intelligence Indice de difficulté Indice de discrimination Coefficients de fidélité : test-retest, split-half, K-R, alpha de Cronbach

Modélisations 2 : Problèmes Postulat de l’homogénéité de la variance non réaliste Indice de difficulté d’un item qui varie d’un groupe à un autre Niveau d’habileté du sujet qui varie selon l’indice de difficulté des items Postulats Homogénéité de la variance Unidimensionnalité du trait Indépendance entre les items Indépendance entre les sujets

Modélisations 3 : Après 1960 Théorie du trait latent -> Théorie de la réponse à l’item Frederic Lord et Georg Rasch Postulats Hétérogénéité de la variance Unidimensionnalité du trait (multidimensionnalité toutefois possible) Indépendance locale Indépendance de la réponse d’un item à un autre Invariance du niveau de difficulté par rapport aux sujets Invariance du niveau d’habileté par rapport aux items

Théorie de la réponse à l’item Modèles à réponse dichotomique : 1 param.

Théorie de la réponse à l’item Modèles à réponse dichotomique : 2 param.

Théorie de la réponse à l’item Modèles à réponse dichotomique : 3 param.

Théorie de la réponse à l’item Modèles à réponse dichotomique : 4 param.

Théorie de la réponse à l’item Autres modèles et logiciels associés Multidimensionnel (MIRT): Testfact et Noharm Réponse polytomique (nominale ou ordonnée): Multilog, Parscale Modélisation à plusieurs facettes (juges, par exemple): Facet et LPCM Modélisation hiérarchique (random coefficient): Conquest Modèles hybrides avec classes latentes: Winmira, Multira, Logimo Intégration du temps de réponse, Etc.

Estimation des paramètres Paramètres d’items Maximum de vraisemblance : MLE Maximum a posteriori (MAP ou BME) Distributions a priori a (0, +infini) -> LOGNORMALE b (-infini à +infini) -> N(0,1) c (0,1) -> BETA d (0,1) -> BETA

Estimation des paramètres Paramètre de sujet : thêta Maximum de vraisemblance : MLE Maximum a posteriori (MAP ou BME) Maximum de vraisemblance pondéré (WLE) Espérance a posteriori (EAP) Espérance a posteriori empirique (EEAP) Éventuellement par moments pondérés

Estimation des paramètres Espérance a posteriori empirique θEEAP Avec ->

Estimation des paramètres Estimation simultanée des paramètres d’items et de sujets Estimation conjointe (joint) ou en alternance par MLE (JML) Maximum de vraisemblance marginale (MMLE et MMLE/EM) Ces deux approches peuvent être adaptées de manière bayésienne (JMAP et MMAP) Maximum de vraisemblance conditionnelle (CML) – seulement pour les modélisation de la famille de Rasch

Applications Tests adaptatifs : tests sur mesure différents d’un étudiant à un autre Détection de patrons de réponses inappropriés : copie, sous-performance, etc. Fonctionnement différentiel d’items (DIF) : traduction de tests, adaptation culturelle de tests Évaluation de la sévérité de juges : patinage artistique Analyse de déterminants cognitifs : matrices de Raven Modélisation à 4 paramètres : coagulation du lait

Références http://www.umoncton.ca/raicheg Blais, J.-G. et Raîche, G. (2002). Étude de la distribution d’échantillonnage de l’estimateur du niveau d’habileté en testing adaptatif en fonction de deux règles d'arrêt dans le contexte de l’application du modèle de Rasch. Mesure et évaluation en éducation, 23(2-3). Lord, F.M. (1982). Application of item response theory to practical testing problems. Hillsdale, NJ : LEA. Mislevy, R.J. et Bock, R.D. (1982). Adaptive EAP estimation of ability in a microcomputer environment. Applied psychological measurement, 6, 431-444. Raîche, G. et Blais, J.-G. (2002, soumis). Considerations about expected a posteriori estimation in adaptive testing: Adaptive a priori, adaptive correction for bias, and adaptive integration interval. Dans G. Englehard (Éd.) : Objective measurement - Theory into practice. Volume 6. Greenwich, Connecticut : ABLEX. http://www.umoncton.ca/raicheg Voir à la section Publications de la rubrique Recherche