Modélisations et applications de la théorie de la réponse à l’item

Présentation au sujet: "Modélisations et applications de la théorie de la réponse à l’item"— Transcription de la présentation:

1 Modélisations et applications de la théorie de la réponse à l’item
Gilles Raîche, éducation Bernard de Dormale, mathématiques et statistiques François Vigneau, psychologie Carole Tranchant, sciences des aliments 3 avril 2003 Département de mathématiques et de statistiques Université de Moncton

2 Plan Collaborations Contexte Modélisations
Théorie de la réponse à l’item Estimation des paramètres Applications de la TRI

3 Collaborations Gilles Raîche, éducation
Bernard de Dormale, mathématiques et statistiques François Vigneau, psychologie Carole Tranchant, sciences des aliments Claire Isabelle, éducation Jean-Guy Blais, éducation, Université de Montréal

4 Contexte Évaluation des apprentissages
Surtout à grande échelle (PISA, PIRS, etc) Programmes alpha et bêta de la défense américaine Educational testing service Certification en ligne (Novell et Microsoft) Traduction de tests

5 Modélisations 1 : Avant 1960 Théorie classique des tests
Charles Spearman, Thurstone, Guilford, etc. Tests d’intelligence Indice de difficulté Indice de discrimination Coefficients de fidélité : test-retest, split-half, K-R, alpha de Cronbach

6 Modélisations 2 : Problèmes
Postulat de l’homogénéité de la variance non réaliste Indice de difficulté d’un item qui varie d’un groupe à un autre Niveau d’habileté du sujet qui varie selon l’indice de difficulté des items Postulats Homogénéité de la variance Unidimensionnalité du trait Indépendance entre les items Indépendance entre les sujets

7 Modélisations 3 : Après 1960 Théorie du trait latent -> Théorie de la réponse à l’item Frederic Lord et Georg Rasch Postulats Hétérogénéité de la variance Unidimensionnalité du trait (multidimensionnalité toutefois possible) Indépendance locale Indépendance de la réponse d’un item à un autre Invariance du niveau de difficulté par rapport aux sujets Invariance du niveau d’habileté par rapport aux items

8 Théorie de la réponse à l’item Modèles à réponse dichotomique : 1 param.

9 Théorie de la réponse à l’item Modèles à réponse dichotomique : 2 param.

10 Théorie de la réponse à l’item Modèles à réponse dichotomique : 3 param.

11 Théorie de la réponse à l’item Modèles à réponse dichotomique : 4 param.

12 Théorie de la réponse à l’item Autres modèles et logiciels associés
Multidimensionnel (MIRT): Testfact et Noharm Réponse polytomique (nominale ou ordonnée): Multilog, Parscale Modélisation à plusieurs facettes (juges, par exemple): Facet et LPCM Modélisation hiérarchique (random coefficient): Conquest Modèles hybrides avec classes latentes: Winmira, Multira, Logimo Intégration du temps de réponse, Etc.

13 Estimation des paramètres Paramètres d’items
Maximum de vraisemblance : MLE Maximum a posteriori (MAP ou BME) Distributions a priori a (0, +infini) -> LOGNORMALE b (-infini à +infini) -> N(0,1) c (0,1) -> BETA d (0,1) -> BETA

14 Estimation des paramètres Paramètre de sujet : thêta
Maximum de vraisemblance : MLE Maximum a posteriori (MAP ou BME) Maximum de vraisemblance pondéré (WLE) Espérance a posteriori (EAP) Espérance a posteriori empirique (EEAP) Éventuellement par moments pondérés

15 Estimation des paramètres Espérance a posteriori empirique
θEEAP Avec ->

16 Estimation des paramètres Estimation simultanée des paramètres d’items et de sujets
Estimation conjointe (joint) ou en alternance par MLE (JML) Maximum de vraisemblance marginale (MMLE et MMLE/EM) Ces deux approches peuvent être adaptées de manière bayésienne (JMAP et MMAP) Maximum de vraisemblance conditionnelle (CML) – seulement pour les modélisation de la famille de Rasch

17 Applications Tests adaptatifs : tests sur mesure différents d’un étudiant à un autre Détection de patrons de réponses inappropriés : copie, sous-performance, etc. Fonctionnement différentiel d’items (DIF) : traduction de tests, adaptation culturelle de tests Évaluation de la sévérité de juges : patinage artistique Analyse de déterminants cognitifs : matrices de Raven Modélisation à 4 paramètres : coagulation du lait

18 Références http://www.umoncton.ca/raicheg
Blais, J.-G. et Raîche, G. (2002). Étude de la distribution d’échantillonnage de l’estimateur du niveau d’habileté en testing adaptatif en fonction de deux règles d'arrêt dans le contexte de l’application du modèle de Rasch. Mesure et évaluation en éducation, 23(2-3). Lord, F.M. (1982). Application of item response theory to practical testing problems. Hillsdale, NJ : LEA. Mislevy, R.J. et Bock, R.D. (1982). Adaptive EAP estimation of ability in a microcomputer environment. Applied psychological measurement, 6, Raîche, G. et Blais, J.-G. (2002, soumis). Considerations about expected a posteriori estimation in adaptive testing: Adaptive a priori, adaptive correction for bias, and adaptive integration interval. Dans G. Englehard (Éd.) : Objective measurement - Theory into practice. Volume 6. Greenwich, Connecticut : ABLEX. Voir à la section Publications de la rubrique Recherche