La détection des patrons de réponse inappropriés dans le contexte des tests adaptatifs par ordinateur Gilles Raîche, UQAM Jean-Guy Blais, Université de Montréal 72 e congrès de lAcfas, Montréal, mai 2004

2. Déroulement Origine et justification du projet Tests adaptatifs Patrons de réponses inappropriés Détection des patrons de réponses inappropriés Pour faciliter la détection Tests adaptatifs + détection des patrons de réponses inappropriés Solutions envisagées

72e congrès de lAcfas, Montréal, mai Origine et justification du projet Travaux sur les tests adaptatifs Travaux sur la détection du sous classement volontaire aux tests de classement Volonté de créer un test de classement adaptatif qui peut détecter le sous classement volontaire Défis méthodologiques

72e congrès de lAcfas, Montréal, mai Tests adaptatifs Évaluation sur mesure Augmentation de la précision de la mesure Diminution du temps dadministration Origines : les premières formes Formes basées sur les modélisations issues de la théorie de la réponse à litem

72e congrès de lAcfas, Montréal, mai Patrons de réponses inappropriés Types de patrons de réponses inappropriés : plagiat, sous performance, incompréhension, caractéristique de la clientèle (FDI) Principe de base de détection Indices non paramétriques (non basés sur la TRI) Indices paramétriques (basés sur la TRI)

72e congrès de lAcfas, Montréal, mai Pour faciliter la détection Niveaux de difficulté des items qui doivent varier Niveau de discrimination suffisant Nombre ditems Nombre de réponses inappropriées Types de réponses inappropriées

72e congrès de lAcfas, Montréal, mai Tests adaptatifs + détection des patrons de réponses inappropriés Peu de variation du niveau de difficulté des items Peu ditems Éventuellement peu de réponses inappropriés Comportements des répondants qui peuvent être différents que dans le contexte papier-crayon Distributions déchantillonnage des indices de détection variables : exigence de simulations exigeantes en temps de calcul

72e congrès de lAcfas, Montréal, mai Solutions envisagées Forcer la variation du niveau de difficulté des premiers items du test : plusieurs = combien ? Augmenter le nombre ditems en fonction du degré dinappropriation du patron de réponses Administrer des questions dordre contextuel Effectuer lanalyse de la distribution de lindice après ladministration de plus dun item