La détection des patrons de réponse inappropriés dans le contexte des tests adaptatifs par ordinateur Gilles Raîche, UQAM Jean-Guy Blais, Université de.

Présentation au sujet: "La détection des patrons de réponse inappropriés dans le contexte des tests adaptatifs par ordinateur Gilles Raîche, UQAM Jean-Guy Blais, Université de."— Transcription de la présentation:

1 La détection des patrons de réponse inappropriés dans le contexte des tests adaptatifs par ordinateur Gilles Raîche, UQAM Jean-Guy Blais, Université de Montréal 72 e congrès de lAcfas, Montréal, mai 2004

2 2. Déroulement Origine et justification du projet Tests adaptatifs Patrons de réponses inappropriés Détection des patrons de réponses inappropriés Pour faciliter la détection Tests adaptatifs + détection des patrons de réponses inappropriés Solutions envisagées

3 72e congrès de lAcfas, Montréal, mai 20043. Origine et justification du projet Travaux sur les tests adaptatifs Travaux sur la détection du sous classement volontaire aux tests de classement Volonté de créer un test de classement adaptatif qui peut détecter le sous classement volontaire Défis méthodologiques

4 72e congrès de lAcfas, Montréal, mai 20044. Tests adaptatifs Évaluation sur mesure Augmentation de la précision de la mesure Diminution du temps dadministration Origines : les premières formes Formes basées sur les modélisations issues de la théorie de la réponse à litem

5 72e congrès de lAcfas, Montréal, mai 20045. Patrons de réponses inappropriés Types de patrons de réponses inappropriés : plagiat, sous performance, incompréhension, caractéristique de la clientèle (FDI) Principe de base de détection Indices non paramétriques (non basés sur la TRI) Indices paramétriques (basés sur la TRI)

6 72e congrès de lAcfas, Montréal, mai 20046. Pour faciliter la détection Niveaux de difficulté des items qui doivent varier Niveau de discrimination suffisant Nombre ditems Nombre de réponses inappropriées Types de réponses inappropriées

7 72e congrès de lAcfas, Montréal, mai 20047. Tests adaptatifs + détection des patrons de réponses inappropriés Peu de variation du niveau de difficulté des items Peu ditems Éventuellement peu de réponses inappropriés Comportements des répondants qui peuvent être différents que dans le contexte papier-crayon Distributions déchantillonnage des indices de détection variables : exigence de simulations exigeantes en temps de calcul

8 72e congrès de lAcfas, Montréal, mai 20048. Solutions envisagées Forcer la variation du niveau de difficulté des premiers items du test : plusieurs = combien ? Augmenter le nombre ditems en fonction du degré dinappropriation du patron de réponses Administrer des questions dordre contextuel Effectuer lanalyse de la distribution de lindice après ladministration de plus dun item