Analyse des patrons de réponses inappropriés dans les bases de données pour la recherche en sciences humaines et sociales Gilles Raîche, UQAM Jean-Guy Blais, Université de Montréal 72 e congrès de lAcfas, Montréal, mai 2004

2. Déroulement La nature des résultats obtenus aux enquêtes à grande échelle Quand les patrons de réponses sont inappropriés Détection des patrons de réponses inappropriés : principe de base Indices de détection : réponses dichotomiques Indices de détection : réponses polytotomiques Problèmes associés à ces indices Pour faciliter la détection Développements futurs

72e congrès de lAcfas, Montréal, mai La nature des résultats obtenus aux enquêtes à grande échelle Les contextes social et individuel Les types de réponses Tests adaptatifs Unidimensionnalité éventuelle

72e congrès de lAcfas, Montréal, mai Quand les patrons de réponses sont inappropriés Fonctionnement différentiel ditems Aspects culturels Préparation différentiée au test Sous performance volontaire Plagiat Patrons de données manquantes

72e congrès de lAcfas, Montréal, mai Détection des patrons de réponses inappropriés : principe de base Indices paramétriques (basés sur la TRI)

72e congrès de lAcfas, Montréal, mai Indices de détection : réponses dichotomiques Indices non paramétriques –C (Hulin) –R bis et r.bis (Donlon et Fischer) –H (Mokken) Indices paramétriques –Lz (Drasgow et Levine) –lz* (Snijders) –Infit (Wright) –outfit (Wright) –Zeta (Tatsuoka)

72e congrès de lAcfas, Montréal, mai Indices de détection : réponses polytotomiques La plupart des indices utilisés pour les réponses dichotomiques peuvent être adaptés Très peu détudes ont été faites à leur sujet Les premières études ont laissé croire à une efficacité moindre de ces indices

72e congrès de lAcfas, Montréal, mai Problèmes associés à ces indices Distribution déchantillonnage non asymptotique inconnue Distribution déchantillonnage qui varie en fonction de la composition du test Calculs qui deviennent extrêmement lourds Application au contexte des tests adaptatifs non résolu

72e congrès de lAcfas, Montréal, mai Pour faciliter la détection Niveaux de difficulté des items qui doivent varier Niveau de discrimination suffisant Nombre ditems Nombre de réponses inappropriées Types de réponses inappropriées

72e congrès de lAcfas, Montréal, mai Développements futurs Étude des indices appropriés aux réponses polytomiques Intégration des indices aux tests adaptatifs Étude des comportements des individus qui produisent des patrons de réponses inappropriés Analyse de la détection optimale de certains comportements au sens de Drasgow et Levine Stratégies de détection à associer aux indices