Le Centre international détudes pédagogiques CIEP Ministère de lEducation nationale Quand les psychométriciens sen mêlent… Patrick Riba

Objectifs des analyses statistiques Déterminer la qualité du matériel (qualités psychométriques des items) Déterminer le niveau de difficulté des items Mise en banque des items Vérifier les biais potentiels liés au sexe, à la langue maternelle des candidats …

Outils danalyse (1) Modèle de mesure classique Difficulté de litem (taux de réussite) Fonctionnement de la clé Rôle des distracteurs Discrimination de litem (coefficient de corrélation bisérial) Fidélité du test (α de Cronback) Les items non conformes sont exclus.

Exemple Item validéItem rejeté On doit observer une progression du taux de réussite entre le groupe 1 et 2, entre le groupe 2 et 3 … Seule la clé doit avoir un r ptbis supérieur à 0. DistracteursABC r ptbis DistracteursABC r ptbis

Item rejeté Ce distracteur est à modifier car il attire les réponses de candidats dont le niveau (ici A1) est bon.

Outils danalyse (2) Modèle de Rasch Les items non conformes sont exclus. Caractère unidimensionnel des données : les items évaluent uniquement le niveau en langue française. Vérification de la cohérence des données : la difficulté de litem par rapport à la compétence du candidat. Fonctionnement différentiel de litem : Bais liés au sexe, à la langue maternelle des candidats … Comportement de litem : Comparaison entre les probabilités prévues par le modèle et les probabilités observées.

Exemple InfitOutfit 0,980,78 Item validéItem rejeté Les probabilités de succès prévues par le modèle doivent être le plus proche possible des probabilités observées. Les indices infit et outfit doivent être compris entre 0,7 et 1,3. InfitOutfit 1,371,7 Il semble quil y a trop de réponses inattendues.

Item rejeté … le téléfilm « les rats » Heure :… Cochez la chaîne TF1 France 2 France 3 Canal + Fr5 / Arte M6 … un documentaireHeure :… Cochez deux chaînes TF1 France 2 France 3 Canal + Fr5 / Arte M6 Vous voulez voir …

Banque ditems (1) Concept dune banque ditems Elle est constituée dun grand nombre ditems On connaît la difficulté des items et leurs qualités psychométriques. Les items peuvent être utilisés plusieurs fois. Une échelle de niveau de difficulté commune pour tous les items Elle facilite la fabrication dune grande variété de tests. Fabrication de versions de tests de niveaux équivalents. Objectifs

Banque ditems (2) Avantages Flexibilité Caractère dynamique de la banque ditems Sécurité et économie Validation et expérimentation Contraintes Contraintes de construction Contrôle continu de la qualité Coût et rentabilité à long terme

Chaque diplôme a sa propre banque ditems. Chaque banque ditems comporte uniquement les items qui auront été validés par le modèle de Rasch. Création ditems ancres : équivalence des versions du DELF-DALF. Constitution de la banque ditems La banque ditems du DELF-DALF