Les tests adaptatifs en langue: quel est leur avenir ? Michel D. LAURIER Université de Montréal Colloque ACFAS 2006 Solutions apportées et problèmes engendrés par l’évaluation assistée par les technologies de l’information et des communication en éducation

Plan de la présentation Fonctionnement d’un test adaptatif Développements en langue seconde Avantages des tests adaptatifs Limites et problèmes Une nouvelle vision de l’adaptabilité Un projet…

Éléments d’un test adaptatif Une banque d’items: ensemble de tâches dont les caractéristiques sont identifiées qui mesurent un attribut (unidimensionalité) L’invariance des items de TRI permet l’expansion. Une procédure de passation pour récupérer les tâches les plus appropriées pour déterminer le niveau de compétence L’invariance des sujets de TRI permet l’estimation.

Déroulement d’un test adaptatif Début Niveau de départ SélectionPrésentationEstimation Résultat Fin Erreur? OK Trop grande

Décisions de conceptions ( avec TRI) Organisation : une ou plusieurs banques ? Modèle : 1, 2 ou 3 paramètres ? Critère d’arrêt : nombre d’items ou erreur ? Estimation de θ : ML ou méthode bayésienne ? Stratégie pour la sélection des tâches Plateforme informatique : progiciel ?

Les tests adaptatifs en L2 S-Cape (Larson, 1987) Computest (Madsen, 1989) Test de l’ACTFL (Kaya-Carton et al., 1991) TOEFL – CBT (Educational Testing Service) French CAPT (Laurier, 1993, 1995) DIALANG (Alderson, Huhta, 2005) BULATS (Business Language Testing Service)

Exemple : French CAPT Questions préalables Courts paragraphes Énoncés appropriés Phrases lacunaires Écoute de documents Autoévaluation de l’oral Profil Polychotomique Dichotomique

Résultats de French CAPT Your classification is : Low Intermediate

Avantages psychométriques Amélioration de la fidélité Estimation plus juste du niveau Meilleure validité tâches pertinentes nouveau type de tâches Détection de configurations inhabituelles Prise en compte de l’information préalable

Avantages psychologiques Élimination des tâches trop difficiles Élimination des tâches trop faciles Environnement moins menaçant Dimension ludique

Avantages administratifs Traitement immédiat des réponses Sécurité Passation individuelle Mise en ligne Réduction du temps de passation Expérimentation de nouveaux items

Limites des tests adaptatifs Postulats de la TRI Taille des échantillons requis Interaction limitée Environnements peu familiers Coûts de développement

Enjeux de recherche Grappes d’items (testlets) Application de modèles polychotomiques Couverture du contenu Surexposition de certains items Variance attribuable au mode de passation Ancrage des nouveaux items de la banque

Les tendances en L2 Prédominance de la fonction de classement Recherche d’une interaction plus authentique Élargissement de la notion d’adaptabilité Intérêts du candidat Langue maternelle Orientation professionnelle …

MICC Pré-test en L1 Début Introduction et identification de L1 Reconnaissance de mots Autoévaluation en IO, CE et EE Niv. < 1 ? Fin

MICC Procédure adaptative Phrases à compléter Antonymes / Synonymes Lecture de courts documents Réponse à une situation simulée

MICC Tâches adaptées au stade Écoute d’un document I Écoute d’un document II Écoute d’un document III Lecture d’un document I Lecture d’un document II Lecture d’un document III Révision d’un texte Production d’un texte I Production d’un texte II Production d’un texte III

MICC Tâche IO adaptée au niveau T2T2 T3T3 T4T4 T5T5 T6T6 T7T7 T8T8 T 9-10 T Fin Estimation du niveau en IO, CE et EE

Merci de votre attention Michel D. LAURIER Faculté des sciences de l’éducation Université de Montréal Courriel: Téléphone: (514)