La mise à lessai dune plate-forme dévaluation sur mesure : webQuiz Komi SODOKÉ Martin RIOPEL Université du Québec à Montréal ACFAS – Université McGill.

Présentation au sujet: "La mise à lessai dune plate-forme dévaluation sur mesure : webQuiz Komi SODOKÉ Martin RIOPEL Université du Québec à Montréal ACFAS – Université McGill."— Transcription de la présentation:

1 La mise à lessai dune plate-forme dévaluation sur mesure : webQuiz Komi SODOKÉ Martin RIOPEL Université du Québec à Montréal ACFAS – Université McGill 16 Mai 2006

2 PLAN DE PRESENTATION I- Introduction et mise en contexte - Définition et explication - Objectif et cadre de la présentation - Tests classiques : Structure et limites II- La Théorie de la Réponse à lItem - Définition et fondements - Modélisation utilisée - Estimation des paramètres III- Le testing adaptatif - Comparaison du déroulement des tests - Algorithme de fonctionnement utilisé IV- Présentation du travail effectué - WebQuiz - PersonFit V- Conclusion et développements futurs

3 I- Introduction et Mise en contexte Ladaptation donc peut se faire en fonction de plusieurs critères dont : le contenu relatif, la pondération, le format de présentation ou des ressources. Adapter signifie Mettre en accord, ajuster. Dans le contexte de lévaluation ou de lapprentissage, ladaptation consiste à produire un cheminement, une suite de contenus ou de questions qui tiennent compte des paramètres associés à lapprenant (culture, niveau dhabileté etc.) et des données associées au déroulement de la session (maîtrise du sujet, temps de réponse, état émotionnel etc.) Pourquoi adapter ? Nécessité de partage de ressource dévaluation ou dapprentissage, faire des équivalences et de comparaison (cas du TIMMS). Différents paramètres, dont la culture, le goût, les couleurs et les caractéristiques des personnes, peuvent influencer la compréhension ou biaiser le résultat dune évaluation. Avoir de meilleures performances lors des évaluations. Donner une éducation personnalisée. Définition et explication

4 I- Introduction et Mise en contexte Nous allons nous intéresser dans la suite à une adaptation selon contenu Au niveau du contenu, un test (évaluation certificative) adaptatif désigne un test sur mesure dont les questions présentées à chaque répondant sont tributaires de sa maîtrise du sujet et de ses réponses aux questions préalablement administrées. Plusieurs solutions ont été proposées comme les tests de Binet, à deux étapes, à niveaux flexibles, pyramidaux et stratifiés : ayant chacune leurs forces et faiblesses. Différentes études ont été menées sur des systèmes de recommandation de question lors dune évaluation. Nouvelles générations de plate formes de téléformation qui bénéficient des expertises de plusieurs disciplines, dont lIntelligence Artificielle, les Sciences de léducation, la Psychologie cognitive STI: Système Tutoriel Intelligent Dans le domaine des sciences de léducation Au niveau informatique Objectif et cadre de la présentation

5 Tests classiques : Structure et limites Même test pour tous les répondants. Nombre fixe de questions. Différents degrés de difficulté des questions. Durée fixe et prédéterminée. Note du répondant qui correspond généralement à la somme des scores obtenus à toutes les questions. Ce format de test que nous appellerons «test classique» couvre la majorité des épreuves dévaluations actuelles, y compris les évaluations en ligne (e-évaluation). I- Introduction et Mise en contexte

6 Le niveau de difficulté des questions auxquelles doit répondre le répondant ne correspond pas toujours au niveau de connaissance de ce dernier manque de motivation. Lestimateur du niveau de connaissance de lapprenant nest pas précis surtout dans les points extrêmes de léchelle dhabileté. INTERROGATIONS RELATIVES À CES CONSTATS N'y aurait-il pas un moyen dadministrer un test individualisé contenant : uniquement des questions pertinentes, dans un ordre approprié, et en nombre non superflu? SOLUTION Conception de tests adaptatifs : tests sur mesure personnalisés selon le profil et le niveau de connaissance de chaque répondant. Tests classiques : Structure et limites I- Introduction et Mise en contexte Nous présenterons une plate forme de test adaptatif par ordinateur basée sur la sur la Théorie de la Réponse à lItem.

7 Théorie de la Réponse à lItem La Théorie de la Réponse à lItem (TRI) est un ensemble de modèles permettant une représentation mathématique probabiliste des caractéristiques des questions en vue de leur utilisation pour déterminer un niveau dhabilité ou un trait considéré latent dun répondant à un test. Le niveau dhabilité désigne le degré daptitude particulier dun individu dans un domaine précis. 5 Postulats Hétérogénéité de la variance. Unidimensionnalité du trait (multidimensionnalité toutefois possible). Indépendance locale (Indépendance de la réponse dun item à un autre). Invariance du niveau de difficulté par rapport aux sujets. Invariance du niveau dhabileté par rapport aux items. Chaque répondant à un test a un niveau dhabilité θ donné auquel on pourrait associer une valeur numérique à sur un échelle dhabileté. Chaque répondant de niveau dhabileté θ a une probabilité P(θ) de trouver la bonne réponse à une question. Deux considérations servent de fondement à la TRI Définition et fondements

8 Le paramètre de difficulté de litem, noté b Le paramètre de discrimination de litem noté a Le paramètre de pseudo-chance de litem noté cLasymptote maximale de litem notée d Il existe plusieurs modèles. Actuellement nous travaillons avec le modèle dichotomique à quatre paramètres Théorie de la Réponse à lItem Modélisation utilisée

9 1- Paramètres ditems : a,b, c et d en supposant θ connu 2- Paramètre de sujet : θ (thêta) en supposant a,b,c,d connus Maximum de vraisemblance : MLE Maximum a posteriori (MAP ou BME) Maximum de vraisemblance pondéré (WLE) Espérance a posteriori (EAP) Espérance a posteriori empirique (EEAP) Cas concret qui se produit lorsque quon veut transformer une épreuve dévaluation classique en une épreuve dévaluation à modélisation. Ce processus de calcul des paramètres sappelle la calibration du test. Vue la complexité des calculs à faire, nous nous servons dun logiciel spécialisé conçu à cet effet : BILOG. 3- Estimation simultanée de a,b,c et d et de θ Théorie de la Réponse à lItem Estimation des paramètres La distribution des P(u=1|θ) en fonction des valeurs de θ pour tous les répondants est obtenue. Lobjectif serait donc de trouver les quatre paramètres ditem de la courbe correspondante

10 Comparaison du déroulement des tests Terminer le test lorsqu'une réponse a été donnée à la dernière question ou lorsquon ne peut plus répondre aux autres questions ou le temps impartit au test est expiré. mettre fin à l'administration du test lorsqu'un niveau prédéterminé de précision de lestimateur du niveau d'habileté est atteint ou un nombre limite préfixée de question a été administrée. Tests adaptatifs Tests classiques Répondre à une première question, généralement la question #1. Répondre à une prochaine question, généralement la suivante. un estimateur provisoire du niveau d'habileté du répondant est déterminé. un nouvel estimateur provisoire de son niveau d'habileté est alors calculé et une nouvelle question est administrée. Le testing adaptatif 1. Règle de départ : 2. Règle de suite : 3. Règle d'arrêt : 2. Règle de suite : 1. Règle de départ: 3. Règle d'arrêt :

11 Algorithme de fonctionnement utilisé Début du test 1. Règle de départ 3. Calcul de lestimateur a priori du niveau dhabileté 7. Est-ce que la règle darrêt est satisfaire 2. départ 5. Administration de litem 6. Calcul de lestimateur provisoire du niveau dhabileté : EAP, WLE, MAP, MLE 4. Sélection dun item en fonction de lestimateur provisoire du dhabileté : maximisation de linformation ou minimisation de lespérance de lerreur-type a posteriori Fin de test 8. Calcul de lestimateur final du niveau dhabileté : EAP, WLE, MAP, MLE Non Oui Le testing adaptatif

12 Présentation du travail effectué WebQuiz: plate-forme de télé formation permettant la conception et ladministration de tests adaptatifs par ordinateur. PersonFit: logiciel utilitaire (Raîche, 2003; Sodoké 2005) permettant de réaliser: les tâches de calculs relatives à la TRI; une simulation de patrons de réponses selon les modèles logistiques à 1, 2, 3 ou 4 paramètres et selon différents méthodes destimation; la détection de patrons de réponses inappropriés à partir des indices Lz, Infit, Outfit et Zeta; la création des fichiers de données et de traitements nécessaires pour webQuiz; la création et simulation de test adaptatif en local (en cours de développement). Fig.1 Architecture actuelle

13 Conclusion et développements futurs Modèle apprenant État affectif État cognitif Modèle pédagogique Agent Tuteur Connaissance du domaine Item Administré QuestionRecommender Fig.2 Architecture prévue Socio-constructivisme Béhaviorisme Cognitiviste Caractéristique Migration vers un agent de recommandation de questions : QuestionRecommender. Amélioration des stratégies de sélection du prochain item grâce aux stratégies dIntelligence Artificielle. Norme XML pour générer de nouvelles questions à partir des questions existantes. Merci et Questions ?

14 Références Baker F. (2001). The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland Blanchard, E., Razaki, R., Frasson, C. (2005b). Cross-Cultural Adaptation of eLearning Contents: a Methodology. International Conference on E-Learning, Vancouver, Canada. Brusilovsky, P. and Peylo, C. (2003) Adaptive and intelligent Web-based educational systems. In P. Brusilovsky and C. Peylo (eds.): International Journal of Artificial Intelligence in Education 13 (2-4), Special Issue on Adaptive and Intelligent Web-based Educational Systems, 159-172. Gay, G. (2000). Culturally responsive teaching: Theory, research and practice. New York: Teachers College Press. Hage H., Aïmeur, E. (2005). Exam Question Recommender System. Proceedings of the 12th International Conference on Artificial Intelligence in Education, Amsterdam, july 2005. Wainer, H. (1990). Computerized Adaptive Testing: A primer. New York: Lawrence Erlbaum Associates. Raîche G. (2004). Modèles de mesure : l'apport de la théorie des réponses aux items. Le testing adaptatif. Dans R. Bertrand et J.-G. Blais (Dirs) : Montréal : Presses de l'Université du Québec