INTÉGRATION DE MODULES D'ÉVALUATION ADAPTATIVE À LA PLATE FORME DE GESTION ÉDUCATIVE MOODLE Komi SODOKÉ Gilles Raîche Université du Québec à Montréal CAMRI.

Présentation au sujet: "INTÉGRATION DE MODULES D'ÉVALUATION ADAPTATIVE À LA PLATE FORME DE GESTION ÉDUCATIVE MOODLE Komi SODOKÉ Gilles Raîche Université du Québec à Montréal CAMRI."— Transcription de la présentation:

1 INTÉGRATION DE MODULES D'ÉVALUATION ADAPTATIVE À LA PLATE FORME DE GESTION ÉDUCATIVE MOODLE Komi SODOKÉ Gilles Raîche Université du Québec à Montréal CAMRI 10 Novembre 2006 Contact: sodoke.komi@courrier.uqam.casodoke.komi@courrier.uqam.ca

2 PLAN DE PRESENTATION I- Introduction et mise en contexte - Tests classiques : Structure et limites - Tests classiques : Problèmes et solutions II- La Théorie de la Réponse à l’Item - Définition et fondements - Modélisation utilisée III- Les réseaux bayésiens - Définitions et principes - Exemple simple de réseau bayésien IV- Épistémologie - Psychologie Éducation - Informatique/Intelligence Artificielle V - Architecture d’implémentation du STI PersonFit - Le modèle apprenant - Le modèle des connaissances du domaine - Le modèle pédagogique - Le modèle de communication Apprenant-PersonFit - La détection du jeu(gaming) dans PersonFit VI- Structure des items - Les méta données - Les informations de manipulations - Le corps de l’item VII- Structure du fichier des paramètres VIII- Regroupement des items -Physiquement -Logiquement IX- Algorithme de fonctionnement simplifié X- Présentation du travail effectué - PersonFit - Moodle - Interaction PersonFit-Moodle XI- Java Vs PHP XII- Quelques échéanciers

3 Tests classiques : Structure et limites  Même test pour tous les répondants.  Nombre fixe de questions.  Différents degrés de difficulté des questions.  Durée fixe et prédéterminée.  Note du répondant qui correspond généralement à la somme des scores obtenus à toutes les questions. Ce format de test que nous appellerons «test classique» couvre la majorité des épreuves d’évaluations actuelles, y compris les évaluations en ligne (e-évaluation). I- Introduction et Mise en contexte

4  Le niveau de difficulté des questions auxquelles doit répondre le répondant ne correspond pas toujours au niveau de connaissance de ce dernier  manque de motivation, aucun défit n’est relevé.  Le test est peu informatif surtout dans les points extrêmes de l’échelle d’habileté.  Des problèmes de sécurité car le plagiat est plus facile d’autant plus que les apprenants reçoivent tous le même test avec la même séquence de questions. SOLUTION Conception de tests adaptatifs pour mettre en oeuvre des approches méthodologiques appropriées afin d’évaluer d’une manière juste et équitable les compétences des apprenants. Tests classiques : Problèmes et solutions I- Introduction et Mise en contexte Nous présenterons une plate forme de test adaptatif par ordinateur basée sur la sur la Théorie de la Réponse à l’Item.

5 Théorie de la Réponse à l’Item La Théorie de la Réponse à l’Item (TRI) est un ensemble de modèles permettant une représentation mathématique probabiliste des caractéristiques des questions en vue de leur utilisation pour déterminer un niveau d’habilité ou un trait considéré latent d’un répondant à un test. Le niveau d’habilité désigne le degré d’aptitude particulier, le niveau de compétence ou un trait considéré latent d’un individu dans un domaine précis. Il est d’ordre cognitif.  Chaque répondant à un test a un niveau d’habilité θ donné auquel on pourrait associer une valeur numérique à sur un échelle d’habileté.  Ce répondant de niveau d’habileté θ a une probabilité P(θ) de trouver la bonne réponse à une question. Deux considérations servent de fondement à la TRI Définition et fondements À ces considérations, s’ajoutent certains postulats et hypothèses.

6 Le paramètre de difficulté de l’item, noté b Le paramètre de discrimination de l’item noté a Le paramètre de pseudo-chance de l’item noté cL’asymptote maximale de l’item notée d Il existe plusieurs modèles. Actuellement nous travaillons avec le modèle dichotomique à quatre paramètres Théorie de la Réponse à l’Item Modélisation utilisée

7 Les réseaux bayésiens Définitions et principes  Ce sont des graphes orientés acycliques dont les noeuds sont des variables aléatoires, et dont la structure traduit les dépendances conditionnelles entre ces variables.  Dans ce graphe, les relations de cause à effet entre les variables ne sont pas déterministes, mais probabilisées.  L’existence d’un arc orienté entre deux nœuds A et B traduit un lien de causalité entre A et B.  On dispose d’algorithmes pour propager l’information ou des évidences à partir d’un nœud dans le reste du réseau ou graphe.  Les réseaux bayésiens peuvent tenir compte simultanément de connaissances a priori d'experts et de l'expérience contenue dans les données.  En fonction des informations observées, on calcule la probabilité des données non observées.

8 Exemple simple de réseau bayésien L'absence d'un arc allant de X1 à X5 signifie que la saison n'a pas une influence directe sur l'état glissant ou pas du chemin. Également un chemin mouillé peut être dû à un arrosage ou la pluie. Figure 1: Un réseau bayésien représentant les dépendances entre cinq variables Les réseaux bayésiens

9 Épistémologie - Psychologie Éducation - Informatique/Intelligence Artificielle Informatique/Intelligence Artificielle Empirisme Rationalisme Pragmatisme/ Socio-historique Béhaviorisme Cognitivisme constructivisme Environnements d’apprentissage par la découverte Enseignement Assisté par ordinateur (CAI) Systèmes Tuteurs Intelligents (STI) Épistémologie Psychologie Éducation

10 Modèle apprenant État affectif État cognitif Modèle pédagogique Agent Tuteur Connaissances du domaine Item Optimal Administré PersonFit Architecture d’implémentation du STI PersonFit Constructivisme Béhaviorisme Cognitiviste Caractéristiques Outils utilisé TRI Les STI s’opposent aux systèmes classiques dans la mesure où les STI connaissent la matière à enseigner (Connaissance du domaine), comment l’enseigner (Modèle pédagogique) et comment acquérir des informations pertinentes sur l’étudiant (modèle de l’apprenant). Ainsi, à travers l’interaction entre tous les modules les constituant les STI permettent de fournir un enseignement adapté à un apprenant sans intervention humaine. Emilie 1, Emilie 2, Modèle OCC QuestionRecommenderCurriculumRecommender

11 Le modèle apprenant de PersonFit État cognitif La représentation computationnelle ou l’estimation par le système de l’état et du niveau de connaissance de l’apprenant, son profil affectif, ainsi que d’autres caractéristiques tels que la culture, les préférences etc. Les stratégies utilisées peuvent se diviser en deux grandes catégories :  L’approche orientée expert : se base sur un modèle de l’expert pour identifier les compétences nécessaires pour résoudre un problème ou réussir un item.  L’approche orientée données : se base sur les données ou informations disponibles pour ressortir des structures et équations permettant de relier l’habileté d’un apprenant à sa performance ( Théorie de la Réponse à l’Item ). Dans PersonFit, nous utiliserons l’approche orientée données. État affectif Il s’agit de prendre en considération des traits émotionnels non observés et dynamiques comme la motivation, le doute, la frustration, intérêt, excitation, confusion afin d’y adapter la stratégie d’interaction.  Reconnaissance d’émotions: Dans PersonFit, il sera possible de récupérer, si une caméra est installée sur le poste client, des images faciales de l’apprenant. Ces images seront envoyées à des programmes de reconnaissance d’émotions notamment Émilie 1.  Expression d’émotions: Émilie 2 permet au tuteur d’exprimer ses options en réponse aux actions de l’apprenant.

12 Le modèle des connaissances du domaine Représentation déclarative des connaissances du domaine. Il s’agit ici d’une énonciation des lois et principes du domaine sous formes de faits et de règles. La représentation des relations entre les éléments du domaine sera réalisée par des réseaux bayésiens. La base des connaissances du domaine sera montée dans une perspective pédagogique (pré-requis, acquisition, etc.), une analyse et une planification des objectifs d’apprentissage.

13 Le modèle de connaissances pédagogiques Diagnostic cognitif de l’apprenant Approche épistémique Consiste à inférer les connaissances de l’apprenant à partir de sa performance. La valeur du niveau d’habileté de l’apprenant dans le concept ou dimension concernée la sera utilisée. La taxonomie et le niveau taxonomique associés aux items permettront de faire des inférences beaucoup plus informatives et reliées à ces niveaux. Approche partiellement comportemental Consiste à reconnaître l’action de l’apprenant, inférer sa démarche, prédire la prochaine étape et offrir un indice approprié à la démarche de l’apprenant (Conati et Al. 2002). Utiliser le potentiel prédictif qu’offre la TRI en connaissant le niveau d’habileté actuel de l’apprenant et les probabilité de réussite des items subséquents. Le support didactique Représentation des stratégies de support à l’apprentissage, ainsi que des tactiques correspondantes. PersonFit ne disposera pas de support didactique mais aura un engin de recommandation des cours accessible dans Moodle sur la base d’un mécanisme d’indexation et du profil de l’apprenant. Deux approches utilisées

14 Le modèle de communication Apprenant-PersonFit Modèle de discours, Modéliser les interactions possibles Apprenant/Système afin que PersonFit puisse comprendre les entrées (input) de l’apprenant ainsi que le traitement à faire sur ces entrées. Plus précisément PersonFit sera un STI à base conversationnel. Le flot du dialogue entre PersonFit et l’apprenant sera constitué de sollicitations, de conseils, d’assertions et de rétroactions. Il y aura deux types de rétroactions, à savoir : pédagogique : résultant d’évaluation de la réponse de l’apprenant, donc associée à l’item. correctif : remédiatif.

15 La détection du jeu(gaming) dans PersonFit Ensemble de stratégies utilisé par des apprenants pour réussir dans l'environnement éducatif en exploitant des propriétés du système plutôt qu'en apprenant le matériel à étudier et ensuite utiliser cette connaissance pour répondre correctement aux questions. Le jeu peut être divisé dans la plupart des systèmes en deux catégories: - le jeu «nocif» : associé à l’évitement de pauvres résultats d’apprentissage par les étudiants - le jeu «non-nocif»: se produit typiquement dans des situations comme le sous-classement volontaire.  L’algorithme de déroulement utilisé, le système tend à administrer des items plus faciles après qu'une personne ait répondu incorrectement à un item subséquent ou vice versa.  Étant donné que les résultats du test seront utilisés pour bâtir le modèle de l’apprenant qui serviront à faire plusieurs inférences, il est important d’avoir les informations le plus fiables et exactes que possible.  Volonté de sous classement volontaires. SOLUTION Utilisation et adaptation des indices de détection de patrons de réponses inappropriés (notamment lz issu des travaux de Raîche), analyses des réactions béhavioristes dans l’utilisation du système. Nous concernera pour trois raison dans PersonFit

16 Structure des items Méta données : sont communes à tous les items, permettent la description et l’indexation de l’item et sont utilisées pour les recherches et si possible les inférences.  Titre*: le titre de l’item, sera affiché comme indicatif de l’item et doit donc être assez court et assez descriptif du contenu de l’item.  Identifiant*: Il est unique et constitue également le nom du fichier. Il peut être généré par le système ou donné par l’auteur à la création de l’item.  Xsi, xmlns, Schema Location: sont des fichier web utilisés pour la validation du format et du contenu.  Adaptatif: permet de spécifier si l’item sera adaptatif ou associé à des paramètres d’item.  Temporelle: permet de spécifier si la durée de présentation de l’item au répondant sera comptabilisée et utilisée comme variable.  Auteur(s)*: représente l’identifiant de l’auteur de la question. S’il y a des auteurs multiples, ils seront tous spécifés.  Mots/Verbes clés*: il s’agit de quelques mots clés servant à la description des items.  Objectifs, commentaires: objectif d’enseignement ou d’évaluation poursuivis par le concepteur de l’item. Commentaires fournis par lui-même ou d’autres membres de son groupe.  Taxonomie: Différentes taxonomies peuvent être créées et associées à l’item ainsi que le niveau correspondant. Les attributs précédents ‘ * ’ sont obligatoire Sont spécifiées et non générées par le système. Communauté de confiance — »groupe

17 Structure des items Informations de manipulations: communes à tous les items. Ces informations seront utilisées par PersonFit dans la manipulation des items. Traitement des réponses : il s’agit de la façon dont les réponses des apprenants à l’items seraient traitées. Des gabarits sont fournit par défaut à savoir: http://www.imsglobal.org/question/qti_v2p0/rptemplates/match_correct http://www.imsglobal.org/question/qti_v2p0/rptemplates/map_response Mais le concepteur pourrait en spécifier lui-même. Format de présentation: il s’agit ici du format d’affichage de l’item aux répondants. Flash, XSL, CSS, Applet et Java 2D ou 3D Stratégie d’interaction: Il s’agit des stratégies à utiliser pour les rétroactions à envoyer au répondant Immédiate: à la fin de l’item à la fin:à la du test. par le système: au moment opportun sujet par PersonFit. Traitement/Affichage Paramètres d’item: a,b,c,d Options de partage VoirUtiliserModifier Créateur1247 Groupe1247 Autres1247 Rétroactions globales Positives: explication, encouragement, etc. Négatives: explication, avertissement, etc.

18 Structure des items Le corps de l’item : spécifique à chaque item selon son type. Les types de questions disponibles dont certains sont en cours de développement sont : Multiple choice, True false, Multiple response, Image hot spot, Fill in the blank, Select text, Slide, Drag object, drag target, Order objects, Match items, Connect points. Format classique d’un item : Il s’agit de fichiers XML dont la structure est basée sous les normes IMS auxquelles nous avons ajouté des extensions.

19 Structure du fichier des paramètres d’items

20 Regroupement des items  Dossier racine protégé représentant la base de données locaesl : PersonFit/Data  Dossier protégé à l’intérieur du dossier racine représentant les catégories. Les items sont stockés et organisés par catégorie (dimension au sens de la TRI). Il y aura une organisation hiérarchique des catégories. Donc, une catégorie peut avoir un ou plusieurs sous catégories. Physiquement Logiquement  Un fichier manifeste est associé à chaque catégorie. Il décrit la catégorie, tous ces items, le nombre d’utilisations de chacun de ces items (aging) etc.  Un fichier manifeste racine représente toutes les catégories, les relations entre elles qui peuvent être d’ordre hiérarchique, participatif et/ou probabilisé.  Un fichier manifeste représentant les activités. Chaque activité est constituée par un certain nombre d’item sélectionné afin d’atteindre les objectifs visés.  Un fichier manifeste représentant les tests. Chaque test est constituée par un certain nombre d’items sélectionnés ou recommandés par PersonFit. Assessment Section Item

21 2. Détermination de l’estimateur initial du niveau d’habileté θ i Oui Non Oui 3. Sélection d’un item optimale en fonction de la valeur de : θ i 1. Début du test 4. Administration de l’item 5. Observation et Évaluation de la réponse du répondant 6. Révision de la valeur de θ i en fonction du patron de réponse de l’apprenant 7. Est-ce que la règle d’arrêt est satisfaite? 8. Calcul de l’estimateur final du niveau d’habileté 9. Fin de la section de test 10. Fin du test ? 11. Passer à la prochaine section du test 12. Fin du test Algorithme de fonctionnement simplifié

22 Présentation du travail effectué PersonFit : logiciel utilitaire développé en Java fonctionnant en mode client pour  La création de banques d'items sous la norme IMS QTI.norme IMS QTI  Le chargement et le téléchargement de ces banques dans la plate forme Moodle.  La génération ou création des tests adaptatifs ou plus informatifs selon différents niveaux d’habileté visés.  La visualisation et simulation de ces tests hors ligne.  L’importation des items conçus dans d’autres plates-formes notamment NetQuiz et Hot Potatoes format Microsoft Word exporté en HTML filtré.  La simulation des résultats à un test adaptatif ou non sur la base du modèle des apprenants qui peut être récupérée via Moodle.  Des traitements relatifs à la TRI.  La simulation de patrons de réponses selon différents modèles logistiques.  La détection de patrons de réponses inappropriés à partir des indices Lz, Infit, Outfit et Zeta.  La visualisation les courbes caractéristiques des items contenus dans la banque locale d’item, les fonctions d’information d’item et de test.  La création de différents fichiers de données et de traitements (table d’information etc.).

23 Présentation du travail effectué Interface de présentation d’item de PersonFit

24 Présentation du travail effectué Intégration dans Moodle Plate-forme web de gestion des activités éducatives Moodle. Cette plate forme gagne actuellement en popularité à tous les ordres d'enseignement.

25 Interaction PersonFit-Moodle Fig.1 Architecture actuelle Moodle

26 Java Vs PHP Contrainte actuelle: questions, tests, activités, catégories. Plus facile à gérer et à solutionner avec PHP (Importation/exportation de banque). Manipulation utilisateur: Plus facile et plus conviviale avec Java. Importation/Exportation banque d’items local/serveur via interface Java

27 Quelques échéanciers  Première Utilisation/Simulation du logiciel : étudiants dans le cours FPE 7550 (UQAM) Hiver : 2007  Finaliser quelques fonctionnalités restantes  Recueillir de la part de ces derniers: commentaires, suggestions, autres fonctionnalités désirées. Printemps-Été : 2007  Analyse des rétroactions obtenues  Modification du design Pattern  Finalisation de la version 1.0 de PersonFit: Test de qualité logiciel, création des fichiers d’installation etc.  Distribution ou mise sur le marché de PersonFit 1.0 Merci – Questions, Suggestions, Critiques