D Prévit1 Indexation et génération automatique de tests pour le diagnostic de compétences

D Prévit2 Conception Itérative des EIAH Bruillard et Vivet 94, Bruillard et al 00, Beaudoin-Lafon 02 n Partir dun problème denseignement et dune analyse didactique (Grugeon 95) n Travailler au sein dune équipe pluridisciplinaire n Construire des maquettes et des prototypes n Evaluer très tôt auprès des utilisateurs Enseignants, formateurs Etudiants, élèves n Centrer la conception sur les situations dapprentissage

D Prévit3 Conception itérative (Landay 02)

D Prévit4 Pépite 1 (Jean 00) n Hypothèses de recherche 1. Il est possible de recueillir sur machine des réponses délèves suffisamment riches pour un diagnostic cognitif 2. Il est possible dautomatiser (au moins partiellement) ce diagnostic 3. Les profils cognitifs élaborés par le logiciel aideront les enseignants à réguler les apprentissages en algèbre n Résultats Un logiciel qui valide H1 & H2 H3 ???? Articuler diagnostic individuel et gestion de classe –PépiStéréo (Grugeon, Gélis, Coulange, Delozanne, Vincent 04) Adapter le test à différentes situations –SuperPépite (ma thèse)

D Prévit5 De Pépite à Super-Pépite Pépite propose une batterie dexercices figés utilisables une seule fois à un seul niveau de classe : fin de troisième, début de seconde Lanalyse des expérimentations et des retours dusage [Delozanne et al 02b], [Rogalski 03], fait apparaître (entre autres) la nécessité dadapter les tests et le diagnostic n à différentes étapes de la construction des compétences en algèbre n à différentes situations dévaluation De nouvelles situations à envisager : Un enseignant cherche : n Un bilan à des moments clés de lannée (début, fin) dun élève, de sa classe Objectifs du prof : « géographie » de la classe, orientation des élèves etc. n Un bilan adaptatif pour tester rapidement certaines compétences dun élève, dune classe Objectifs du prof : vérification dacquis, création de groupes délèves.

D Prévit6 De Pépite à Super-Pépite Finalité de lEIAH (artefact): n Proposer aux enseignants un ensemble de tests adaptables à différents niveaux de classes et à différentes utilisations Deux questions : n Comment indexer ces tests pour permettre aux enseignants den choisir un adapté à la situation ? n Comment produire ces tests ? Une problématique : n Modélisation et Génération assistée dexercices de diagnostic

D Prévit7 Questions de recherches Est-il possible de définir des modèles dexercices à partir desquels les enseignants pourraient construire leurs propres tests ? End user-programing (Fischer 00, Derycke-Bourguin 01) Est-il possible de définir des modèles de procédures de diagnostic liés aux modèles d'exercices pour produire un diagnostic quand un enseignant a défini un test ? Modélisation cognitive (Grugeon 95, Koedinger 01, Van Lehn 04) n Comment assurer la complétude et la cohérence dun test pour un bilan de compétences à un niveau donné ? Calibrage des tests n Quels outils de modélisation sont pertinents ? Ontologies, technologies UML, XML.

D Prévit8 Objectifs de recherche Modélisation n Des classes dexercices n Du processus de diagnostic associé à chaque classe n Du résultat du diagnostic en fonction du contexte dutilisation

D Prévit9 Un travail systématique de modélisation des exercices Ce travail de modélisation est en cours pour lensemble des exercices du prototype Pépite Un exercice complexe : lexercice du « prestidigitateur » n complexe et intéressant du point de vue diagnostic n exercice clé des didacticiens pour le diagnostic dynamique Interaction : n Lenseignant utilise une palette de mots (tu penses un nombre, ton nombre, tu ajoutes, tu divise par …) n Le logiciel génère linterface élève les expressions algébriques Lanalyse a priori des réponses attendues ou erronées La méthode de diagnostic Deux difficultés n La génération de lénoncé du problème : n Le traitement des expressions algébriques qui sont analysées dans lanalyse a priori et dans lalgorithme du diagnostic : ce travail est en cours

D Prévit10 Exemple : codage dun raisonnement Exemple de réponse (x+8)×3-4+x=3x+24-4+x=3x+20+x=4x+20/4=x+5+2-x=7 Cette production, non codée dans Pépite 1, est codée dans mon DEA par le sextuplet (T3,L3, M31,C4,R31, ) T3 Traitement incorrect L3 Utilisation des lettres pour faire du calcul algébrique avec des règles fausses M31 Utilisation inadaptée des parenthèses qui conduit à un résultat correct C4 Conversion abréviative R31 Justification reposant sur lapplication de règles incorrectes Dans cet exercice pas de codage pour les connaissances numériques

D Prévit11 Algorithme de diagnostic sur une classe dexercice Lecture de la première ligne Tanque que la ligne nest pas vide (exercice non terminé) tant que la ligne est une phrase on lit la ligne suivante (3 lettres consécutives) on teste si lexpression est numérique ou algébrique (existence dune lettre dans lexpression) on teste si lexpression est globale ou partielle (pas à pas) on construit un arbre représentant chaque expression algébrique ou numérique écrite sur la ligne On le compare avec les arbres représentant les expression prévues par lanalyse à priori qui sont associées à des codages On obtient la liste des règles fausses identifiées

D Prévit12 Plan 1.Introduction 2.Définitions 3.Présentation de Super-Pépite 4.Les modélisations pour la génération dexercices

D Prévit13 Test Un test est un ensemble bien déterminé dexercices, liés au niveau de la classe, qui permet à lenseignant et/ou au logiciel détablir un bilan des compétences algébriques dun élève, dun groupe délève ou dune classe. Le diagnostic est le processus qui permet détablir un tel bilan.

D Prévit14 Les résultats du diagnostic Plusieurs niveaux de modélisation des compétences n diagnostic local à un exercice Portée : un seul exercice Procédure : cest ce quon appelle le codage. Il consiste à appliquer la grille danalyse prévue dans lanalyse didactique a priori de lexercice Résultat : un sextuplet qui situe la réponse de lélève à lexercice en référence au modèle de compétences algébriques à un niveau donné de classe n diagnostic global au test Portée : un ensemble dexercices Procédure : elle consiste en une analyse transversale des codages des réponses aux différents exercices Résultat : n un profil cognitif (cf. Pépite) n un stéréotype

D Prévit15 Les résultats du diagnostic global Niveau de modélisation des compétences Pépite 1Maintenant codageMatrice de diagnosticMatrice de diagnostic plus complète Profil cognitifÀ linterface n Réifié dans un fichier XML n Présenté de façon différente StéréotypeNexiste pasTriplet dans un fichier XML

D Prévit16 Stratégies de diagnostic Deux stratégies de diagnostics : n diagnostic systématique Il consiste à faire passer à tous les élèves dune même classe le même test n diagnostic adaptatif Il consiste à poser des exercices qui sont choisis en fonction des réponses de lélève aux exercices précédents.

D Prévit17 Types de tests n test prédéfini Il correspond à un diagnostic systématique ; il comporte un nombre fixe dexercices déterminés et permet de tester un certain nombre de compétences à un niveau donné n test adaptable par lenseignant Il correspond à un diagnostic systématique ; lenseignant choisit : le nombre et le type dexercices proposés, le logiciel lui indique lensemble des compétences testées ou bien un niveau, un ensemble de compétences à tester et une durée de test et le logiciel lui propose un test n test adaptatif (adaptative testing) Il correspond à un diagnostic adaptatif ; lenseignant choisit un ensemble initial dexercices (ou de compétences) à tester. Au moment du passage du test, le système détermine les exercices à poser en fonction des réponses de lélève.

D Prévit18 Plan 1.Introduction 2.Définitions 3.Présentation de Super-Pépite 4.Les modélisations pour la génération dexercices

D Prévit19 Super-Pépite : les utilisateurs Les enseignants n Choisissent, en fonction de leurs objectifs, un test parmi les trois types de tests définis précédemment n Font passer le test à leurs élèves n Élaborent, avec laide du logiciel, un bilan de compétences algébriques à un niveau donné Les concepteurs construisent, en fonction de leurs objectifs, un test à partir de modèles dexercices et de la procédure de diagnostic associée à ces modèles Les élèves passent un test en résolvant des exercices, après quoi ils obtiennent un bilan de compétences algébriques de lapart du système et/ou de leurs enseignants Les chercheurs étudient les différentes productions des utilisateurs (réponses délèves, résultats des tests, bilan de compétences

D Prévit20 Architecture de Super-pépite Concepteur Enseignant Élève Chercheur PépiGenExo PépiGenTest PépiDiagAdaptatif PépiProf PépiDiagPredefini PépiChercheur PépiEleve Réponses codées Profils Bilans - Test Adaptatif - Test prédéfini - Modèles dexercices - Modèles de compétence à un niveau donné - Exercices SERVEUR CLIENT Réponses exploite produit PépiProfil exploite PépiClassesProfil exploite produit exploite produit exploite produit exploite produit exploite

D Prévit21 Conception du logiciel PepiGenExo n Il sagit de concevoir un système qui propose des modèles dexercices et une procédure de diagnostic adaptée à chaque modèle génère lexercice et le diagnostic local à lexercice à partir des paramètres entrés par lenseignant des modèles dexercice. demande à lenseignant de valider les exercices générés n Définition Une classe dexercices est un ensemble dexercices «équivalents» du point de vue de linteraction élève-logiciel. Deux exercices sont équivalents si lanalyse didactique de la tâche est la même pour les 2 exercices.

D Prévit22 Méthodologie de conception de PepiGenExo Comment caractériser des exercices équivalents du point de vue de linteraction élève-exercice et du point de vue du diagnostic des réponses de lélève ? 1.Catégorisation des exercices par rapport au types dinteractions élève- logiciel 2.Dans chaque catégorie étude systématique des paramètres qui peuvent varier sans modifier la tâche 3.Proposition dun modèle 4.Évaluation des modèles lors de séances de travail au sein de léquipe du projet Lingot 5.Affinement du modèle (présenté ici) 6.Modélisation et mise en œuvre informatique (en cours)

D Prévit23 Plan 1.Introduction 2.Définitions 3.Présentation de Super-Pépite 4.Les modélisations pour la génération dexercices

D Prévit24 Catégorisation des exercices de Pépitest Nous avons établi une classification hiérarchique des exercices de PépiTest par rapport aux types dinteractions et aux procédures de diagnostic sous- jacentes. n Niveau 1 Les types dinteractions et les procédures de diagnostic n Niveau 2 Les types de tâches pour lélève Exercices équivalents : les classes dexercices

D Prévit25 Catégorisation des exercices de Pépitest Niveau 1 n exercices de mise en équation n exercices de preuve n QCM ou exercices « apparentés » n Exercice de résolutions déquations n Exercice de résolutions de systèmes déquation Niveau 2 pour les QCM : cocher Les égalités correctes Les sommes et produits Laire et la formule associée La formule associée à un énoncé

D Prévit26 Modèle dune classe dexercice Un classe particulière : la classe C 1 « cocher les égalités correctes »

D Prévit27 Modèle dune classe dexercice Exercice Tâche Énoncé consigne + questions Analyse a priori codage + commentaires Diagnostic structuration de la trace des interactions + algorithme de diagnostic Interface interface physique + interface conceptuelle + actions du système Compétences mobilisées

D Prévit28 Modèle de linterface conceptuel de C 1 Point de vue élève n La consigne n Un QCM formé de 4 questions avec 4 choix de réponses disposées aléatoirement Possibilités daction de lélève à linterface Lélève peut lire lénoncé, cocher n cases correspondants à n choix Actions du système n Initialisation : déclenchement dun chronomètre à louverture n Mémorisation : comptage des clics sur chaque choix n Rétractions usuelles

D Prévit29 Modèle de linterface physique de C 1 Zone de texte avec contenu constantLabel du composant Composant formé de 4 cases à cocher avec label n Zone de texte avec contenu constant n 4 composants de type panel comportant Un label Un groupement de 4 cases à cocher

D Prévit30 Modèle de la tâche de C 1 Les compétences mobilisées n Interpréter des écritures numériques n Valider des égalités numériques Enoncé : n Une consigne contenu : « Cochez dans chaque cas la ou les égalités correctes » n 4 questions comprenant 4 égalités vraies ou fausses générées par le système

D Prévit31 Modèle de la tâche de C 1 Contenu des questions ou labels 4 questions ( Q i ) et 4 choix (choix i ) par question Contraintes sur les variables Ces contraintes sont associées à un niveau de difficultés. choix 1 choix 2 choix 3 choix 4 Q1Q1 (-a) 2 = -eval(a a)-a 2 = eval(a a)-a 2 = -eval(a a)(-a) 2 = eval(a a) Valeurs de vérités faux vrai

D Prévit32 Modèle de lanalyse a priori de C 1 Daprès lanalyse a priori proposé par les didacticiens, à chaque choix correspond une égalité vraie ou fausse et un codage Pour chaque question Q i i variant de 1 à 4 Pour chaque choix choix j j variant de 1 à 4 Code (i,j) = (T, M, ) T: traitements, M : calcul algébrique Commentaire Nombre de réponses correctes de la question i choix 1 choix 2 choix 3 choix 4 Q1Q1 (-a 2 ) = - eval(a a)-a 2 = eval(a a)-a 2 = -eval(a a)(-a) 2 = eval(a a) codageT3 et M31T3 et M33T1 et M1 commentaires

D Prévit33 Modèle du comportement de lélève de C 1 Pour les réponses, la position des items étant aléatoire, il sagira de repérer quelles sont les cases à cocher qui sont activées (nombre pair dessais) et mettre en relation, le choix choix i et la position P k de la case à cocher. Trace Pour chaque question Q i Réponses pour le diagnostic Hésitations Temps cumulé

D Prévit34 Modèle du comportement de lélève de C 1 Algorithme de diagnostic Associer les cases cochées aux expressions mathématiques Pour chaque Q i Si aucun choix coché alors T0 Sinon Cas 1 : Q i a au moins un choix incorrect coché Codage T3, M sur les choix cochés Cas 2 : Q i a un seul choix correct et il est coché Codage T1, M1 Cas 3 : Q i a plusieurs choix corrects tous sont cochés : Codage T1, M1 au moins un coché : Codage T2, M1

D Prévit35 Conclusion n État du travail Modélisation papier : terminée n Prochaine étape Modèle exécutable n Les questions que je me pose : les choix dimplémentation choisir des outils multi -plate-formes Maintenance des contenus et supports pérennes Architecture client serveur. travaux actuels sur les ressources numériques, leur indexation en liaison avec lutilisation du langage XML, sur les Objets pédagogiques (OP). [David 2003] [Nanard et al 2002], [Guéraud et al 2004]