Les projets Pépite et Lingot M2-Didactique des mathématiques 25-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Université Pierre et Marie Curie http://lutes.upmc.fr/delozanne/2012-2013/Lingot/M2-P7-Lingot.htm

Plan Les projets Pépite et Lingot Contexte, objectifs Démo Une recherche collaborative et itérative Questions de recherche Diagnostic cognitif Parcours d’apprentissage différencié Résultats et perspectives

Des Pépites et des Lingots ? Dans la boue des productions des élèves… x + 8 = 8x Il ne faut pas additionner les puissants … trouver les granules de connaissances pour forger … des connaissances conformes au référentiel des programmes

Le projet Lingot Objectifs Instrumenter la gestion de la diversité cognitive des élèves dans une classe en algèbre élémentaire 3 axes de recherche Diagnostic (Pépite) Analyser les réponses à des exercices Détecter des cohérences Obstacles/Leviers pour l’apprentissage Situer un élève (un groupe d’élèves) par rapport à la compétence de référence Apprentissage Parcours d’apprentissage adaptées au diagnostic Instrumentation de l’activité des enseignants (PépiPad) Organiser en classe un enseignement différencié Avec le projet Lingot, nous proposons un travail de recherche dont l’objectif est de créer des assistants informatiques pour l’enseignement et l’apprentissage qui ne soient pas fondés exclusivement sur des fonctionnalités proposées mais fondés d’une part sur des recherches menées dans divers domaines pour concevoir des situations d’apprentissage qu’ils rendent possibles et d’autre part sur des modélisations informatiques qui permettent la réalisation de prototypes que l’on peut tester d’abord en laboratoire puis dans des conditions “ écologiquement valides ”. Réciproquement ces environnements informatiques permettent de valider, tester, discuter, compléter, systématiser ou infléchir les études de départ. Pour développer notre recherche, nous avons choisi un domaine d’apprentissage, celui de l’algèbre à la fin de la scolarité obligatoire, l’algèbre constituant un outil privilégié des mathématiques mais aussi un verrou d’accès à l’enseignement scientifique. Nous cherchons à articuler des recherches en informatique, en didactique et ergonomie cognitive : modéliser des cohérences de fonctionnement des élèves dans un domaine vaste adopter une « approche intégrée de la conception » i.e. prenant en compte non seulement les aspects informatiques et les aspects développements cognitifs des élèves (AI&ED classiques) mais aussi les aspects gestion de classes, cohérences sur l’ensemble d’un cycle d’études et formation des enseignants. Ces approches sont adoptées également par des chercheurs en EIAH par exemple : comme Ken Koedinger et Kaye Stacey Par exemple, Koedinger développe des tuteurs intelligents mais dans le cadre d’un curriculum et en concevant aussi les livres et textes imprimés, formation des prof. K. R. Koedinger, J. R. Anderson, Intelligent Tutoring Goes to School in the Big City, IJAIED (8), 30-43, 1997. Notre projet Lingot a été retenu dans l’appel d’offres Ecole et sciences cognitives, sur le thème Les apprentissages et leurs dysfonctionnements, du programme Cognitique du MRT, 2002

Une équipe pluridisciplinaire Informatique Didactique des maths Ergonomie Sésamath Enseignants …

Démo Contexte 3° collège Lingot de Terre Adélie plateforme LaboMep de Sesamath Consignes Toujours cliquer sur OK avant de changer d’exo Ne pas revenir en arrière Scénario Prof : prépare la séance de test diagnostique Élève : se connecte sur LaboMep passe le test (N’oubliez pas de cliquer sur OK) Prof : regarde les bilans et choisit un thème PépiPad : génère une séance différenciée Élève : travaille sur les exercices de sa séance (rafraichir pour voir sa séance)

Démarche de recherche itérative Partir De recherches en didactique des maths (LDAR) De l’expertise de l’association Sésamath Des l’état des recherches en EIAH Créer des modèles informatiques et des prototypes Tester les prototypes dans les classes En retour enrichir l’expertise didactique l’expertise et la plateforme de Sésamath l’expertise en conception d’EIAH Être utile aux élèves et aux professeurs ?

Cycles de recherche Une analyse didactique cognitive et épistémologique un outil de diagnostic papier (Grugeon 95) Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000) Une nouvelle modélisation de l’élève 3 niveaux : PépiStéréo (Vincent et al. 2005) Une modélisation générique du diagnostic Génération des exercices et de l’analyse automatique des raisonnements : PépiGen et Pépinière (Prévit 2008) Dissémination : association Sésamath-MathEnPoche Prototype/application disponible à large échelle : PépiMep (Darwesh et al. 2010) Parcours d’apprentissage différencié (Pilet 2011, El-Kechaï 2011) PépiPad

Questions de recherche Comment modéliser les connaissances d’un élève ? Modèle de référence : didactique/enseignants/informatique Quelles situations mettre en place pour recueillir des observables ? Modélisation des tâches diagnostiques, Banque de tests Comment inférer les descripteurs à partir des observables ? Typer et coder les réponses : diagnostic individuel local Détecter les cohérences : diagnostic individuel global Situer l’élève par rapport à une référence : stéréotypes/groupes Comment exploiter le diagnostic en prenant des décisions à partir des observables ? Prise de décisions didactiques (enseignants ou machine) Aide à la décision pour organiser des parcours Réflexion métacognitive avec l’élève Comment évaluer les outils produits ?

Plan Les projets Pépite et Lingot Diagnostic cognitif ? Définitions Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Diagnostic cognitif en EIAH ? Processus « Processus qui consiste à produire de façon automatique une description des connaissances ou des savoir-faire qu’un système a cru déceler chez un élève en analysant les traces de son activité » (Delozanne et al. 2010) Résultats du processus Diagnostic cognitif Modèle de l’élève Profil cognitif Bilan des connaissances et des compétences

Architecture de Pépite Exploite PépiDiag PépiDiagLocal PépiDiagGlobal

Q1 : Modéliser les connaissances d’un élève Enseignants Connaissance de référence : capacités (Programmes scolaires) ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques Connaissance de référence Organisation mathématique/didactique Composantes de la compétence algébrique Des problèmes variés pour couvrir l’ensemble des composantes trous, capacités implicites Connaissances d’un élève Cohérences dans l’activité mathématique des élèves Pas seulement des erreurs Rupture entre pensée algébrique et arithmétique Leviers et obstacles pour l’apprentissage Dimensions d’évaluation

Modèle de l’élève dans Pépite Bilan cognitif : 3 niveaux de description Diagnostic local (sur un exercice) (exemple) Type de réponse et règles appliquées Codage sur 8 dimensions Diagnostic global individuel (sur un ensemble d’exercices)(ex) Caractéristiques personnelles, leviers et fragilités Par composante :Taux de réussite, indicateurs Diagnostic global collectif (exemple) Stéréotype et groupe Niveau sur chaque composante

Q2 : Recueillir des observables ? Un élève passe un test Un ensemble d’exercices conçus pour détecter des cohérences dans l’activité mathématique des élèves Erreurs/réussites Des indices de misconceptions/leviers d’apprentissage Un exercice diagnostique Énoncé et questions Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement) Une grille d’analyse des réponses Types de réponses anticipées à un exercice Évaluation multidimensionnelle de ces réponses

Un exercice diagnostique

Diagnostic local(1) Réponse Type Codes + interprétations x + 8 = 8x 8x Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée V3 incorrecte L3 lettres avec règles fausses E2 = annonce de résultat J31 pseudo-formelle T2 traduction pas-à-pas séparée EA42 règle incorrecte d’ assemblage Règles utilisées (incorrectes) : A+B = AB A X  B = (A  B) X A X - X = A – 1 Dimensions d’évaluation Validité Usage des Lettres Signe d’ Égalité Justification Traduction Écritures Numériques Écritures Algébriques

Diagnostic local(2) Réponses Type Codes + interprétations 3 + 8 = 11 11 × 3 = 33 33 - 4 = 29 29 + 3 = 32 32/4 = 8 8 + 2 = 10 10 - 3 = 7 Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects V3 incorrecte L5 pas de lettres E2 = annonce de résultat J2 justification par un exemple T2 traduction pas-à-pas séparée EN1 écritures numériques correctes Dimensions d’évaluation Validité Usage des Lettres Signe d’ Égalité Justification Traduction Écritures Numériques Écritures Algébriques

Diagnostic local (3) Réponses d’élèves Codes + interprétations (3+8 × 3-4+3)/4+2-3 32/4+2-3 8+2-3 10-3 V3 incorrecte L5 pas de lettres J2 par l’exemple T3 globale non parenthésée EN1 : écritures numériques correctes ((5+8)×3-4+5)/4+2-5=7 ? ((13)×3-4+5)/4+2-5=7 ? (39-4+5)/4+2-5=7 ? 10+2-5=7 ? 10-3=7 ? 7=7 ? T1 globale parenthèsée, équation ((x + 8) × 3 - 4 + x) / 4 + 2 - x =( 3x + 24 - 4 + x)/4 + 2 - x =(4x +20) / 4 + 2 - x =x + 5 + 2 - x =7 V1 correcte, L1 nb généralisé J1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. Correcte Règles utilisées (A+B)C = AC+BC Règle correcte AC+BC = (A+B)C Règle correcte (A+B)/C = A/C+B/C Règle correcte

Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests diagnostiques Thèse de D. Prévit (2008) Travail didactique et premier prototype Pépite1 Ensemble figé d’exercices figés Utilisable une seule fois à un seul niveau de classe Logiciel PépiGen Caractérisation des exercices équivalents du point de vue diagnostique (clones) Génération des clones Analyse multicritère automatique des réponses ouvertes à chacun de ces clones

Pépinière Un logiciel de calcul formel qui manipule des arbres pour : Analyse syntaxique des expressions algébriques Grammaire algébrique Transformations algébriques Règles de réécriture correctes ou incorrectes Génération des solutions plausibles anticipées Unification et heuristiques Comparaison des expressions algébriques Arbres superposables Pépinière comporte plusieurs fonctionnalités. Premièrement il transforme une expression algébrique saisie sous la forme d’une chaîne de caractère en arbre d’expression en s’appuyant sur les grammaires algébriques Deuxièmement, il génére toutes les expressions algébriques obtenues par application de règles de réécriture correctes ou erronées en s’appuyant sur la théorie des règles de réécriture et sur un fichier des règles incorrectes repérées de façon récurrente par les didacticiens de l’équipe. Troisièmement, son originalité (et c’est le seul point que nous développons ici) est de générer les solutions plausibles anticipées par une analyse didactique à des problème de preuve par réduction et développement. Pour cela, Pépinière s’appuie sur l’algorithme d’unification et sur des heuristiques pour éviter les bouclages et l’explosion combinatoire. Quatrièmement, il compare deux expressions algébriques pour vérifier leur équivalence. Des expressions algébriques. Pépinière est utilisé par l’outil auteur PépiGen et par le diagnostiqueur PépiDiag

Plan Les projets Pépite et Lingot Diagnostic cognitif ? Définitions Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Résultats et perspectives

Q3 : Analyser les observables ? Comment construire le modèle des compétences d’un élève L’élève passe un test PépiTest Ses réponses sont mémorisées PépiDiag construit le diagnostic en 3 étapes Analyse multidimensionnelle de chaque réponse : type de réponse et vecteur de codes (diagnostic local) Agrégation des codes Bilan cognitif : caractéristiques personnelles + stéréotype Formation d’un groupe pour parcours d’apprentissage

Étape 1 : Analyse des réponses Diagnostic local : PépiDiag Compare la réponse de l’élève à une des réponses anticipées de la grille de codage Utilise d’un logiciel de calcul formel : Pépinière Traite les problèmes de commutativité Détecte les règles (correctes/incorrectes) Teste l’équivalence des expressions

Diagnostiqueur : PépiDiag XM L Enregistre les réponses avec le diagnostic local (type et codes) est chargé Réponse de l’élève Diagnostiqueur PépiDiag XM L est chargé Tester l’équivalence de 2 arbres d’expression retourne vrai/faux XM L grille de codage Module Pépinière

Évaluation du diagnostic local Dépend du type de question (ouverte/fermée) Comparaison Diagnostic machine/humain N = 360 élèves 3 experts trouvent le travail fastidieux (7 à 10 h pour un seul exercice) se trompent plus que le logiciel Critères Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag Réponses en une seule expression : OK Raisonnement : presque mais à améliorer Réponses imprévisibles (~10 % rep. ouvertes) 2/3 des réponses incorrectes non analysées par le logiciel, ne sont pas non plus analysées par les experts

Étape 2 : Bilan cognitif Un bilan = Un stéréotype niveau de compétence sur les 3 composantes Usage de l’algèbre, calcul algébrique et traduction d’une représentation dans une autre Des caractéristiques personnelles taux de réussite leviers fragilités liste des erreurs liste des réussites

Étape 3 : Groupes de travail Gérer la diversité cognitive dans une classe Apprentissage différencié Dynamique de l’ensemble Groupes de stéréotypes 36 stéréotypes, 15 en pratique Regroupement des stéréotypes voisins selon la composante sur laquelle l’enseignant veut travailler Ex. Groupe A (élèves en CA1) contrôlent leur calcul et commencent à choisir les outils adaptés au problème A+ : savent traduire algébriquement des situations diverses A- : erreurs de traduction Ex. : groupes en 2nde

Plan Les projets Pépite et Lingot Diagnostic cognitif ? Définitions Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Résultats et perspectives

Q4 : Exploitation du diagnostic Tutorat individuel Réflexion métacognitive avec l’élève Travail dans la classe Projet avec Sésamath Parcours d’apprentissage différencié (Pad) Thèse en didactique des mathématiques de Julia Pilet Mise au point des parcours d’apprentissage différencié Expérimentations en classe Post-doc en informatique : Naima El-Kechai Modèle de connaissances Logiciel PépiPad : aide à la mise en place

PépiPad Générateur de Parcours Pépite prof Parcours générés Bilans cognitifs des élèves Règles de calcul de parcours construit Pépite paramètre Utilise l'ontologie des exercices Banque d’exercices prof

Capacité Composante de la compétence Ex. calcul algébrique Groupe de capacités Ex. calculer, tester, factoriser Capacité Ex. calculer l’image d’un nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable Exemple : capacités (document de travail) liées au calcul algébrique (fichier xml)

Indexation des exercices Classe (3, 2) Complexité élémentaire, conceptuel simple, complexe, multipas Capacité Objet d’entrée/sortie expression littérale, numérique, figure etc. Cadre et registres d’entrée et de sortie Écriture algébrique, programme de calcul etc.

Résultats (actuels) du projet Une recherche pluridisciplinaire et participative Une méthode de diagnostic Fondée sur une analyse didactique 3 étapes : analyse des réponses, bilan personnel, positionnement par rapport à la référence Typage des réponses anticipées Des parcours d’apprentissage différenciés Des logiciels accessibles sur LaboMep Un test Un diagnostic automatique Des exercices adaptés à chaque groupe d’élèves en fonction des objectifs de travail de l’enseignant Des corpus de réponses importants

Méthode de diagnostic Trois temps Diagnostic local Analyse de la réponse à une question Types de réponses anticipées + vecteur de codes Diagnostic global individuel Cohérences entre les réponses Par composante : taux de réussite + leviers, fragilités, règles fausses et correctes Diagnostic global collectif Position de l’élève par rapport à une référence/au groupe Niveau sur chaque composante Caractéristiques communes à un groupe

Perspectives Court terme(fin du financement 2012) Fiabiliser complètement PépiDiag et PépiPad Long terme (prochain projet) Articuler Les parcours fondés sur les stéréotypes Avec des aides interactives fondées sur l’historique et les caractéristiques personnelles Des scénarios plus ludiques

Résumé Coté recherche : Comprendre les difficultés des élèves Récolter des corpus Produire des modélisations exécutables d’une expertise didactique pour l’enrichir et l’approfondir Coté application : Disséminer des résultats de recherche Produire des logiciels pour faciliter l’insertion dans/ l’évolution des pratiques enseignantes www.labomep.net/

Diagnostic local (pour le prof)

Diagnostic local (pour le chercheur)

Diagnostic local pour le logiciel

Diagnostic personnel global Bilan Personnel de Sam Eugène Sam est dans le groupe A- Profil du groupe A- : Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu l’algèbre pour résoudre des problèmes

Diagnostic collectif global