Les projets Pépite et Lingot Équipe MOCAH Université Pierre et Marie Curie, Sorbonne-Universités Diagnostic cognitif pour un enseignement différencié de lalgèbre élémentaire

Pépites ? Lingot ? Dans la boue des productions des élèves… « x + 8 = 8x » « Il ne faut pas additionner les puissants » … trouver les granules de connaissances pour forger … des connaissances conformes au référentiel des programmes 2

Démarche en EIAH Partir De lexpertise de chercheures en didactique De lexpertise d une communauté de pratique : association Sésamath Des travaux ITS&Maths Créer des modèles informatiques et des logiciels En retour Enrichir lexpertise didactique Enrichir lexpertise et la plateforme de Sésamath Enrichir lexpertise en conception dEIAH 3

Plan Les projets Pépite et Lingot Contexte, objectifs Questions de recherche Une recherche collaborative et itérative Diagnostic cognitif Parcours dapprentissage différencié Résultats et perspectives 4

5 Le projet Lingot Objectifs Instrumenter lenseignement différencié en algèbre élémentaire 3 axes de recherche Diagnostic (projet Pépite) 1.Analyser les réponses à des exercices 2.Détecter des cohérences dans lactivité dun élève -bilans : Obstacles/Leviers pour lapprentissage 3.Situer un élève/un groupe par rapport à la compétence de référence Apprentissage Définir des parcours dapprentissage adaptés aux bilans Instrumentation de lactivité des enseignants Organiser un enseignement différencié

6 Projet pluridisciplinaire IA Didactique des Mathématiques Environnements Informatiques dApprentissage Humain Psychologie et Ergonomie Cognitive IHM GL IA Enseignants Formateurs Association ACA Informatique

Didactique des maths L équipe (une partie) Informatique Sésamath 7 Enseignants …

Sésamath Une communauté de pratiques Une association (2001) Un site : Des manuels en ligne et papier Très bons et moitié moins chers 18% du marché français Financent les frais de fonctionnement En ligne : des outils libres et gratuits Pour les profs de maths inscrits Pour les élèves inscrits 1,3 millions connections /mois 8

9 Conception participative La participation des enseignants Difficile à mettre en œuvre Nécessite du temps Temps de la recherche Temps de laction Une réflexion pour faire leur place Des prototypes pour expérimenter Collaboration avec lassociation Sésamath "Transformer une symétrie d'ignorance en symétrie de participation et en symétrie de connaissances " [Muller 03]

10 Cadres conceptuels Informatique Conception centrée utilisateur-participative (Schuller 93, Mackay 04) Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003) Ingénierie dirigée par les modèles (Favre et al. 06) Ingénierie ontologique (Mélis et al. 2008, Desmoulins 2010) EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00, Caroll 00) Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04) Analyse de traces (Dimitracopoulos09, Choquet07, Marty&Mille09) Didactique des mathématiques Dialectique outils/objets, jeu de cadres et registres, ingénierie didactique, approche anthropologique (Douady 90, Grugeon 95, Artigue 91, Chevallard, Kieran 92,07) Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03)

Questions de recherche 1.Comment modéliser les connaissances dun élève ? Modèle de référence : didactique/enseignants/informatique 2.Quelles situations mettre en place pour recueillir des observables ? Modélisation des tâches diagnostiques, Banque de tests 3.Comment inférer les descripteurs à partir des observables ? Typer et coder les réponses : diagnostic individuel local Détecter les cohérences : diagnostic individuel global Situer lélève par rapport à une référence : stéréotypes/groupes 4.Comment exploiter le diagnostic en prenant des décisions à partir des observables ? Prise de décisions didactiques (enseignants ou machine) Aide à la décision pour organiser des parcours Réflexion métacognitive avec lélève 11

Cycles de recherche 1.Une analyse didactique cognitive et épistémologique un outil de diagnostic papier (Grugeon 95) 2.Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000) 3.Une nouvelle modélisation de lélève 3 niveaux : PépiStéréo (Vincent et al. 2005) 4.Une modélisation générique du diagnostic Génération des exercices et de lanalyse automatique des raisonnements : PépiGen et Pépinière (Prévit 2008) 5.Dissémination : association Sésamath-MathEnPoche Prototype/application disponible à large échelle : PépiMep (Darwesh et al ) Parcours dapprentissage différencié ( Pilet 2011, El-Kechaï 2011 ) 12

Plan Les projets Pépite et Lingot Diagnostic cognitif Modèle de lélève Exercices de diagnostic Diagnostic local/global Parcours dapprentissage différencié Résultats et perspectives 13

Diagnostic cognitif Analyse (automatique) de lactivité dun sujet Performance : réussite/échec Connaissances, procédures et stratégies Correctes ou inadaptées Objectifs Intervention Améliorer la performance, certifier Réguler les apprentissages Scientifique Comprendre -des processus de résolution de problèmes, dapprentissage, denseignement, de conception Modéliser pour simuler, prédire, classifier 14

Différents modèles Approches symboliques Psychologie cognitive ACT : geometry tutor, Algebra tutor (équipe de Pittsburg 1983 … 2011) Diane : problèmes additifs école primaire (Hakem,Sander, Labat, 2005) Plasturgie (Richard, Pastré, Labat et al. 2006) Didactiques des disciplines Balacheff (1995), Stacey (2003), Luengo (2010) Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011) Approches numériques IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009) Réseaux bayésiens (Labat, Hibou 2007) 15

Q1 : Modéliser les connaissances dun élève Enseignants Connaissance de référence : capacités (Programmes scolaires) ex. : traduire une expression algébrique comme aire dune figure, factoriser une expression littérale en appliquant une identité remarquables Connaissances dun élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques Connaissance de référence Composantes de la compétence algébrique Des problèmes variés pour couvrir lensemble des composantes -trous, capacités implicites Connaissances dun élève Cohérences dans lactivité mathématique des élèves -Pas seulement des erreurs Rupture entre pensée algébrique et arithmétique Leviers et obstacles pour lapprentissage 16

Modèle de lélève dans Pépite Bilan cognitif : 3 niveaux de description 17 Diagnostic global collectif Stéréotype et groupeNiveau sur chaque composante Diagnostic global individuel (sur un ensemble dex) Caractéristiques personnelles, leviers et fragilités Par composante :Taux de réussite, indicateurs Diagnostic local (sur un exercice) Type de réponse et règles appliquéesCodage sur 8 dimensions

Q2 : Recueillir des observables ? Un élève passe un test Un ensemble dexercices conçus pour détecter des cohérences dans lactivité mathématique des élèves Erreurs/réussites Des indices de misconceptions/leviers dapprentissage Un exercice diagnostique Énoncé et questions Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement) Une grille de codage des réponses Types de réponses anticipées Évaluation multidimensionnelle de ces réponses 18

Un exercice diagnostique 19

Diagnostic local(1) RéponseTypeCodes + interprétations x + 8 = 8x 8x 3 × 8x = 24+3x= 27x 27x-4 = 23x 23x+x=24x 24x/4=6x 6x+2=8x 8x-x=7 Type 7.3 Démarche de preuve algébrique : lénoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée V3 incorrecte L3 lettres avec règles fausses E2 = annonce de résultat J31 pseudo-formelle T2 traduction pas-à-pas séparée EA42 règle incorrecte d assemblage Règles utilisées (incorrectes) : A+B = AB A X B = (A B) X A X - X = A – 1 20 Dimensions dévaluation Validité Usage des Lettres Signe d É galité Justification Traduction Écritures Numériques Écritures Algébriques

Diagnostic local(2) RéponsesTypeCodes + interprétations = × 3 = = = 32 32/4 = = = 7 Type 12.3 Preuve par un exemple : lénoncé est traduit par des calculs pas à pas corrects V3 incorrecte L5 pas de lettres E2 = annonce de résultat J2 justification par un exemple T2 traduction pas-à-pas séparée EN1 écritures numériques correctes 21 Dimensions dévaluation Validité Usage des Lettres Signe d É galité Justification Traduction Écritures Numériques Écritures Algébriques

Diagnostic local (3) Réponses délèvesCodes + interprétations 5+8 =13 × 3=39-4 =35+5=40 40/4= = = 7 V3 incorrecte L5 pas de lettres J2 justification par lexemple T4 traduction pas-à-pas enchainée EN1 écritures numériques correctes [ x+8] × 3 = 3x+24-4 = 3x+20 = 4x+20 = [4x+20]/4 = x+5 = x+5+2 = x+7 = x+7-x = 7 V3 incorrecte L3 lettres et règles fausses J31 pseudo-formelle T4 traduction pas-à-pas enchainée EA 1 calcul correct Règles utilisées : (A+B)C = AC+BC Règle correcte (A+B)/C = A/C+B/C Règle correcte AC+BC = (A+B)C Règle correcte 22

Diagnostic local (4) Réponses délèvesCodes + interprétations (3+8 × 3-4+3)/ / V3 incorrecte L5 pas de lettres J2 par lexemple T3 globale non parenthésée EN1 : écritures numériques correctes ((5+8)×3-4+5)/4+2-5=7 ? ((13)×3-4+5)/4+2-5=7 ? (39-4+5)/4+2-5=7 ? =7 ? 10-3=7 ? 7=7 ? V3 incorrecte L5 pas de lettres J2 par lexemple T1 globale parenthèsée, équation EN1 : écritures numériques correctes ((x + 8) × x) / x =( 3x x)/ x =(4x +20) / x =x x =7 V1 correcte, L1 nb généralisé J1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. Correcte Règles utilisées (A+B)C = AC+BC Règle correcte AC+BC = (A+B)C Règle correcte (A+B)/C = A/C+B/C Règle correcte AC+BC = (A+B)C Règle correcte 23

Q2(suite) : Recueillir des observables Définir une banque dexercices et de tests diagnostiques Thèse de D. Prévit (2008) Travail didactique et premier prototype Ensemble figé dexercices figés Utilisable une seule fois à un seul niveau de classe 24

25 Un outil auteur : PépiGen Problème : Comment passer dun diagnostic ad hoc à un diagnostic plus générique ? Caractérisation des exercices équivalents du point de vue diagnostique (clones) Génération des clones Analyse multicritère automatique des réponses ouvertes à chacun de ces clones

26 Ensemble dexercices équivalents du point de vue du diagnostic Clones = Exercices similaires (paramètres, invariants) solutions plausibles anticipées (correctes et incorrectes): -de même nature diagnostic Utilisations Didacticien : conçoit un exercice+réponses anticipées Informaticien : conçoit le modèle de classe dexercices Système : génère des clones à partir des paramètres (générés aléatoirement ou saisis) analyse les réponses des élèves Classe dexercices diagnostiques

Classe dexercices 27

28 PépiGen Auteur Système auteur PépiGen saisit les paramètres Pépinière expression algébrique arbre des solutions anticipées est chargé produit un clone Modèle de Classe exercices XM L Banques dexercices XM L

29

30 Fichier du clone (x + 6)* * x - Expressions partielles avec écriture pas à pas enchaînée en succession dopérations V3,L3,T4,J3 (x+6)*3 x*3+18 V,7 3*x 3*x+18-3*x 18 V,31 (X+6)*3=3x+18-3x=18

31 Pépinière Un logiciel de calcul formel qui manipule des arbres pour : Analyse syntaxique des expressions algébriques Grammaire algébrique Transformations algébriques Règles de réécriture correctes ou incorrectes Génération des solutions plausibles anticipées Unification et heuristiques Comparaison des expressions algébriques Arbres superposables

Arbre des solutions anticipées (x+6)*3-3x -2x x+18-3x x*3+6*3-3xx+6*3-3x 3x+18-3x 18x 21x-3x R1 R3 R2 R4 R3 21x-3x 18x Erreur de parenthèse avec mémoire Règles correctes R1 : (A+B)C AC+BC R3 : AB+AC A(B+C) R2: (A+B)C A+BC R4: AB+C B(A+C) Règles erronées 18 R3 R4 V1,EA1V3,EA42V3,EA31 V3,EA3142 V3,EA32

PépiGen :Résultats Avancée significative pour le projet Lingot Fondement dune chaîne logicielle Pour diversifier les tests diagnostiques Création dun module de calcul formel réutilisable Analyse des réponses ouvertes Développement de classes paramétrées dexercices diagnostiques Définition de modèles et dun métamodèle qui réifie une analyse didactique Diffusion sur la plateforme Sésamath 33

Q3 : Construction du Bilan ? Lélève passe un test PépiTest Ses réponses sont mémorisées PépiDiag construit le diagnostic en 3 étapes 1.Analyse multidimensionnelle de chaque réponse : type de réponse et vecteur de codes (diagnostic local) 2.Agrégation des codes Bilan cognitif : caractéristiques personnelles + stéréotype 3.Formation dun groupe pour parcours dapprentissage 34

Étape 1 : Analyse des réponses Diagnostic local : PépiDiag Compare la réponse de lélève à une des réponses anticipées de la grille de codage Utilise dun logiciel de calcul formel : Pépinière Traite les problèmes de commutativité Détecte les règles (correctes/incorrectes) Teste léquivalence des expressions 35

36 Interpréteur : PépiTest Elève XM L Interpréteur PépiTest Résout les exercices Charge le test avec les réponses de lélève est chargé Enregistre le test avec les réponses de lélève Test constitué dexercices XM L Réponse de lélève

37 Diagnostiqueur : PépiDiag XM L Diagnostiqueur PépiDiag est chargé Module Pépinière Tester léquivalence de 2 arbres dexpression retourne vrai/faux Enregistre les réponses avec le diagnostic local (type et codes) XM L grille de codage XM L Réponse de lélève est chargé

Conception Fondée sur les réponses anticipées et le fichier grille de codage Réponses ouvertes ~10-15 % de réponses non diagnostiquées par le logiciel Erreur de saisie Réponses imprévisibles Couteux En expertise didactique + Analyse de corpus Efficace pour les réponses avec une seule expression algébrique Ajout facile dun type de réponse Complexe pour les raisonnements 38

Évaluation du diagnostic local Dépend du type de question (ouverte/fermée) N = 360 élèves 3 experts trouvent le travail fastidieux (7 à 10 h pour un seul exercice) se trompent plus que le logiciel Résultats Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag Réponses imprévisibles 2/3 des réponses incorrectes non analysées par le logiciel, ne sont pas non plus analysées par les experts 39

Étape 2 : Bilan cognitif Un bilan = Un stéréotype niveau de compétence sur les 3 composantes -Usage de lalgèbre, calcul algébrique et traduction dune représentation dans une autre Des caractéristiques personnelles taux de réussite leviers fragilités liste des erreurs liste des réussites Ex. : bilan dElieElie 40

Étape 3 : groupes de travail Gérer la diversité cognitive dans une classe Apprentissage différencié Dynamique de lensemble Groupes de stéréotypes 36 stéréotypes, 15 en pratique Regroupement des stéréotypes voisins selon la composante sur laquelle lenseignant veut travailler Ex. Groupe A (élèves en CA1) contrôlent leur calcul et commencent à choisir les outils adaptés au problème -A+ : savent traduire algébriquement des situations diverses -A- : erreurs de traduction Ex. : groupes en 2ndegroupes 41

Évaluation des groupements En cours 1 expérimentation passée Points de vue Usage Le prof a fait 3 groupes A, B, C Travail par 2 : (A+, A-), (B+, B-), (C+, C-) Pour favoriser les explications entre pairs Travail en classe, puis devoir à la maison Nécessité de définir Des étapes (ex. introduction, révision) Un objectif commun à la classe Point de vue Élève Évolution locale importante 4 expérimentation en cours 42

Q4 : Exploitation du diagnostic Tutorat individuel Réflexion métacognitive avec lélève Travail dans la classe Projet avec Sésamath Parcours dapprentissage différencié (Pad) Thèse en didactique des mathématiques de Julia Pilet -Mise au point des parcours dapprentissage différencié -Expérimentations en classe Post-doc en informatique : Naima El-Kechai -Modèle de connaissances -Logiciel PépiPad : aide à la mise en place 43

PépiPad : Un scénario Qui ? Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep Contexte : MF va aborder le chapitre calcul littéral dans la classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant dintroduire les identités remarquables Prérequis MF demande à ses élèves de passer le test à la maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad 44

Scénario (suite) Paramétrage : MF choisit Létape : Prendre un bon départ Lobjectif principal : Donner du sens aux lettres et aux expressions PépiPad affiche pour chaque groupe les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités Adaptation MF qui ne dispose que de 30 min sélectionne un seul objectif secondaire/groupe PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe -Une liste délèves -Une liste de ressources écran 45

Modèle de connaissance Exercice caractérisé Capacités Niveau scolaire Variables didactiques Objets mathématiques Cadre et registres en jeu Degré de guidage Identifiant Origine Titre 46

Capacité Composante de la compétence Ex. calcul algébrique Groupe de capacités Ex. calculer, tester, factoriser Capacité Ex. calculer limage dun nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable Exemple : capacités liées au calcul algébriquecapacités 47

48 Ontologie simplifiée

Expertise didactique Fait : Pour chaque groupe Expliciter les objectifs principaux et secondaires Les lier avec les capacités En cours : Indexer les ressources Associer les objectifs aux étapes 49

50 PépiPad Bilans cognitifs des élèves Générateur de Parcours Banque dexercices Parcours générés Règles de calcul de parcours Pépite construit Utilise l'ontologie des exercices paramètre prof

Dissémination ( ) Projet PICRI financé par la région Ile-de-France Objectif mise à disposition des enseignants sur la plateforme Sésamath Diagnostic fiable Parcours dapprentissage adaptés au bilan cognitif des élèves Questions de recherche Comment passer dun prototype de recherche à un logiciel fiable et robuste ? Conception participative Comment concevoir la différenciation ? Gestion de la classe/personnalisation 51

Résultats du projet Une méthode de diagnostic Des modèles exécutables de tâches diagnostiques de bilan cognitif sur trois niveaux de description Une recherche pluridisciplinaire et participative Un logiciel accessible sur une plateforme grand public Des corpus de réponses importants 52

Méthode de diagnostic Trois temps 1.Diagnostic local analyse de la réponse à une question types de réponses anticipées + vecteur de codes 2.Diagnostic global individuel détecter des cohérences entre les réponses Par composante : taux de réussite + leviers, fragilités, règles fausses et correctes 3.Diagnostic global collectif Situer lélève par rapport à une référence/au groupe Niveau sur chaque composante Caratéristiques 53

Perspectives Court terme (fin de lannée) PepiPad opérationnel Moyen terme (fin du financement 2012) articuler Les parcours fondés sur les stéréotypes Avec des aides interactives fondées sur lhistorique et les caractéristiques personnelles Long terme (prochain projet) Des scénarios plus ludiques 54

55 Résumé (1) Coté recherche : comprendre les difficultés des élèves Récolter des corpus produire des modélisations exécutables dune expertise didactique Coté application : produit innovant en rupture avec les pratiques usuelles faciliter la genèse instrumentale dissémination de résultats de recherche

56 Résumé (2) Cycle N°1 (1995) : outil papier-crayon modélisation des compétences Cycle N° 2 (2000) : logiciel Pépite systématisation, réification du modèle de compétence diagnostic semi-automatique Cycle N°3 (2005) : exploitation du diagnostic : vers un diagnostic automatique (langage naturel, raisonnement algébrique) vers une géographie de la classe (stéréotypes) Cycle N° 4 (2008) : diagnostic plus générique (classes dexercices) diagnostic sur plusieurs niveaux scolaires diagnostic pour lélève Cycle N° 5 (2012) dissémination parcours différenciés dapprentissage scénarios plus ludiques

Différents cycles 57