Un logiciel de diagnostic cognitif en algèbre élémentaire PépiMep Un logiciel de diagnostic cognitif en algèbre élémentaire Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6

Des Pépites et des Lingots ? Dans la boue des productions des élèves… x + 8 = 8x Il ne faut pas additionner les puissants … trouver les granules de connaissances pour forger … des connaissances conformes au référentiel des programmes Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Le projet Lingot Objectif Instrumenter la gestion par les enseignants de la diversité cognitive des élèves Comment ? Concevoir et mettre en œuvre des outils issus de la recherche et accessibles en ligne mettre en œuvre un enseignement différencié fondé sur un diagnostic fin des besoins des élèves en termes de cohérences de fonctionnement et pas seulement corriger des erreurs isolées travailler des savoir-faire ponctuels faciliter la tâche aux plus faibles Avec le projet Lingot, nous proposons un travail de recherche dont l’objectif est de créer des assistants informatiques pour l’enseignement et l’apprentissage qui ne soient pas fondés exclusivement sur des fonctionnalités proposées mais fondés d’une part sur des recherches menées dans divers domaines pour concevoir des situations d’apprentissage qu’ils rendent possibles et d’autre part sur des modélisations informatiques qui permettent la réalisation de prototypes que l’on peut tester d’abord en laboratoire puis dans des conditions “ écologiquement valides ”. Réciproquement ces environnements informatiques permettent de valider, tester, discuter, compléter, systématiser ou infléchir les études de départ. Pour développer notre recherche, nous avons choisi un domaine d’apprentissage, celui de l’algèbre à la fin de la scolarité obligatoire, l’algèbre constituant un outil privilégié des mathématiques mais aussi un verrou d’accès à l’enseignement scientifique. Nous cherchons à articuler des recherches en informatique, en didactique et ergonomie cognitive : modéliser des cohérences de fonctionnement des élèves dans un domaine vaste adopter une « approche intégrée de la conception » i.e. prenant en compte non seulement les aspects informatiques et les aspects développements cognitifs des élèves (AI&ED classiques) mais aussi les aspects gestion de classes, cohérences sur l’ensemble d’un cycle d’études et formation des enseignants. Ces approches sont adoptées également par des chercheurs en EIAH par exemple : comme Ken Koedinger et Kaye Stacey Par exemple, Koedinger développe des tuteurs intelligents mais dans le cadre d’un curriculum et en concevant aussi les livres et textes imprimés, formation des prof. K. R. Koedinger, J. R. Anderson, Intelligent Tutoring Goes to School in the Big City, IJAIED (8), 30-43, 1997. Notre projet Lingot a été retenu dans l’appel d’offres Ecole et sciences cognitives, sur le thème Les apprentissages et leurs dysfonctionnements, du programme Cognitique du MRT, 2002 Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Une équipe pluridisciplinaire Informatique Didactique des maths Ergonomie Enseignants Sésamath …

Chronologie du projet Thèse de J. Pilet PépiPad sur LaboMep Début du recueil de traces 2013 Utilisation Fonctionnement Modèles Résultats Projet PépiMep

3 axes de recherche Diagnostic : Pépite Développer des tests diagnostiques Analyser les réponses à des exercices Détecter des cohérences Obstacles/Leviers pour l’apprentissage Situer un élève (un groupe d’élèves) par rapport à la compétence de référence Apprentissage : PépiPad Exploiter le diagnostic Parcours différenciés d’apprentissage adaptés au diagnostic Instrumentation de l’activité des enseignants : PépiMep Mettre en ligne les outils développés Usage des outils dans des situations de classe Gestion dans les classes d’un enseignement différencié Avec le projet Lingot, nous proposons un travail de recherche dont l’objectif est de créer des assistants informatiques pour l’enseignement et l’apprentissage qui ne soient pas fondés exclusivement sur des fonctionnalités proposées mais fondés d’une part sur des recherches menées dans divers domaines pour concevoir des situations d’apprentissage qu’ils rendent possibles et d’autre part sur des modélisations informatiques qui permettent la réalisation de prototypes que l’on peut tester d’abord en laboratoire puis dans des conditions “ écologiquement valides ”. Réciproquement ces environnements informatiques permettent de valider, tester, discuter, compléter, systématiser ou infléchir les études de départ. Pour développer notre recherche, nous avons choisi un domaine d’apprentissage, celui de l’algèbre à la fin de la scolarité obligatoire, l’algèbre constituant un outil privilégié des mathématiques mais aussi un verrou d’accès à l’enseignement scientifique. Nous cherchons à articuler des recherches en informatique, en didactique et ergonomie cognitive : modéliser des cohérences de fonctionnement des élèves dans un domaine vaste adopter une « approche intégrée de la conception » i.e. prenant en compte non seulement les aspects informatiques et les aspects développements cognitifs des élèves (AI&ED classiques) mais aussi les aspects gestion de classes, cohérences sur l’ensemble d’un cycle d’études et formation des enseignants. Ces approches sont adoptées également par des chercheurs en EIAH par exemple : comme Ken Koedinger et Kaye Stacey Par exemple, Koedinger développe des tuteurs intelligents mais dans le cadre d’un curriculum et en concevant aussi les livres et textes imprimés, formation des prof. K. R. Koedinger, J. R. Anderson, Intelligent Tutoring Goes to School in the Big City, IJAIED (8), 30-43, 1997. Notre projet Lingot a été retenu dans l’appel d’offres Ecole et sciences cognitives, sur le thème Les apprentissages et leurs dysfonctionnements, du programme Cognitique du MRT, 2002 Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Objectifs de l’exposé et plan Présenter le logiciel PépiMep À quoi ça sert ? Point de vue utilisateur : Interface élèves et enseignant Comment ça marche ? Point de vue chercheur : Architecture logicielle Modèles et représentations didactique : texte, tableau conceptuel : tableau, diagramme informatique : en machine : structure d’un fichier xml à l’interface : visualisation des données xml Comment créer de nouveaux tests diagnostiques ? Résultats

LaboMep Scenario d’utilisation le prof crée une séance en associant à la souris des ressources à un groupe d’élèves chaque élève se connecte utilise les ressources de la séance (exercices, animations) le prof peut consulter un bilan du travail des élèves Utilisation Fonctionnement Modèles Résultats Projet PépiMep

LaboMep

PépiMep +Au sein de ce projet, le test diagnostic Pépite et les parcours ont été implémentés +Le scénario d’utilisation de Pépite sur Labomep est le suivant. Sur Labomep, les enseignants mettent à la disposition de leurs élèves des exercices en créant des « séances », c’est-à-dire en associant à un groupe d’élèves, un ensemble de ressources. Un enseignant crée une « séance de test diagnostique » sur Labomep : il associe « par glisser-déplacer » un groupe d’élèves aux exercices du test diagnostique.

Séances élève Chaque élève, lorsqu’il se connecte à la plateforme, résout les exercices du test proposés dans la séances crée par le prof. Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Exercice diagnostique (1) Du point de vue de l’interface (du point de vue didactique, c’est différent nous le verrons dans la deuxième partie de l’exposé), les exercices sont de 3 types : QCM (difficiles à mettre au point mais l’annalyse de réponse est facile)

Exercice diagnostique (2) Exercice pour tester la production de type d’une seule expression algébrique (ou une équation) : une procédure générique d’analise de la réponse est mise en place Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Exercice diagnostique (3) Les exercices qui teste la conduite d’un raisonnement algébrique : la procédure d’analyse de la réponse est spécifique à la classe d’exercice (ici production d’une expression modélisant un programme de calcul et sa réduction) Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Bilan de la classe Utilisation Fonctionnement Modèles Résultats Quand les élèves ont passé le test, l’enseignant lance le diagnostic sur l’ensemble des réponses de ses élèves. Puis en cliquant sur bilan, l’enseignant accède à la présentation du diagnostic de la classe. Les élèves sont répartis selon trois groupes et 6 sous-groupes. Remarque : les trois groupes peuvent correspondre à bons, moyens, faibles en première lecture. Mais vous pouvez remarquer qu’ils ne sont pas caractérisées par des taux de réussite ou des listes d’erreur ou de capacités à travailler mais par des traits de plus haut niveau (par exemple calcul peu contrôlé) qui font donner des pistes de travail pour les parcours plus larges que de simples erreurs qu’il faudrait éradiquer. Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Bilan d’un élève du groupe C Les élèves donnent peu de sens au calcul algébrique et l’utilisent peu ou pas comme outil pour résoudre des problèmes. +Bilan détaillé des résultats d’un élève au test diagnostic +Le logiciel produit un profil cognitif de chaque élève décrit en plusieurs (trois) niveaux. +Le premier niveau décrit l’évaluation multidimensionnelle des réponses de l’élève à chaque question du test (pas visible ici) +Le second présente les points forts et les faiblesses de l’élève en recoupant l’évaluation des réponses sur l’ensemble du test + Le troisième niveau situe l’élève sur une échelle de compétences en le plaçant dans un groupe et dans un sous-groupe qui correspondent à des configurations de compétences repérées par une analyse didactique.

Analyse des réponses d’un élève

PépiPad : création des séances de PED Choix du parcours + Un logiciel, PépiPad, a été réalisé pour mettre en œuvre les parcours sur Labomep. +Le scénario d’utilisation de PépiPad suit celui de Pépite. L’enseignant sélectionne l’onglet « séances différenciées », il choisit l’étape sur laquelle il travaille (par exemple « Prendre un bon départ » ou « S’entraîner ») et le sujet sur lequel il souhaite faire travailler ses élèves (par exemple équivalence d’expressions ou règles de transformation des expressions), puis il demande la génération des séances.

Parcours d’enseignement différencié + PépiPad affiche alors, pour chaque groupe d’élèves, la liste des élèves que Pépite a classés dans ce groupe et la liste des exercices adaptés au bilan des élèves de ce groupe. L’enseignant peut intervenir en enlevant ou ajoutant des exercices ou des élèves dans les groupes (par exemple des élèves absents au test). Une fois la séance sauvegardée, chaque élève qui se connecte sur Labomep se voit proposer des exercices adaptés à son groupe. + Des séances de PED sont proposées aux enseignants : à chaque groupe d’élève sont proposées différents exercice relavant tous d’un même objectif choisi par l’enseignant. C’est la conception des ces séances qui est au cœur de mon travail.

Les usages de Pépite et PépiPad De nombreuses expérimentations de 2001 à 2012 En 2012 mise en ligne sur LaboMep (plateforme de Sésamath) des tests diagnostiques (3°-2nde) puis des parcours d’apprentissage Pour 2012-2013 540 séances de tests diagnostiques crées par des enseignants 4221 élèves ont passé le test 129 séances différenciées ont été crées 49 enseignants ont répondu à un questionnaire en ligne de 24 questions Démo Utilisation Fonctionnement Modèles Résultats Projet PépiMep

PépiMep Architecture Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Plan PépiMep À quoi ça sert ? Point de vue utilisateur : Interface élèves et enseignant Comment ça marche ? Point de vue chercheur : Architecture logicielle Modèles et représentations didactique : texte, tableau conceptuel : tableau, diagramme informatique : en machine : structure d’un fichier xml à l’interface : visualisation des données xml Comment créer de nouveaux tests diagnostiques ?

Spécificités du diagnostic de Pépite Est fondé sur une analyse didactique et épistémologique Pas seulement sur les capacités mentionnées dans les programmes Effectue une analyse multidimensionnelle des réponses Pas seulement sur une analyse en réussite/échec Repère des cohérences dans l’activité algébrique des élèves Pas seulement des listes d’erreurs et des taux de maîtrise des capacités Fonde des parcours différenciés d’apprentissage Est automatique via une suite logicielle accessible en ligne gratuitement sur une plateforme largement utilisée par les enseignants de Mathématiques Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Fondements didactiques de Pépite Savoir savant Savoir à enseigner Programmes officiels et documents d’accompagnement Savoir enseigné Cahiers d’élèves, discours enseignants Savoir appris Tests diagnostiques Savoir de référence Modèle épistémologique (Transposition didactique, Bosch et Gascon 05) Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Des savoirs et savoir-faire implicites Équivalence des expressions Peu de référence à la dénotation à l’organisation du contrôle des calculs Dialectique du numérique et de l’algébrique Peu de lien avec le numérique (2 expressions renvoient ou non les mêmes valeurs) Aspect structural et procédural Peu de référence au processus de calcul, à la reconnaissance de la structure Expressions et consignes standardisées Lien avec d’autres registres de représentations Peu de programmes et de schémas de calcul Un sens de traduction privilégié Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Expressions algébriques Équivalence des programmes de calcul (Ruiz-Munzon 2010, 2012, Chevallard & Bosch, 2012) Interprétation des expressions algébriques dans d’autres registres de représentation (Duval 1995, Bardini 2003) Aspects épistémologiques Équivalence des expressions algébriques (Frege 1971,Drouhard 1992, Kieran 2007) Aspects procédural et structural des expressions algébriques (Sfard 1991) Dialectique du numérique et de l’algébrique (Chevallard 1985) Savoir à enseigner : Absent (Pilet 2013) Peu Présent Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Types de tâches (extrait) 27 Traduire Produire Associer Génération des expressions Prouver l’équivalence Développer Tester l’équivalence Équivalence des expressions Algèbre des polynômes Factoriser Identifier la structure Réécrire Calculer Choisir l’expression la plus adaptée Absent Peu Présent Présent Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Q de recherche Quel modèle de l’élève ? Quels descripteurs ? Logiciel pour présenter les résultats : PépiProf Comment recueillir les observables ? Logiciel pour faire passer un test aux élèves : PépiTest Comment analyser les observables pour obtenir les descripteurs ? Logiciel de diagnostic : PépiDiag Comment exploiter les résultats du diagnostic ? Logiciel pour calculer des parcours différenciés d’apprentissage : PépiPad Comment évaluer les résultats ? Je traite ces questions séquentiellement dans l’exposé mais elles sont bien évidement liées et ont été traitées en parallèle de façon itérative Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Architecture de PépiMep Exploite PépiDiag PépiDiagLocal PépiDiagGlobal Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Détails techniques PépiDiag et PepiPad : Java, xml Les exercices de Pépimep : Flash Les serveurs de Labomep : Php, MySql Les interfaces enseignant : framework ext.js (Javascript)

Q1 : Modéliser les connaissances d’un élève Enseignants Connaissance de référence : capacités (Programmes scolaires) ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques Connaissance de référence Organisation mathématique/didactique Composantes de la compétence algébrique Des problèmes variés pour couvrir l’ensemble des composantes trous, capacités implicites Connaissances d’un élève Cohérences dans l’activité mathématique des élèves Pas seulement des erreurs Rupture entre pensée algébrique et arithmétique Leviers et obstacles pour l’apprentissage Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Modèle de l’élève dans Pépite 3 niveaux de description Diagnostic local (sur un exercice) Prof :Type de réponse et règles appliquées (exemple) Chercheur : Codage sur 8 dimensions (exemple) Diagnostic global individuel (sur un ensemble d’exercices)(ex) Caractéristiques personnelles, leviers et fragilités Par composante :Taux de réussite, indicateurs Diagnostic global collectif (exemple) Stéréotype et groupe Niveau sur chaque composante Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Q2 : Recueillir des observables ? Un élève passe un test Un ensemble d’exercices conçus pour détecter des cohérences dans l’activité mathématique des élèves Erreurs/réussites faiblesses/leviers d’apprentissage Un exercice diagnostique Énoncé et questions Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement) Une grille d’analyse des réponses Types de réponses anticipées Évaluation multidimensionnelle de ces réponses Deux problèmes : trouver un ensemble d’exercices qui couvre le domaine à diagnostiquer pour chacun de ces exercices Concevoir l’interface élève Anticiper les réponses possibles et les caractériser Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Un exercice diagnostique (1) Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Code des réponses anticipées Type Label Code Forme (à une équivalence près) 1 aire sous la forme d’un produit Long  Largeur V1, T132 (a + 3) × (b + a) 2  expression de l’aire obtenue en additionnant les aires des différents rectangles V2, T132 ab+a²+3b+3a; a(a+3)+b(a+3); (a×(a+b))+(3×(a+b)) 3.1 reconnaissance de sous-figures mais erreur de traduction au niveau des parenthèses (e.g. a+3  a+b) V3, EA3, T332 (a+3)×b+a;a+3×(b+a) a+3×b+a ; 3+a×a+b ; b+ a×a+3 ; a+3×a+b ; 3+a×b+a ; b+ a×3+a ; a+b ×a+3 ; a+b ×3+a  3.2 reconnaissance de sous-figures avec transformation par assemblage V3, EA42, T332 (a+3)(ab); (b+a)×(3a); a+3 × ab ; ab×a+3 3a× a+b ;a+b×3a 3.3 reconnaissance de sous-figures Avec transformation par linéarisation a²->2a ab+a²+3b+3a ->ab+2a+3b+3a V3,EA41, T332 5a+ab+3b ab+2a+3b+3a 4  confusion entre aire et périmètre V3, T432 (a+b)+(a+3) 4.1 transformation avec assemblage V3, EA42, T432 6a + 4b ; a²+3b; ab+3a ; a(3+b) 2a+3b; 2ab+3 5 traduction par assemblage des désignations de la figure a² b + 3 ab ; 3a²b; 3a²+3b; 3a²+3ab; a²+ 4 ab; 3ab; 3+a²+b; 3+a²b; a²+ 7 ab 6 traduction de l’aire avec confusion entre les opérateurs + et  (e.g. 3a  3b  a2  ba) V3, EA4, T332 3a  3b  a²  ba; ab+a²×3b+3a (a²+3a)x(ba+3b) 7.1 Erreur de formules : Formule partielle V3 T332 a(b+a) ; 3a+3b ; b(a+ 3) ; ba+3b 3(b+a) ;ab+a² ; a(a+3) ; a²+3a 7.2 Erreur de formules  avec division, cube (a²3b):2 ; 3b² + a³ + 3a; (b + a)/(a + 3) ; a+3×b+a/2 8 Valeur numérique V3 L5T332 (pas de lettres) 9 ininterprètée Vx

Un exercice diagnostique (2) Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Code des réponses anticipées (1) Type Codes + interprétations x + 8 = 8x 8x 3 × 8x = 24+3x= 27x 27x-4 = 23x 23x+x=24x 24x/4=6x 6x+2=8x 8x-x=7 Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée V3 incorrecte L3 lettres avec règles fausses E2 = annonce de résultat J31 pseudo-formelle T2 traduction pas-à-pas séparée EA42 règle incorrecte d’ assemblage Règles utilisées (incorrectes) : A+B = AB A X  B = (A  B) X A X - X = A – 1 Dimensions d’évaluation Validité Usage des Lettres Signe d’ Égalité Justification Traduction Écritures Numériques Écritures Algébriques Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Code des réponses anticipées (2) Type Codes + interprétations 3 + 8 = 11 11 × 3 = 33 33 - 4 = 29 29 + 3 = 32 32/4 = 8 8 + 2 = 10 10 - 3 = 7 Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects V3 incorrecte L5 pas de lettres E2 = annonce de résultat J2 justification par un exemple T2 traduction pas-à-pas séparée EN1 écritures numériques correctes Dimensions d’évaluation Validité Usage des Lettres Signe d’ Égalité Justification Traduction Écritures Numériques Écritures Algébriques Utilisation Fonctionnement Modèles Résultats Projet PépiMep Déo Démarche Diagnostic Parcours Modèles Résultats Projet

Code des réponses anticipées (3) Réponses d’élèves Codes + interprétations (3+8 × 3-4+3)/4+2-3 32/4+2-3 8+2-3 10-3 V3 incorrecte L5 pas de lettres J2 par l’exemple T3 globale non parenthésée EN1 : écritures numériques correctes ((5+8)×3-4+5)/4+2-5=7 ? ((13)×3-4+5)/4+2-5=7 ? (39-4+5)/4+2-5=7 ? 10+2-5=7 ? 10-3=7 ? 7=7 ? T1 globale parenthèsée, équation ((x + 8) × 3 - 4 + x) / 4 + 2 - x =( 3x + 24 - 4 + x)/4 + 2 - x =(4x +20) / 4 + 2 - x =x + 5 + 2 - x =7 V1 correcte, L1 nb généralisé J1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. Correcte Règles utilisées (A+B)C = AC+BC Règle correcte AC+BC = (A+B)C Règle correcte (A+B)/C = A/C+B/C Règle correcte

Tâches diagnostiques Trois grosses difficultés Trouver un ensemble de tâches qui couvrent le domaine Pour chaque exercice Anticiper les différents types de réponses Anticiper leurs différentes formes Prévoir une certaine généricité pour définir plusieurs tests du même type Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests diagnostiques Travail didactique (1995) et premier prototype Pépite1 (2000) Ensemble figé d’exercices figés Utilisable une seule fois à un seul niveau de classe Thèse de D. Prévit (2008) Logiciels PépiGen et Pépinière Modèle des tâches diagnostiques Exercices équivalents du point de vue diagnostique (clones) Logiciel qui génère automatiquement des clones la grille d’analyse des réponses à chacun de ces clones S’appuyant sur un logiciel de calcul formel dédié : Pépinière Utilisation Fonctionnement Modèles Résultats Projet PépiMep

PépiGen Pépinière arbre des solutions anticipées expression algébrique produit un clone saisit les paramètres Système auteur PépiGen XM L Auteur est chargé Banques d’exercices Tout d’abord, PépiGen charge le fichier XML contenant les Modèles de classes d’exercices et l’auteur choisit une classe d’exercices. Pour la classe d’exercice que nous avons présenté, il saisit les paramètres à l’aide d’une palette de termes. Pour certains exercices fortement contraints, le système génère de façon automatique les paramètres. Par exemple pour la classe d’exercice « Reconnaître des égalités numériques vraies, les nombres utilisés sont des nombres entiers compris entre 1 et 9. La génération sera faite par tirage aléatoire des valeurs et l’auteur accepte ou non la valeur proposée. Lorsque les paramètres ou les invariants de l’exercice sont des expressions algébriques le système auteur fait appel au module de calcul formel Pépinière, pour la représentation des expression algébriques sous la forme d’arbre d’expression, pour les calculs sur ces expressions (le calcul de la forme réduit dans l’exemple que nous avons présenté), il signale éventuellement une erreur de syntaxe. Pour générer la grille de codage Pépinière construit l’arbre des solutions anticipées. Les paramètres du clone ainsi que la grille de codage sont enregistrer sous la forme d’un fichier XML qui constitue la banque d’exercices. Modèle de Classe Exercices diagnostiques XM L Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Grille de codage : (x + 2)* 3 - 3 * x <Solution>   <Interprétation> Tentative de démarche algébrique mais l’énoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects</Interprétation>   <Type>10.7</Type> <Code>V3,L3,T4,J3</Code>   <Expression>(x+2)*3</Expression>   <Expression>x*3+6</Expression>   <Regle>V,7</Regle>   <Expression>3*x</Expression>   <Expression>3*x+6-3*x</Expression>   <Expression>6</Expression>   <Regle>V,31</Regle>   </Solution> (x+2)*3=3x+6-3x=6 Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Pépinière Logiciel de calcul formel qui manipule des arbres pour : Analyse syntaxique des expressions algébriques Grammaire algébrique Transformations algébriques Règles de réécriture correctes ou incorrectes Génération des solutions plausibles anticipées Unification et heuristiques Comparaison des expressions algébriques Arbres superposables Pépinière comporte plusieurs fonctionnalités. Premièrement il transforme une expression algébrique saisie sous la forme d’une chaîne de caractère en arbre d’expression en s’appuyant sur les grammaires algébriques Deuxièmement, il génére toutes les expressions algébriques obtenues par application de règles de réécriture correctes ou erronées en s’appuyant sur la théorie des règles de réécriture et sur un fichier des règles incorrectes repérées de façon récurrente par les didacticiens de l’équipe. Troisièmement, son originalité (et c’est le seul point que nous développons ici) est de générer les solutions plausibles anticipées par une analyse didactique à des problème de preuve par réduction et développement. Pour cela, Pépinière s’appuie sur l’algorithme d’unification et sur des heuristiques pour éviter les bouclages et l’explosion combinatoire. Quatrièmement, il compare deux expressions algébriques pour vérifier leur équivalence. Des expressions algébriques. Pépinière est utilisé par l’outil auteur PépiGen et par le diagnostiqueur PépiDiag Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Arbre des solutions anticipées (x+2)*3-3x Règles correctes R1 R2 R1 : (A+B)C AC+BC R3 : AB+AC A(B+C) x*3+2*3-3x x+2*3-3x Erreur de parenthèse avec mémoire Règles erronées R3 R2: (A+B)C A+BC R4: AB+C B(A+C) 3x+6-3x 3x+6-3x -2x+6 R3 R4 R3 R4 La fonctionnalité la plus originale de pépinière est de générer un arbre des solutions à un problème. Seules les solutions anticipées par l’analyse didactique a priori sont prises en compte pour la construction de cet arbre. Les transformations s’appuient sur une base de règles correctes et incorrectes explicitées par les didacticiens et enseignants de l’équipe. Ces règles de réécriture utilisée pour construire cet arbre permettent de modéliser des raisonnements d’élèves repérés par une analyse didactique a priori qui décrit les types de solutions anticipées observées de façon récurrente par les didacticiens de l’équipe nous disent que fonctionnent les élèves. Sur l’exemple du test de la chaîne, le problème est de prouver par développement et réduction. En entrée PépiGen fournit: une expression à développer ou à réduire En sortie : Pépinière retourne un arbre de résolution obtenu en appliquant les règles correctes ou erronées et pour chaque branche attribue le code correspondant sur la dimension écriture algébrique. Les nœuds de l’arbre sont décorées par les règles correctes ou erronées utilisées. Pépinière applique à l’expression de départ (x+6)*3-3x les règles de réécriture correctes ou les règles erronées La première règle de réécriture est un développement (correcte R1 ou erroné R2) Comme nous l’avons vu certains élèves utilisent de façon inadaptée les parenthèses mais en conserve le sens (erreur de parenthèse avec mémoire) Nous verrons que PépiGen mémorise cet arbre qui est ensuite utilisé par le diagnostiqueur pour évaluer le raisonnement d’un élève. C’est à ce moment que les différentes écritures sont prises en compte 3*(x +6) est considéré comme équivalent à (x +6) *3 6 9x-3x 6 9x-3x R3 R3 6x 6x V1,EA1 V3,EA42 V3,EA31 V3,EA3142 V3,EA32

Interpréteur : PépiTest Elève XM L Interpréteur PépiTest Résout les exercices Charge le test avec les réponses de l’élève est chargé Enregistre le test avec les réponses de l’élève Test constitué d’exercices Réponse de l‘élève Comme nous l’avons vu dans notre exemple, un élève utilise un interpréteur pour réaliser un test ou un exercice L’interpréteur enregistre la réponse de l’élève dans un fichier XML Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Q3 : Analyser les observables ? Comment construire le modèle des compétences d’un élève ? L’élève passe un test PépiTest Ses réponses sont mémorisées PépiDiag construit le diagnostic en 3 étapes Analyse multidimensionnelle de chaque réponse : type de réponse et vecteur de codes (diagnostic local) Agrégation des codes Bilan cognitif : caractéristiques personnelles + stéréotype Détermination d’un groupe pour un même parcours d’apprentissage Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Méthode de diagnostic Trois temps Diagnostic local Analyse de la réponse à une question Types de réponses anticipées + vecteur de codes Diagnostic global individuel Cohérences entre les réponses Par composante : taux de réussite + leviers, fragilités, règles fausses et correctes Diagnostic global collectif Position de l’élève par rapport à une référence/au groupe Niveau sur chaque composante Caractéristiques communes à un groupe

Étape 1 : Analyse des réponses Diagnostic local : PépiDiag Compare la réponse de l’élève à une des réponses anticipées de la grille de codage Utilise un logiciel de calcul formel : Pépinière Traite les problèmes de commutativité Détecte les règles (correctes/incorrectes) Teste l’équivalence des expressions Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Diagnostiqueur : PépiDiag XM L Enregistre les réponses avec le diagnostic local (type et codes) est chargé Réponse de l’élève Diagnostiqueur PépiDiag XM L est chargé Tester l’équivalence de 2 arbres d’expression retourne vrai/faux XM L grilles de codage Module Pépinière Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Conception du diagnostic local Fondée sur les réponses anticipées Analyse didactique+corpus ->grille de codage Réponses ouvertes réponses non diagnostiquées par le logiciel :~10-15 % Erreur de saisie Réponses imprévisibles Couteux En expertise didactique + Analyse de corpus Procédure Efficace et générique pour les réponses avec une seule expression algébrique Ajout facile d’un type/d’une forme de réponse Complexe pour les raisonnements : procédure ad hoc pour chaque classe d’exercice

Évaluation du diagnostic local Dépend du type de question (ouverte/fermée) Comparaison Diagnostic machine/humain N = 360 élèves 3 experts trouvent le travail fastidieux (7 à 10 h pour un seul exercice) se trompent plus que le logiciel Critères Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag Réponses en une seule expression : OK Raisonnement algébrique : OK Raisonnement en LN : certains Réponses imprévisibles ~10 % 2/3 des réponses (incorrectes) non analysées par le logiciel, ne sont pas non plus analysées par les experts

Étape 2 : Bilan cognitif Bilan = Stéréotype niveau de compétence sur les 3 composantes Usage de l’algèbre Calcul algébrique Traduction d’une représentation dans une autre Caractéristiques personnelles taux de réussite leviers fragilités liste des erreurs liste des réussites Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Algorithme de calcul des stéréotypes Établi (laborieusement) à partir d’une analyse didactique du classement mené par 3 experts sur un corpus de 360 réponses au test de calibrage des seuils suite à l’implémentation de l’algorithme Résultat Liste de caractéristique personnelles Pondération et association des questions aux caractéristiques Règles d’agrégation des codes pour chaque caractéristique Algorithme complet et corrections

Étape 3 : Groupes de travail Gérer la diversité cognitive dans une classe Apprentissage différencié Dynamique de l’ensemble Diminuer le nombre de cas Groupes de stéréotypes 36 stéréotypes, 15 en pratique Grouper les stéréotypes voisins selon la composante sur laquelle l’enseignant veut travailler Ex. Groupe A (élèves en CA1) contrôlent leur calcul et commencent à choisir les outils adaptés au problème A+ : traduisent algébriquement des situations diverses A- : erreurs de traduction Ex. : groupes en 2nde Algorithme de constitution des groupes Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Évaluation des groupements En cours Observation en classe groupe IREM, 5 enseignants, 191 élèves Différentes périodes de l’année Différents niveaux Questionnaire 49 enseignants ont répondu 42 avaient fait passer le test aux élèves Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Stéréotypes observés (N=191) 0% 10% 20% 30% 40% 50% C- C+ B- B+ A- A+

Résultats de l’étude des usages Globalement cohérents évolution des stéréotypes en cours d’année et de 3° à 2 nde Questionnaires : 42 réponses Appréciation Pertinence des groupes/ résultats habituels des élèves Exploitation Utilisation des PAD sans modifier les groupes Tests incomplets : résultats non pertinents Évolution des élèves après les parcours Certains élèves scolaires n’ont pas réussi le test Certains élèves faibles ont réussi (réponse proposées et non à formuler) Certains ont moins bien réussi Difficultés informatiques ou à comprendre les énoncés Oui pour tous Oui pour certains Non ? 12 14 2 Oui sans modifier Oui en modifiant Non ? 14 8 20

Q4 : Exploitation du diagnostic Tutorat individuel Réflexion métacognitive avec l’élève Travail dans la classe Projet avec Sésamath Parcours différenciés d’apprentissage (Pad) Thèse en didactique des mathématiques de Julia Pilet Mise au point des parcours différenciés Expérimentations en classe Post-doc en informatique : Naima El-Kechai Modèle de connaissances Logiciel PépiPad : aide à la mise en place Utilisation Fonctionnement Modèles Résultats Projet PépiMep

PépiPad : Un scénario Qui ? Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep Contexte : MF va aborder le chapitre calcul littéral dans la classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables Prérequis MF demande à ses élèves de passer le test à la maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Scénario (suite) Paramétrage : MF choisit Le thème : Identités remarquables L’étape : Prendre un bon départ L’objectif principal : Donner du sens aux lettres et aux expressions PépiPad affiche pour chaque groupe les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités Adaptation MF qui ne dispose que de 30 min sélectionne un seul objectif secondaire/groupe PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe Une liste d’élèves Une liste de ressources Écran du prof, écran d’un élève Utilisation Fonctionnement Modèles Résultats Projet PépiMep

PépiPad Générateur de Parcours Pépite prof Parcours générés Bilans cognitifs des élèves Règles de calcul de parcours construit Pépite paramètre Utilise l'ontologie des exercices Banque d’exercices prof

Modèle de connaissance Parcours Un ensemble d’exercices pour un groupe Exemple de parcours (fichier xml) Exercice caractérisé (exemple d’exercice indexé, fichier xml) Capacités Niveau scolaire Variables didactiques Objets mathématiques Cadre et registres en jeu Degré de guidage Identifiant Origine (exercice MeP, ouvrage Sesamath, Lingot) Titre Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Référentiel Composantes de la compétence Ex. calcul algébrique Groupe de capacités Ex. calculer, tester, factoriser Capacité Ex. calculer l’image d’un nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable Exemple : capacités liées au calcul algébrique (fichier xml) Utilisation Fonctionnement Modèles Résultats Projet PépiMep

État des lieux Fait : Conception de l’ontologie Explicitation des objectifs Liens objectifs/capacités/étapes Indexation des ressources hétérogènes Exercices interactifs de Math En Poche Exercices papier des manuels et des didacticiennes Création automatique des séances différenciées En cours Évaluer les bénéfices pour les élèves et les profs Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Modèle du domaine Une ontologie des objets manipulés par les logiciels Objets mathématiques Objets didactiques Référentiel des capacités Dimensions et critères d’évaluation Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Modèles des tâches diagnostic (1) Un exercice Interface Une analyse didactique initiale : texte et tableaux Ex Modèle conceptuel de l’exercice 3 : texte et tableaux plus précis Modèle informatique de l’exercice 3 : fichier xml Originel Un clone Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Modèles des tâches diagnostic (2) Modèle général d’une Classe d’exercice : schéma UML schéma Schémas XDS de grille d’analyse des réponses anticipées à une question Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Modèle des parcours différenciés d’apprentissage Une ontologie de référence Indexation des exercices Interface d’indexation des exercices Fichier indexant un exercice Calcul de la liste des exercices en fonction Algorithme de calcul Fichier résultat Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Plan PépiMep À quoi ça sert ? Point de vue utilisateur : Interface élèves et enseignant Comment ça marche ? Point de vue chercheur : Architecture logicielle Modèles et représentations didactique : texte, tableau conceptuel : tableau, diagramme informatique : en machine : structure d’un fichier xml à l’interface : visualisation des données xml Comment créer de nouveaux tests diagnostiques ? Résultats

Nouveaux tests diagnostiques Exercices semblables : créer des clones Théoriquement : pas complexe Pratiquement : pas si simple dans le cadre de la mise en ligne sur Labomep Développement ad hoc des interface Changement de nos interlocuteurs Changement de technologie (Flash/une méthode maison de développement HTML5) En cours (Sésamath, Prévit, Chenevotot) Exercices nouveaux : développer en Java de nouvelles classes d’exercices : à faire Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Résultats/Questions de recherche Comment décrire les connaissances d’un élève ? Modèle à 3 niveaux d’interprétation Quelles situations mettre en place pour recueillir des observables ? Modélisation des tâches diagnostiques, Banque de tests Comment inférer les descripteurs à partir des observables ? Typer et coder les réponses : diagnostic individuel local Analyse multidimensionnelle automatique des réponses Logiciel de calcul de formel Détecter les cohérences et Situer l’élève par rapport à une référence Algorithmes pour calculer les leviers et les fragilités, stéréotypes/groupes Comment exploiter le diagnostic en prenant des décisions à partir des descripteurs ? Prise de décisions didactiques (enseignants ou machine) Indexation de 120 exercices Proposition de parcours adaptés Comment évaluer les outils produits ? Preuve par construction Preuve par utilisation Analyse didactique des usages (thèse de Soraya) Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Limites Autres niveau (5°,4°) Équations Améliorer les interfaces (saisie des expressions, interface enseignant) Développer des exercices interactifs Des exercices plus ludiques Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Résultats (actuels) du projet Une méthode de diagnostic Fondée sur une analyse didactique 3 étapes : analyse des réponses, bilan personnel, positionnement par rapport à la référence Typage des réponses anticipées Une méthode de mise au point des parcours d’apprentissage Des modèles exécutables de tâches diagnostiques, d’exercices, de parcours de bilan cognitif sur trois niveaux de description Une recherche pluridisciplinaire et participative Un logiciel accessible sur une plateforme grand public Des corpus de réponses importants Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Résumé : objectifs scientifiques Coté recherche : Comprendre les difficultés des élèves Récolter des corpus Produire des modélisations exécutables d’une expertise didactique pour l’enrichir et l’approfondir Coté application : Faciliter l’insertion dans/ l’évolution des pratiques enseignantes faciliter la genèse instrumentale Dissémination de résultats de recherche Utilisation Fonctionnement Modèles Résultats Projet PépiMep

Diagnostic local (pour le prof)

Diagnostic local (pour le chercheur) prenom exo code type demarche resultat Evelyne 3 V2,T132 2 ab+a^2+3b+3a   16 V3,L3,EA33,J3,T322,E2 7.4 x x+8 (x+8)*3 3(x+8)-4 3(x+8)-4+x 4x+24-4 4x+20/4 x+5 x+5+2 x+5+2-x 7 vrai

Diagnostic local pour le logiciel

Diagnostic personnel global Bilan Personnel de Sam Eugène Sam est dans le groupe A- Profil du groupe A- : Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu l’algèbre pour résoudre des problèmes

Diagnostic collectif global

Ontologie simplifiée : graphique

PépiIndexation +Comment caractériser les exercices et le jeu sur les variables didactiques +Référentiel de capacités. Choix de conserver le vocabulaire des programmes pour travailler avec Sésamath. Capacités = types de tâches, difficulté de travailler avec plusieurs communautés de recherche +Niveau de complexité qui regroupe les variables didactiques et le découpage des énoncés

PépiPad : Caractérisation du PED 3 Objectif Capacité Objet entrée Cadre Complexité A : Prouver l’équivalence des expressions par le calcul algébrique puis mobiliser la forme la plus adaptée d’une expression pour résoudre un problème, calculer astucieusement 3.5 3.7 17.1 Exclure 12.3 (3°) (fonction OU expression littérale) et rien d’autres algé (3°) fonc.(2°) MP, CX B  : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre CS C : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre EL