Les projets Pépite et Lingot Diagnostic cognitif et EIAH De la recherche aux usages M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6

Objectifs du cours aujourd’hui Donner un exemple de coopération chercheurs en EIAH/professionnels de modèle d’apprenant et de diagnostic cognitif d’application en classe de travaux de recherche Vous faire manipuler des prototypes de diagnostic cognitif plusieurs types de modèles et de représentations didactique : texte, tableau conceptuel : tableau, diagramme informatique : en machine : structure d’un fichier xml à l’interface : visualisation des données xml Montrerles étapes d’une recherche itérative et pluridisciplinaire en EIAH

Plan Les projets Pépite et Lingot Contexte, objectifs Démo Une recherche collaborative et itérative Questions de recherche Diagnostic cognitif Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Des Pépites et des Lingots ? Dans la boue des productions des élèves… x + 8 = 8x Il ne faut pas additionner les puissants … trouver les granules de connaissances pour forger … des connaissances conformes au référentiel des programmes

Origine du projet (~1990) Côté didactique Un questionnement sur l’enseignement et l’apprentissage de l’algèbre Un outil papier crayon de diagnostic et des propositions d’ateliers en fonction du diagnostic La nécessité d’informatiser une partie du processus Créer des « lentilles cognitives » Côté informatique Automatiser un processus de diagnostic Déjà très structuré Déjà validé sur le plan épistémologique, cognitif et didactique Déjà testé sur papier : étude de corpus de réponse d’élèves

Le projet Lingot Objectifs Instrumenter la gestion de la diversité cognitive des élèves dans une classe en algèbre élémentaire 3 axes de recherche Diagnostic (projet Pépite) Analyser les réponses à des exercices Détecter des cohérences Obstacles/Leviers pour l’apprentissage Situer un élève (un groupe d’élèves) par rapport à la compétence de référence Apprentissage Parcours d’apprentissage adaptées au diagnostic Instrumentation de l’activité des enseignants Organiser en classe un enseignement différencié Avec le projet Lingot, nous proposons un travail de recherche dont l’objectif est de créer des assistants informatiques pour l’enseignement et l’apprentissage qui ne soient pas fondés exclusivement sur des fonctionnalités proposées mais fondés d’une part sur des recherches menées dans divers domaines pour concevoir des situations d’apprentissage qu’ils rendent possibles et d’autre part sur des modélisations informatiques qui permettent la réalisation de prototypes que l’on peut tester d’abord en laboratoire puis dans des conditions “ écologiquement valides ”. Réciproquement ces environnements informatiques permettent de valider, tester, discuter, compléter, systématiser ou infléchir les études de départ. Pour développer notre recherche, nous avons choisi un domaine d’apprentissage, celui de l’algèbre à la fin de la scolarité obligatoire, l’algèbre constituant un outil privilégié des mathématiques mais aussi un verrou d’accès à l’enseignement scientifique. Nous cherchons à articuler des recherches en informatique, en didactique et ergonomie cognitive : modéliser des cohérences de fonctionnement des élèves dans un domaine vaste adopter une « approche intégrée de la conception » i.e. prenant en compte non seulement les aspects informatiques et les aspects développements cognitifs des élèves (AI&ED classiques) mais aussi les aspects gestion de classes, cohérences sur l’ensemble d’un cycle d’études et formation des enseignants. Ces approches sont adoptées également par des chercheurs en EIAH par exemple : comme Ken Koedinger et Kaye Stacey Par exemple, Koedinger développe des tuteurs intelligents mais dans le cadre d’un curriculum et en concevant aussi les livres et textes imprimés, formation des prof. K. R. Koedinger, J. R. Anderson, Intelligent Tutoring Goes to School in the Big City, IJAIED (8), 30-43, 1997. Notre projet Lingot a été retenu dans l’appel d’offres Ecole et sciences cognitives, sur le thème Les apprentissages et leurs dysfonctionnements, du programme Cognitique du MRT, 2002

Une équipe pluridisciplinaire Informatique Didactique des maths Ergonomie Sésamath Enseignants …

Sésamath Une association (2001) de bénévoles + 6 salariés Un site : http://www.sesamath.net/ Des manuels Papier Bons et moitié moins chers 18% du marché français Financent les frais de fonctionnement En ligne : gratuits et source accessibles Une plateforme d’outils libres et gratuits Pour les profs de maths 14 643 inscrits Pour les élèves :1/4 collègien français 450 000 inscrits 1,3 million connections /mois

Les usages : une démo Nous sommes une classe de 3° dans le collège Lingot de Terre Adélie et je suis votre prof de math Nous sommes tous des habitués de la plateforme LaboMep de Sesamath Consignes Toujours cliquer sur OK avant de changer d’exo Ne pas revenir en arrière Le prof prépare la séance de test diagnostique Chaque élève se connecte sur LaboMep et passe le test en répondant aux questions (N’oubliez pas de cliquer sur OK) Le prof regarde les bilans et choisit un thème Le logiciel génère une séance différenciée Chaque élève travaille sur les exercices de sa séance (rafraichir pour voir sa séance)

Démarche de recherche itérative Partir De l’expertise de chercheures en didactique du laboratoire André Revuz (ex-Didirem) De l’expertise d’une communauté de pratique association Sésamath Des l’état des recherches en EIAH Créer des modèles informatiques et des prototypes Tester les prototypes dans les classes En retour Enrichir l’expertise didactique Enrichir l’expertise et la plateforme de Sésamath Enrichir l’expertise en conception d’EIAH Être utile aux élèves et aux professeurs ?

Une recherche itérative (Mackay et Fayard, 1997)

Conception participative La participation des enseignants aux projets de recherche Difficile à mettre en œuvre Nécessite du temps Temps de la recherche Temps de l’action Une réflexion pour faire leur place Des prototypes pour expérimenter Collaboration avec l’association Sésamath "Transformer une symétrie d'ignorance en symétrie de participation et en symétrie de connaissances " [Muller 03]

Cadres conceptuels Informatique Conception centrée utilisateur-participative (Schuller 93, Mackay 04) Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003) Ingénierie dirigée par les modèles (Favre et al. 06) Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010) EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00, Caroll 00) Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04) Analyse de traces (Dimitracopoulos09, Choquet07, Marty&Mille09) Didactique des mathématiques Dialectique outils/objets, jeu de cadres et registres, ingénierie didactique , approche anthropologique (Douady 90, Grugeon 95, Artigue 91, Chevallard, Kieran 92,07) Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03)

Questions de recherche Comment modéliser les connaissances d’un élève ? Modèle de référence : didactique/enseignants/informatique Quelles situations mettre en place pour recueillir des observables ? Modélisation des tâches diagnostiques, Banque de tests Comment inférer les descripteurs à partir des observables ? Typer et coder les réponses : diagnostic individuel local Détecter les cohérences : diagnostic individuel global Situer l’élève par rapport à une référence : stéréotypes/groupes Comment exploiter le diagnostic en prenant des décisions à partir des observables ? Prise de décisions didactiques (enseignants ou machine) Aide à la décision pour organiser des parcours Réflexion métacognitive avec l’élève Comment évaluer les outils produits ?

Cycles de recherche Une analyse didactique cognitive et épistémologique un outil de diagnostic papier (Grugeon 95) Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000) Une nouvelle modélisation de l’élève 3 niveaux : PépiStéréo (Vincent et al. 2005) Une modélisation générique du diagnostic Génération des exercices et de l’analyse automatique des raisonnements : PépiGen et Pépinière (Prévit 2008) Dissémination : association Sésamath-MathEnPoche Prototype/application disponible à large échelle : PépiMep (Darwesh et al. 2010) Parcours d’apprentissage différencié (Pilet 2011, El-Kechaï 2011)

Chronologie du projet

Plan Les projets Pépite et Lingot Contexte, objectifs Démo Une recherche collaborative et itérative Questions de recherche Diagnostic cognitif Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Diagnostic cognitif en EIAH ? Processus « Processus qui consiste à produire de façon automatique une description des connaissances ou des savoir-faire qu’un système a cru déceler chez un élève en analysant les traces de son activité » (Delozanne et al. 2010) Résultat du processus Diagnostic cognitif Modèle de l’élève Profil cognitif Bilan des connaissances et des compétences

Diagnostic cognitif Analyse de la résolution de problème par un sujet Performance Connaissances, procédures et stratégies Correctes ou inadaptées Objectifs Intervention Évaluation diagnostique : Réguler les apprentissages Évaluation formative : Améliorer la performance Évaluation sommative : Certifier Scientifique Comprendre des processus de résolution de problèmes, d’apprentissage, d’enseignement, de conception Modéliser pour simuler, prédire, classifier

Différents modèles (Cf. M. Labat) Approches symboliques Psychologie cognitive ACT : geometry tutor, Algebra tutor (équipe de Pittsburg 1983 … 2011) Diane : problèmes additifs école primaire (Hakem ,Sander, Labat, 2005) Plasturgie (Richard, Pastré, Labat et al. 2006) Didactiques des disciplines Balacheff (1995), Stacey (2003) , Luengo (2010) Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011) Approches numériques IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009) Réseaux bayésiens (Labat, Hibou 2007)

Q de recherche (rappel) Quel modèle de l’élève ? Quels descripteurs ? Comment recueillir les observables ? Comment analyser les observables pour obtenir les descripteurs ? Comment exploiter les résultats du diagnostic ?

Architecture fonctionnelle Étudie le modèle de l’élève Exploite le diagnostic

Plan Les projets Pépite et Lingot Diagnostic cognitif ? Définitions Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Q1 : Modéliser les connaissances d’un élève Enseignants Connaissance de référence : capacités (Programmes scolaires) ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques Connaissance de référence Organisation mathématique/didactique Composantes de la compétence algébrique Des problèmes variés pour couvrir l’ensemble des composantes trous, capacités implicites Connaissances d’un élève Cohérences dans l’activité mathématique des élèves Pas seulement des erreurs Rupture entre pensée algébrique et arithmétique Leviers et obstacles pour l’apprentissage

Modèle de l’élève dans Pépite Bilan cognitif : 3 niveaux de description Diagnostic local (sur un exercice) (exemple) Type de réponse et règles appliquées Codage sur 8 dimensions Diagnostic global individuel (sur un ensemble d’exercices)(ex) Caractéristiques personnelles, leviers et fragilités Par composante :Taux de réussite, indicateurs Diagnostic global collectif (exemple) Stéréotype et groupe Niveau sur chaque composante

Q2 : Recueillir des observables ? Un élève passe un test Un ensemble d’exercices conçus pour détecter des cohérences dans l’activité mathématique des élèves Erreurs/réussites Des indices de misconceptions/leviers d’apprentissage Un exercice diagnostique Énoncé et questions Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement) Une grille d’analyse des réponses Types de réponses anticipées Évaluation multidimensionnelle de ces réponses

Un exercice diagnostique

Diagnostic local(1) Réponse Type Codes + interprétations x + 8 = 8x 8x Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée V3 incorrecte L3 lettres avec règles fausses E2 = annonce de résultat J31 pseudo-formelle T2 traduction pas-à-pas séparée EA42 règle incorrecte d’ assemblage Règles utilisées (incorrectes) : A+B = AB A X  B = (A  B) X A X - X = A – 1 Dimensions d’évaluation Validité Usage des Lettres Signe d’ Égalité Justification Traduction Écritures Numériques Écritures Algébriques

Diagnostic local(2) Réponses Type Codes + interprétations 3 + 8 = 11 11 × 3 = 33 33 - 4 = 29 29 + 3 = 32 32/4 = 8 8 + 2 = 10 10 - 3 = 7 Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects V3 incorrecte L5 pas de lettres E2 = annonce de résultat J2 justification par un exemple T2 traduction pas-à-pas séparée EN1 écritures numériques correctes Dimensions d’évaluation Validité Usage des Lettres Signe d’ Égalité Justification Traduction Écritures Numériques Écritures Algébriques

Diagnostic local (3) Réponses d’élèves Codes + interprétations (3+8 × 3-4+3)/4+2-3 32/4+2-3 8+2-3 10-3 V3 incorrecte L5 pas de lettres J2 par l’exemple T3 globale non parenthésée EN1 : écritures numériques correctes ((5+8)×3-4+5)/4+2-5=7 ? ((13)×3-4+5)/4+2-5=7 ? (39-4+5)/4+2-5=7 ? 10+2-5=7 ? 10-3=7 ? 7=7 ? T1 globale parenthèsée, équation ((x + 8) × 3 - 4 + x) / 4 + 2 - x =( 3x + 24 - 4 + x)/4 + 2 - x =(4x +20) / 4 + 2 - x =x + 5 + 2 - x =7 V1 correcte, L1 nb généralisé J1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. Correcte Règles utilisées (A+B)C = AC+BC Règle correcte AC+BC = (A+B)C Règle correcte (A+B)/C = A/C+B/C Règle correcte

Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests diagnostiques Thèse de D. Prévit (2008) Travail didactique et premier prototype Pépite1 Ensemble figé d’exercices figés Utilisable une seule fois à un seul niveau de classe Logiciel PépiGen Caractérisation des exercices équivalents du point de vue diagnostique (clones) Génération des clones Analyse multicritère automatique des réponses ouvertes à chacun de ces clones

PépiGen Pépinière arbre des solutions anticipées expression algébrique produit un clone saisit les paramètres Système auteur PépiGen XM L Auteur est chargé Banques d’exercices Tout d’abord, PépiGen charge le fichier XML contenant les Modèles de classes d’exercices et l’auteur choisit une classe d’exercices. Pour la classe d’exercice que nous avons présenté, il saisit les paramètres à l’aide d’une palette de termes. Pour certains exercices fortement contraints, le système génère de façon automatique les paramètres. Par exemple pour la classe d’exercice « Reconnaître des égalités numériques vraies, les nombres utilisés sont des nombres entiers compris entre 1 et 9. La génération sera faite par tirage aléatoire des valeurs et l’auteur accepte ou non la valeur proposée. Lorsque les paramètres ou les invariants de l’exercice sont des expressions algébriques le système auteur fait appel au module de calcul formel Pépinière, pour la représentation des expression algébriques sous la forme d’arbre d’expression, pour les calculs sur ces expressions (le calcul de la forme réduit dans l’exemple que nous avons présenté), il signale éventuellement une erreur de syntaxe. Pour générer la grille de codage Pépinière construit l’arbre des solutions anticipées. Les paramètres du clone ainsi que la grille de codage sont enregistrer sous la forme d’un fichier XML qui constitue la banque d’exercices. XM L Modèle de Classe exercices

Grille de codage : (x + 6)* 3 - 3 * x <Solution>   <Interprétation> Tentative de démarche algébrique mais l’énoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects</Interprétation>   <Type>10.7</Type> <Code>V3,L3,T4,J3</Code>   <Expression>(x+6)*3</Expression>   <Expression>x*3+18</Expression>   <Regle>V,7</Regle>   <Expression>3*x</Expression>   <Expression>3*x+18-3*x</Expression>   <Expression>18</Expression>   <Regle>V,31</Regle>   </Solution> (x+6)*3=3x+18-3x=18

Pépinière Un logiciel de calcul formel qui manipule des arbres pour : Analyse syntaxique des expressions algébriques Grammaire algébrique Transformations algébriques Règles de réécriture correctes ou incorrectes Génération des solutions plausibles anticipées Unification et heuristiques Comparaison des expressions algébriques Arbres superposables Pépinière comporte plusieurs fonctionnalités. Premièrement il transforme une expression algébrique saisie sous la forme d’une chaîne de caractère en arbre d’expression en s’appuyant sur les grammaires algébriques Deuxièmement, il génére toutes les expressions algébriques obtenues par application de règles de réécriture correctes ou erronées en s’appuyant sur la théorie des règles de réécriture et sur un fichier des règles incorrectes repérées de façon récurrente par les didacticiens de l’équipe. Troisièmement, son originalité (et c’est le seul point que nous développons ici) est de générer les solutions plausibles anticipées par une analyse didactique à des problème de preuve par réduction et développement. Pour cela, Pépinière s’appuie sur l’algorithme d’unification et sur des heuristiques pour éviter les bouclages et l’explosion combinatoire. Quatrièmement, il compare deux expressions algébriques pour vérifier leur équivalence. Des expressions algébriques. Pépinière est utilisé par l’outil auteur PépiGen et par le diagnostiqueur PépiDiag

Arbre des solutions anticipées (x+6)*3-3x Règles correctes R1 R2 R1 : (A+B)C AC+BC R3 : AB+AC A(B+C) x*3+6*3-3x x+6*3-3x Erreur de parenthèse avec mémoire Règles erronées R3 R2: (A+B)C A+BC R4: AB+C B(A+C) 3x+18-3x 3x+18-3x -2x+18 R3 R4 R3 R4 La fonctionnalité la plus originale de pépinière est de générer un arbre des solutions à un problème. Seules les solutions anticipées par l’analyse didactique a priori sont prises en compte pour la construction de cet arbre. Les transformations s’appuient sur une base de règles correctes et incorrectes explicitées par les didacticiens et enseignants de l’équipe. Ces règles de réécriture utilisée pour construire cet arbre permettent de modéliser des raisonnements d’élèves repérés par une analyse didactique a priori qui décrit les types de solutions anticipées observées de façon récurrente par les didacticiens de l’équipe nous disent que fonctionnent les élèves. Sur l’exemple du test de la chaîne, le problème est de prouver par développement et réduction. En entrée PépiGen fournit: une expression à développer ou à réduire En sortie : Pépinière retourne un arbre de résolution obtenu en appliquant les règles correctes ou erronées et pour chaque branche attribue le code correspondant sur la dimension écriture algébrique. Les nœuds de l’arbre sont décorées par les règles correctes ou erronées utilisées. Pépinière applique à l’expression de départ (x+6)*3-3x les règles de réécriture correctes ou les règles erronées La première règle de réécriture est un développement (correcte R1 ou erroné R2) Comme nous l’avons vu certains élèves utilisent de façon inadaptée les parenthèses mais en conserve le sens (erreur de parenthèse avec mémoire) Nous verrons que PépiGen mémorise cet arbre qui est ensuite utilisé par le diagnostiqueur pour évaluer le raisonnement d’un élève. C’est à ce moment que les différentes écritures sont prises en compte 3*(x +6) est considéré comme équivalent à (x +6) *3 18 21x-3x 18 21x-3x R3 R3 18x 18x V1,EA1 V3,EA42 V3,EA31 V3,EA3142 V3,EA32

Plan Les projets Pépite et Lingot Diagnostic cognitif ? Définitions Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Q3 : Analyser les observables ? Comment construire le modèle des compétences d’un élève L’élève passe un test PépiTest Ses réponses sont mémorisées PépiDiag construit le diagnostic en 3 étapes Analyse multidimensionnelle de chaque réponse : type de réponse et vecteur de codes (diagnostic local) Agrégation des codes Bilan cognitif : caractéristiques personnelles + stéréotype Formation d’un groupe pour parcours d’apprentissage

Étape 1 : Analyse des réponses Diagnostic local : PépiDiag Compare la réponse de l’élève à une des réponses anticipées de la grille de codage Utilise d’un logiciel de calcul formel : Pépinière Traite les problèmes de commutativité Détecte les règles (correctes/incorrectes) Teste l’équivalence des expressions

Architecture de PépiMep Exploite PépiDiag PépiDiagLocal PépiDiagGlobal

Interpréteur : PépiTest Enregistre le test avec les réponses de l’élève Résout les exercices Interpréteur PépiTest XM L Charge le test avec les réponses de l’élève Elève Réponse de l‘élève est chargé Comme nous l’avons vu dans notre exemple, un élève utilise un interpréteur pour réaliser un test ou un exercice L’interpréteur enregistre la réponse de l’élève dans un fichier XML XM L Test constitué d’exercices

Diagnostiqueur : PépiDiag XM L Enregistre les réponses avec le diagnostic local (type et codes) est chargé Réponse de l’élève Diagnostiqueur PépiDiag XM L est chargé Tester l’équivalence de 2 arbres d’expression retourne vrai/faux XM L grille de codage Module Pépinière

Conception du diagnostic local Fondée sur les réponses anticipées et le fichier grille de codage Réponses ouvertes ~10-15 % de réponses non diagnostiquées par le logiciel Erreur de saisie Réponses imprévisibles Couteux En expertise didactique + Analyse de corpus Efficace pour les réponses avec une seule expression algébrique Ajout facile d’un type de réponse Complexe pour les raisonnements

Évaluation du diagnostic local Dépend du type de question (ouverte/fermée) Comparaison Diagnostic machine/humain N = 360 élèves 3 experts trouvent le travail fastidieux (7 à 10 h pour un seul exercice) se trompent plus que le logiciel Critères Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag Réponses en une seule expression : OK Raisonnement : à améliorer Réponses imprévisibles 2/3 des réponses incorrectes non analysées par le logiciel, ne sont pas non plus analysées par les experts

Étape 2 : Bilan cognitif Un bilan = Un stéréotype niveau de compétence sur les 3 composantes Usage de l’algèbre, calcul algébrique et traduction d’une représentation dans une autre Des caractéristiques personnelles taux de réussite leviers fragilités liste des erreurs liste des réussites

Étape 3 : Groupes de travail Gérer la diversité cognitive dans une classe Apprentissage différencié Dynamique de l’ensemble Groupes de stéréotypes 36 stéréotypes, 15 en pratique Regroupement des stéréotypes voisins selon la composante sur laquelle l’enseignant veut travailler Ex. Groupe A (élèves en CA1) contrôlent leur calcul et commencent à choisir les outils adaptés au problème A+ : savent traduire algébriquement des situations diverses A- : erreurs de traduction Ex. : groupes en 2nde

Évaluation des groupements En cours 1 expérimentation passée Points de vue Usage Le prof a fait 3 groupes A, B , C Travail par 2 : (A+, A-), (B+, B-), (C+, C-) Pour favoriser les explications entre pairs Travail en classe, puis devoir à la maison Nécessité de définir Des étapes (ex. introduction, entrainement) Un objectif commun à la classe Point de vue Élève Évolution locale importante 4 expérimentations en cours

Plan Les projets Pépite et Lingot Diagnostic cognitif ? Définitions Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Q4 : Exploitation du diagnostic Tutorat individuel Réflexion métacognitive avec l’élève Travail dans la classe Projet avec Sésamath Parcours d’apprentissage différencié (Pad) Thèse en didactique des mathématiques de Julia Pilet Mise au point des parcours d’apprentissage différencié Expérimentations en classe Post-doc en informatique : Naima El-Kechai Modèle de connaissances Logiciel PépiPad : aide à la mise en place

PépiPad : Un scénario Qui ? Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep Contexte : MF va aborder le chapitre calcul littéral dans la classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables Prérequis MF demande à ses élèves de passer le test à la maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad

Scénario (suite) Paramétrage : MF choisit Le thème : Identités remarquables L’étape : Prendre un bon départ L’objectif principal : Donner du sens aux lettres et aux expressions PépiPad affiche pour chaque groupe les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités Adaptation MF qui ne dispose que de 30 min sélectionne un seul objectif secondaire/groupe PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe Une liste d’élèves Une liste de ressources Écran du prof, écran d’un élève

Cas d’utilisation de PépiPad

Modèle de connaissance Parcours Un ensemble d’exercices pour un groupe Exemple de parcours (fichier xml) Exercice caractérisé (exemple d’exercice indexé, fichier xml) Capacités Niveau scolaire Variables didactiques Objets mathématiques Cadre et registres en jeu Degré de guidage Identifiant Origine (exercice MeP, ouvrage Sesamath, Lingot) Titre

Capacité Composante de la compétence Ex. calcul algébrique Groupe de capacités Ex. calculer, tester, factoriser Capacité Ex. calculer l’image d’un nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable Exemple : capacités liées au calcul algébrique (fichier xml)

PépiPad Générateur de Parcours Pépite prof Parcours générés Bilans cognitifs des élèves Règles de calcul de parcours construit Pépite paramètre Utilise l'ontologie des exercices Banque d’exercices prof

Etat des lieux Fait : Conception de l’ontologie Explicitation les objectifs principaux et secondaires Liens objectifs/capacités/étapes Indexation des ressources hétérogènes Exercices interactifs de Math En Poche Exercices papier des manuels et des didacticiennes Création automatique des séances En cours Tests de validité (comparaison avec les parcours humains) Filtrage des exercices Évaluer les bénéfices pour les élèves et les profs

C6-Dissémination (2010-12) Projet PICRI financé par la région Ile-de-France Lien recherche/association société civile Objectif mise à disposition des enseignants sur la plateforme Sésamath Diagnostic fiable Parcours d’apprentissage adaptés au bilan cognitif des élèves Questions de recherche Comment passer d’un prototype de recherche à un logiciel fiable et robuste ? Conception participative Comment concevoir la différenciation ? Gestion de la classe/personnalisation

Résultats (actuels) du projet Une méthode de diagnostic Fondée sur une analyse didactique 3 étapes : analyse des réponses, bilan personnel, positionnement par rapport à la référence Typage des réponses anticipées Des modèles exécutables de tâches diagnostiques, d’exercices, de parcours de bilan cognitif sur trois niveaux de description Une recherche pluridisciplinaire et participative Un logiciel accessible sur une plateforme grand public Des corpus de réponses importants

Méthode de diagnostic Trois temps Diagnostic local Analyse de la réponse à une question Types de réponses anticipées + vecteur de codes Diagnostic global individuel Cohérences entre les réponses Par composante : taux de réussite + leviers, fragilités, règles fausses et correctes Diagnostic global collectif Position de l’élève par rapport à une référence/au groupe Niveau sur chaque composante Caractéristiques communes à un groupe

Modèles des tâches diagnostic (1) Un exercice Interface Une analyse didactique initiale : texte et tableaux Ex Modèle conceptuel de l’exercice 3 : texte et tableaux plus précis Modèle informatique de l’exercice 3 : fichier xml Originel Un clone

Modèles des tâches diagnostic (2) Modèle général d’une Classe d’exercice : schéma UML schéma Schémas XDS de grille d’analyse des réponses anticipées à une question

Ontologie simplifiée : graphique

Perspectives Court terme(fin du financement 2012) Fiabiliser complètement PépiDiag PépiPad opérationnel Long terme (prochain projet) Articuler Les parcours fondés sur les stéréotypes Avec des aides interactives fondées sur l’historique et les caractéristiques personnelles Des scénarios plus ludiques

Résumé (1) Cycle N°1 (1995) : outil papier-crayon modélisation des compétences Cycle N° 2 (2000) : logiciel Pépite systématisation, réification du modèle de compétence diagnostic semi-automatique Cycle N°3 (2005) : exploitation du diagnostic expérimentations vers un diagnostic automatique (langage naturel, raisonnement algébrique) vers une géographie de la classe (stéréotypes) Cycle N° 4 (2008) : PépiGen et Pépinière diagnostic plus générique (classes d’exercices) plus fiable (raisonnement algébrique) pour l’élève Cycle N° 5 (2012) dissémination parcours différenciés d’apprentissage Logiciel PépiPad

Résumé (2) Coté recherche : Comprendre les difficultés des élèves Récolter des corpus Produire des modélisations exécutables d’une expertise didactique pour l’enrichir et l’approfondir Coté application : Faciliter l’insertion dans/ l’évolution des pratiques enseignantes faciliter la genèse instrumentale Dissémination de résultats de recherche

Questions Diagnostic cognitif Définition ? Comparaison avec celles de M. Labat ? De M. Sander ? Diagnostic humain/diagnostic automatique ? Difficultés ? Évaluation de la qualité ?

Diagnostic local (pour le prof)

Diagnostic local (pour le chercheur)

Diagnostic local pour le logiciel

Diagnostic personnel global Bilan Personnel de Sam Eugène Sam est dans le groupe A- Profil du groupe A- : Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu l’algèbre pour résoudre des problèmes

Diagnostic collectif global