Les projets Pépite et Lingot Diagnostic cognitif et EIAH De la recherche aux usages M2-IFL, DU-TICE, 31-10-2013 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6

Objectifs du cours Donner un exemple de Méthode coopération pluridisciplinaire chercheurs/professionnels EIAH modèle d’apprenant et diagnostic cognitif TICE dissémination en classe de travaux de recherche Vous faire manipuler des prototypes de diagnostic cognitif plusieurs types de modèles et de représentations didactique : texte, tableau conceptuel : tableau, diagramme informatique : en machine : structure d’un fichier xml à l’interface : visualisation des données xml

Plan Les projets Pépite et Lingot Motivation, objectifs Démo Démarche de recherche Recherche participative et itérative Questions de recherche Diagnostic cognitif Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Des Pépites et des Lingots ? Dans la boue des productions des élèves… x + 8 = 8x Il ne faut pas additionner les puissants … trouver les granules de connaissances pour forger … des connaissances conformes au référentiel des programmes Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Origine du projet (~1990) Didactique Algèbre : porte d’entrée/barrière enseignement scientifique Un questionnement sur l’enseignement de l’algèbre Un outil papier crayon : diagnostic et activités différenciées Trop lourd à mettre en œuvre hors contexte de recherche Informatique Modélisation de l’apprenant et diagnostic cognitif Automatiser un processus de diagnostic déjà très structuré validé sur le plan épistémologique, cognitif et didactique testé sur papier : étude de corpus (600 réponses) Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Le projet Lingot Objectifs Instrumenter la gestion par les enseignants de la diversité cognitive des élèves Comment ? Concevoir et mettre en œuvre des outils pour les enseignants issus de la recherche accessibles en ligne pour mettre en œuvre un enseignement différencié fondé sur un diagnostic fin des besoins des élèves et pas seulement sur corriger des erreurs isolées sur faciliter la tâche aux plus faibles Avec le projet Lingot, nous proposons un travail de recherche dont l’objectif est de créer des assistants informatiques pour l’enseignement et l’apprentissage qui ne soient pas fondés exclusivement sur des fonctionnalités proposées mais fondés d’une part sur des recherches menées dans divers domaines pour concevoir des situations d’apprentissage qu’ils rendent possibles et d’autre part sur des modélisations informatiques qui permettent la réalisation de prototypes que l’on peut tester d’abord en laboratoire puis dans des conditions “ écologiquement valides ”. Réciproquement ces environnements informatiques permettent de valider, tester, discuter, compléter, systématiser ou infléchir les études de départ. Pour développer notre recherche, nous avons choisi un domaine d’apprentissage, celui de l’algèbre à la fin de la scolarité obligatoire, l’algèbre constituant un outil privilégié des mathématiques mais aussi un verrou d’accès à l’enseignement scientifique. Nous cherchons à articuler des recherches en informatique, en didactique et ergonomie cognitive : modéliser des cohérences de fonctionnement des élèves dans un domaine vaste adopter une « approche intégrée de la conception » i.e. prenant en compte non seulement les aspects informatiques et les aspects développements cognitifs des élèves (AI&ED classiques) mais aussi les aspects gestion de classes, cohérences sur l’ensemble d’un cycle d’études et formation des enseignants. Ces approches sont adoptées également par des chercheurs en EIAH par exemple : comme Ken Koedinger et Kaye Stacey Par exemple, Koedinger développe des tuteurs intelligents mais dans le cadre d’un curriculum et en concevant aussi les livres et textes imprimés, formation des prof. K. R. Koedinger, J. R. Anderson, Intelligent Tutoring Goes to School in the Big City, IJAIED (8), 30-43, 1997. Notre projet Lingot a été retenu dans l’appel d’offres Ecole et sciences cognitives, sur le thème Les apprentissages et leurs dysfonctionnements, du programme Cognitique du MRT, 2002 Démo Démarche Diagnostic Parcours Modèles Résultats Projet

3 axes de recherche Diagnostic (projet Pépite) Développer des tests diagnostiques Analyser les réponses à des exercices Détecter des cohérences Obstacles/Leviers pour l’apprentissage Situer un élève (un groupe d’élèves) par rapport à la compétence de référence Avec le projet Lingot, nous proposons un travail de recherche dont l’objectif est de créer des assistants informatiques pour l’enseignement et l’apprentissage qui ne soient pas fondés exclusivement sur des fonctionnalités proposées mais fondés d’une part sur des recherches menées dans divers domaines pour concevoir des situations d’apprentissage qu’ils rendent possibles et d’autre part sur des modélisations informatiques qui permettent la réalisation de prototypes que l’on peut tester d’abord en laboratoire puis dans des conditions “ écologiquement valides ”. Réciproquement ces environnements informatiques permettent de valider, tester, discuter, compléter, systématiser ou infléchir les études de départ. Pour développer notre recherche, nous avons choisi un domaine d’apprentissage, celui de l’algèbre à la fin de la scolarité obligatoire, l’algèbre constituant un outil privilégié des mathématiques mais aussi un verrou d’accès à l’enseignement scientifique. Nous cherchons à articuler des recherches en informatique, en didactique et ergonomie cognitive : modéliser des cohérences de fonctionnement des élèves dans un domaine vaste adopter une « approche intégrée de la conception » i.e. prenant en compte non seulement les aspects informatiques et les aspects développements cognitifs des élèves (AI&ED classiques) mais aussi les aspects gestion de classes, cohérences sur l’ensemble d’un cycle d’études et formation des enseignants. Ces approches sont adoptées également par des chercheurs en EIAH par exemple : comme Ken Koedinger et Kaye Stacey Par exemple, Koedinger développe des tuteurs intelligents mais dans le cadre d’un curriculum et en concevant aussi les livres et textes imprimés, formation des prof. K. R. Koedinger, J. R. Anderson, Intelligent Tutoring Goes to School in the Big City, IJAIED (8), 30-43, 1997. Notre projet Lingot a été retenu dans l’appel d’offres Ecole et sciences cognitives, sur le thème Les apprentissages et leurs dysfonctionnements, du programme Cognitique du MRT, 2002 Démo Démarche Diagnostic Parcours Modèles Résultats Projet

3 axes de recherche Diagnostic : Pépite Apprentissage : PépiPad Exploiter le diagnostic Parcours d’apprentissage différenciés adaptés au diagnostic Instrumentation de l’activité des enseignants : PépiMep Usage des outils dans des situations de classe Mettre en ligne les outils développés Gestion dans les classes d’un enseignement différencié Avec le projet Lingot, nous proposons un travail de recherche dont l’objectif est de créer des assistants informatiques pour l’enseignement et l’apprentissage qui ne soient pas fondés exclusivement sur des fonctionnalités proposées mais fondés d’une part sur des recherches menées dans divers domaines pour concevoir des situations d’apprentissage qu’ils rendent possibles et d’autre part sur des modélisations informatiques qui permettent la réalisation de prototypes que l’on peut tester d’abord en laboratoire puis dans des conditions “ écologiquement valides ”. Réciproquement ces environnements informatiques permettent de valider, tester, discuter, compléter, systématiser ou infléchir les études de départ. Pour développer notre recherche, nous avons choisi un domaine d’apprentissage, celui de l’algèbre à la fin de la scolarité obligatoire, l’algèbre constituant un outil privilégié des mathématiques mais aussi un verrou d’accès à l’enseignement scientifique. Nous cherchons à articuler des recherches en informatique, en didactique et ergonomie cognitive : modéliser des cohérences de fonctionnement des élèves dans un domaine vaste adopter une « approche intégrée de la conception » i.e. prenant en compte non seulement les aspects informatiques et les aspects développements cognitifs des élèves (AI&ED classiques) mais aussi les aspects gestion de classes, cohérences sur l’ensemble d’un cycle d’études et formation des enseignants. Ces approches sont adoptées également par des chercheurs en EIAH par exemple : comme Ken Koedinger et Kaye Stacey Par exemple, Koedinger développe des tuteurs intelligents mais dans le cadre d’un curriculum et en concevant aussi les livres et textes imprimés, formation des prof. K. R. Koedinger, J. R. Anderson, Intelligent Tutoring Goes to School in the Big City, IJAIED (8), 30-43, 1997. Notre projet Lingot a été retenu dans l’appel d’offres Ecole et sciences cognitives, sur le thème Les apprentissages et leurs dysfonctionnements, du programme Cognitique du MRT, 2002 Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Une équipe pluridisciplinaire Informatique Didactique des maths Ergonomie Enseignants Sésamath …

Sésamath Une association (2001) de bénévoles + 6 salariés Un site : http://www.sesamath.net/ Des manuels Papier : bons et moitié moins chers 18% du marché français Financent les frais de fonctionnement En ligne : gratuits et sources accessibles 1 600 exercices, 1 100 animations Une plateforme d’outils libres et gratuits (Mep, LaboMep) Pour les profs de maths 14 643 inscrits Pour les élèves : 1/4 collégien français 1 million d’inscrits (sept-dec 2012) 1,3 million connections /mois Démo Démarche Diagnostic Parcours Modèles Résultats Projet

LaboMep Scenario d’utilisation le prof crée une séance en associant à la souris des ressources à un groupe d’élèves chaque élève se connecte utilise les ressources de la séance (exercices, animations) le prof peut consulter un bilan du travail des élèves Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Les usages de Pépite et PépiPad De nombreuses expérimentations de 2001 à 2012 En 2012 mise en ligne sur LaboMep (plateforme de Sésamath) des tests diagnostiques (3°-2nde) puis des parcours d’apprentissages Pour 2012-2013 540 séances de tests diagnostiques crées par des enseignants 4221 élèves ont passé le test 129 séances différenciées ont été crées 49 enseignants ont répondu à un questionnaire en ligne de 24 questions Démo Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Plan Les projets Pépite et Lingot Motivation, objectifs Démo Démarche de recherche Recherche participative et itérative Questions de recherche Diagnostic cognitif Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Scénario Nous sommes une classe de 3° dans le collège Lingot de Terre Adélie et de LaboMep Je suis votre prof de math Les prof prépare la séance de test diagnostique Chaque élève (vous) se connecte sur LaboMep et passe le test en répondant aux questions (N’oubliez pas de cliquer sur OK, ne revenez pas en arrière) Le prof regarde les bilans et choisit un thème de travail PépiPad génère une séance différenciée Le prof la modifie (ou pas) et l’enregistre Chaque élève (vous) travaille sur les exercices de sa séance (rafraichir pour voir sa séance) Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Plan Les projets Pépite et Lingot Motivation, objectifs Démo Démarche de recherche Recherche participative et itérative Questions de recherche Diagnostic cognitif Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Démarche de recherche itérative Partir De l’expertise de chercheures en didactique du laboratoire André Revuz (ex-Didirem) Des l’état des recherches en EIAH et en informatique LIUM, LIP6 De l’expertise des enseignants association Sésamath, IREM, IUFM Créer des modèles informatiques et des prototypes Tester les prototypes dans les classes En retour Enrichir l’expertise didactique des enseignants en conception d’EIAH Être utile aux élèves et aux professeurs ? Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Une recherche itérative (Mackay et Fayard, 1997) Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Conception participative La participation des enseignants aux projets de recherche Difficile à mettre en œuvre Nécessite du temps Temps de la recherche Temps de l’action Une réflexion pour faire leur place Des prototypes pour expérimenter Collaboration avec l’association Sésamath "Transformer une symétrie d'ignorance en symétrie de participation et en symétrie de connaissances " [Muller 03]

Cadres conceptuels (1/2) Informatique Conception centrée utilisateur-participative (Schuller 93, Mackay 04), Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003) Ingénierie dirigée par les modèles (Favre et al. 06), Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010) EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00, Caroll 00) Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04) Analyse de corpus, de traces (Dimitracopoulos09, Choquet07, Marty&Mille09) Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Cadres conceptuels (2/2) Didactique des mathématiques Théorie Anthropologique du Didactique (Chevallard 92), Théorie des situations didactiques (Brousseau 88), Dialectique outils/objets (Douady 90) Jeu de cadres et registres (Duval 95), Ingénierie didactique (Artigue 91) Didactique de l’algèbre (Grugeon 95, 08, Chevallard 85,Chevallard et Bosch 2012, Bardini 03, Sfard 91, Drouhard 92, Kieran 07) Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03) Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Questions de recherche Comment décrire les connaissances du doamine, d’un élève ? Modèles de référence : didactique/enseignants/informatique Quelles situations mettre en place pour recueillir des observables ? Modélisation des tâches diagnostiques, Banque de tests Comment inférer les descripteurs à partir des observables ? Typer et coder les réponses : diagnostic individuel local Détecter les cohérences : diagnostic individuel global Situer l’élève par rapport à une référence : stéréotypes/groupes Comment exploiter le diagnostic en prenant des décisions à partir des descripteurs ? Prise de décisions didactiques (enseignants ou machine) Aide à la décision pour organiser des parcours Réflexion métacognitive avec l’élève Comment évaluer les résultats produits ? Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Cycles de recherche Une analyse didactique cognitive et épistémologique un outil de diagnostic papier (Grugeon 95) Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000) Une nouvelle modélisation de l’élève 3 niveaux : PépiStéréo (Vincent et al. 2005) Une modélisation générique du diagnostic Logiciel de calcul formel : Pépinière Génération des exercices et de l’analyse automatique des raisonnements : PépiGen (Prévit 2008) Dissémination : association Sésamath Prototype/application disponible à large échelle : PépiMep (Darwesh et al. 2010) Parcours d’apprentissage différencié : PépiPad (Pilet 2011, El-Kechaï 2011) Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Chronologie du projet Thèse de J. Pilet PépiPad sur LaboMep Début du recueil de traces 2013 Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Plan Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Définitions et fondements didactiques Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Diagnostic cognitif en EIAH ? Processus « Processus qui consiste à produire de façon automatique une description des connaissances ou des savoir-faire qu’un système a cru déceler chez un élève en analysant les traces de son activité » (Delozanne et al. 2010) Résultat du processus Diagnostic cognitif Modèle de l’élève Profil cognitif Bilan des connaissances et des compétences Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Diagnostic cognitif Analyse de la résolution de problème par un sujet Performance Connaissances, procédures et stratégies Correctes ou inadaptées Objectifs Intervention : Évaluation diagnostique : Réguler les apprentissages formative : Améliorer la performance sommative : Certifier Scientifique Comprendre des processus de résolution de problèmes, d’apprentissage, d’enseignement, de conception Modéliser pour simuler, prédire, classifier Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Différents modèles (Cf. M. Labat) Approches symboliques Psychologie cognitive ACT : geometry tutor, Algebra tutor (équipe de Pittsburg 1983 … 2013) Diane/Star : problèmes additifs école primaire (Hakem, Sander, Labat, 2005, Martin, Sander, Labat, Richard 2013) Plasturgie (Richard, Pastré, Labat et al. 2006) Didactiques des disciplines Balacheff (1995), Stacey (2003) , Luengo (2010) Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011) Approches numériques IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009) Réseaux bayésiens (Labat, Hibou 2007) Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Evidence Centred Design (Mislevy 03, Shute 08) Analyse du domaine Modélisation du domaine Modèle conceptuel de l’évaluation Modèle de l’élève Modèle de diagnostic (Evidence Models) : évaluation des productions d’élèves par item sur l’ensemble du test Modèle des tâches Modèle d’assemblage (test adaptatif) Modèle de présentation Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Fondements didactiques de Pépite Savoir savant Savoir à enseigner Programmes officiels et documents d’accompagnement Savoir enseigné Cahiers d’élèves, discours enseignants Savoir appris Tests diagnostiques Savoir de référence Modèle épistémologique (Transposition didactique, Bosch et Gascon 05) Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Expressions algébriques Absent Équivalence des programmes de calcul (Ruiz-Munzon 2010, 2012, Chevallard & Bosch, 2012) Interprétation des expressions algébriques dans d’autres registres de représentation (Duval 1995, Bardini 2003) Aspects épistémologiques Équivalence des expressions algébriques (Frege 1971,Drouhard 1992, Kieran 2007) Aspects procédural et structural des expressions algébriques (Sfard 1991) Dialectique du numérique et de l’algébrique (Chevallard 1985) Savoir à enseigner : Absent (Pilet 2013) Peu Présent Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Des savoirs et savoir-faire implicites Équivalence des expressions Peu de référence à la dénotation à l’organisation du contrôle des calculs Dialectique du numérique et de l’algébrique Peu de lien avec le numérique (2 expressions renvoient ou non les mêmes valeurs) Aspect structural et procédural Peu de référence au processus de calcul, à la reconnaissance de la structure Expressions et consignes standardisées Lien avec d’autres registres de représentations Peu de programmes et de schémas de calcul Un sens de traduction privilégié Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Types de tâches (extrait) 32 Traduire Produire Associer Génération des expressions Prouver l’équivalence Développer Tester l’équivalence Équivalence des expressions Algèbre des polynômes Factoriser Identifier la structure Réécrire Calculer Choisir l’expression la plus adaptée Absent Peu Présent Présent Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Hypothèses didactiques H1 : Une explication possible des difficultés des élèves Les trous, les implicites Le peu de diversité dans le type des expressions et les problèmes traités H2 : Les réponses des apprenants à des problèmes bien choisis révèlent des cohérences dans leur raisonnement Q1 : Comment identifier ces cohérences ? H3 : Détecter ces cohérences permet aux enseignants de définir des stratégies différenciées d’enseignement Q2 : Comment différencier les apprentissages en s’appuyant sur ces cohérences ? Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Hypothèses informatiques H1 : Il est possible de concevoir un logiciel pour recueillir des traces numériques de l’activité algébrique des élèves pour détecter des cohérences H2 : Il est possible de concevoir un logiciel qui le détecte de façon automatique (au moins partiellement) H3 : Les logiciels produits pourront être utilisés dans les classes H4 : La modélisation informatique de l’expertise didactique fera évoluer cette dernière Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Plan Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Définitions, Fondements Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Q de recherche (rappel) Quel modèle de l’élève ? Quels descripteurs ? Logiciel pour présenter les résultats : PépiProf Comment recueillir les observables ? Logiciel pour faire passer un test aux élèves : PépiTest Comment analyser les observables pour obtenir les descripteurs ? Logiciel de diagnostic : PépiDiag Comment exploiter les résultats du diagnostic ? Logiciel pour calculer des parcours d’apprentissage différencié : PépiPad Comment évaluer les résultats ? Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Méthode de diagnostic Trois temps Diagnostic local Analyse de la réponse à une question Types de réponses anticipées + vecteur de codes Diagnostic global individuel Cohérences entre les réponses Par composante : taux de réussite + leviers, fragilités, règles fausses et correctes Diagnostic global collectif Position de l’élève par rapport à une référence/au groupe Niveau sur chaque composante Caractéristiques communes à un groupe

Architecture de PépiMep Exploite PépiDiag PépiDiagLocal PépiDiagGlobal Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Q1 : Modéliser les connaissances d’un élève Enseignants Connaissance de référence : capacités (Programmes scolaires) ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques Connaissance de référence Organisation mathématique/didactique Composantes de la compétence algébrique Des problèmes variés pour couvrir l’ensemble des composantes trous, capacités implicites Connaissances d’un élève Cohérences dans l’activité mathématique des élèves Pas seulement des erreurs Rupture entre pensée algébrique et arithmétique Leviers et obstacles pour l’apprentissage Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Modèle de l’élève dans Pépite 3 niveaux de description Diagnostic local (sur un exercice) (exemple) Type de réponse et règles appliquées Codage sur 8 dimensions Diagnostic global individuel (sur un ensemble d’exercices)(ex) Caractéristiques personnelles, leviers et fragilités Par composante :Taux de réussite, indicateurs Diagnostic global collectif (exemple) Stéréotype et groupe Niveau sur chaque composante Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Q2 : Recueillir des observables ? Un élève passe un test Un ensemble d’exercices conçus pour détecter des cohérences dans l’activité mathématique des élèves Erreurs/réussites faiblesses/leviers d’apprentissage Un exercice diagnostique Énoncé et questions Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement) Une grille d’analyse des réponses Types de réponses anticipées Évaluation multidimensionnelle de ces réponses Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Un exercice diagnostique Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Diagnostic local(1) Réponse Type Codes + interprétations x + 8 = 8x 8x Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée V3 incorrecte L3 lettres avec règles fausses E2 = annonce de résultat J31 pseudo-formelle T2 traduction pas-à-pas séparée EA42 règle incorrecte d’ assemblage Règles utilisées (incorrectes) : A+B = AB A X  B = (A  B) X A X - X = A – 1 Dimensions d’évaluation Validité Usage des Lettres Signe d’ Égalité Justification Traduction Écritures Numériques Écritures Algébriques Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Diagnostic local(2) Réponses Type Codes + interprétations 3 + 8 = 11 11 × 3 = 33 33 - 4 = 29 29 + 3 = 32 32/4 = 8 8 + 2 = 10 10 - 3 = 7 Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects V3 incorrecte L5 pas de lettres E2 = annonce de résultat J2 justification par un exemple T2 traduction pas-à-pas séparée EN1 écritures numériques correctes Dimensions d’évaluation Validité Usage des Lettres Signe d’ Égalité Justification Traduction Écritures Numériques Écritures Algébriques Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Diagnostic local (3) Réponses d’élèves Codes + interprétations (3+8 × 3-4+3)/4+2-3 32/4+2-3 8+2-3 10-3 V3 incorrecte L5 pas de lettres J2 par l’exemple T3 globale non parenthésée EN1 : écritures numériques correctes ((5+8)×3-4+5)/4+2-5=7 ? ((13)×3-4+5)/4+2-5=7 ? (39-4+5)/4+2-5=7 ? 10+2-5=7 ? 10-3=7 ? 7=7 ? T1 globale parenthèsée, équation ((x + 8) × 3 - 4 + x) / 4 + 2 - x =( 3x + 24 - 4 + x)/4 + 2 - x =(4x +20) / 4 + 2 - x =x + 5 + 2 - x =7 V1 correcte, L1 nb généralisé J1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. Correcte Règles utilisées (A+B)C = AC+BC Règle correcte AC+BC = (A+B)C Règle correcte (A+B)/C = A/C+B/C Règle correcte

Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests diagnostiques Travail didactique (1995) et premier prototype Pépite1 (2000) Ensemble figé d’exercices figés Utilisable une seule fois à un seul niveau de classe Thèse de D. Prévit (2008) Logiciels PépiGen et Pépinière Caractérisation des exercices équivalents du point de vue diagnostique (clones) Modèle des tâches diagnostiques Logiciel qui génère des clones Analyse multicritère automatique des réponses ouvertes à chacun de ces clones Démo Démarche Diagnostic Parcours Modèles Résultats Projet

PépiGen Pépinière arbre des solutions anticipées expression algébrique produit un clone saisit les paramètres Système auteur PépiGen XM L Auteur est chargé Banques d’exercices Tout d’abord, PépiGen charge le fichier XML contenant les Modèles de classes d’exercices et l’auteur choisit une classe d’exercices. Pour la classe d’exercice que nous avons présenté, il saisit les paramètres à l’aide d’une palette de termes. Pour certains exercices fortement contraints, le système génère de façon automatique les paramètres. Par exemple pour la classe d’exercice « Reconnaître des égalités numériques vraies, les nombres utilisés sont des nombres entiers compris entre 1 et 9. La génération sera faite par tirage aléatoire des valeurs et l’auteur accepte ou non la valeur proposée. Lorsque les paramètres ou les invariants de l’exercice sont des expressions algébriques le système auteur fait appel au module de calcul formel Pépinière, pour la représentation des expression algébriques sous la forme d’arbre d’expression, pour les calculs sur ces expressions (le calcul de la forme réduit dans l’exemple que nous avons présenté), il signale éventuellement une erreur de syntaxe. Pour générer la grille de codage Pépinière construit l’arbre des solutions anticipées. Les paramètres du clone ainsi que la grille de codage sont enregistrer sous la forme d’un fichier XML qui constitue la banque d’exercices. Modèle de Classe Exercices diagnostiques XM L Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Grille de codage : (x + 2)* 3 - 3 * x <Solution>   <Interprétation> Tentative de démarche algébrique mais l’énoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects</Interprétation>   <Type>10.7</Type> <Code>V3,L3,T4,J3</Code>   <Expression>(x+2)*3</Expression>   <Expression>x*3+6</Expression>   <Regle>V,7</Regle>   <Expression>3*x</Expression>   <Expression>3*x+6-3*x</Expression>   <Expression>6</Expression>   <Regle>V,31</Regle>   </Solution> (x+2)*3=3x+6-3x=6 Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Pépinière Logiciel de calcul formel qui manipule des arbres pour : Analyse syntaxique des expressions algébriques Grammaire algébrique Transformations algébriques Règles de réécriture correctes ou incorrectes Génération des solutions plausibles anticipées Unification et heuristiques Comparaison des expressions algébriques Arbres superposables Pépinière comporte plusieurs fonctionnalités. Premièrement il transforme une expression algébrique saisie sous la forme d’une chaîne de caractère en arbre d’expression en s’appuyant sur les grammaires algébriques Deuxièmement, il génére toutes les expressions algébriques obtenues par application de règles de réécriture correctes ou erronées en s’appuyant sur la théorie des règles de réécriture et sur un fichier des règles incorrectes repérées de façon récurrente par les didacticiens de l’équipe. Troisièmement, son originalité (et c’est le seul point que nous développons ici) est de générer les solutions plausibles anticipées par une analyse didactique à des problème de preuve par réduction et développement. Pour cela, Pépinière s’appuie sur l’algorithme d’unification et sur des heuristiques pour éviter les bouclages et l’explosion combinatoire. Quatrièmement, il compare deux expressions algébriques pour vérifier leur équivalence. Des expressions algébriques. Pépinière est utilisé par l’outil auteur PépiGen et par le diagnostiqueur PépiDiag Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Arbre des solutions anticipées (x+2)*3-3x Règles correctes R1 R2 R1 : (A+B)C AC+BC R3 : AB+AC A(B+C) x*3+2*3-3x x+2*3-3x Erreur de parenthèse avec mémoire Règles erronées R3 R2: (A+B)C A+BC R4: AB+C B(A+C) 3x+6-3x 3x+6-3x -2x+6 R3 R4 R3 R4 La fonctionnalité la plus originale de pépinière est de générer un arbre des solutions à un problème. Seules les solutions anticipées par l’analyse didactique a priori sont prises en compte pour la construction de cet arbre. Les transformations s’appuient sur une base de règles correctes et incorrectes explicitées par les didacticiens et enseignants de l’équipe. Ces règles de réécriture utilisée pour construire cet arbre permettent de modéliser des raisonnements d’élèves repérés par une analyse didactique a priori qui décrit les types de solutions anticipées observées de façon récurrente par les didacticiens de l’équipe nous disent que fonctionnent les élèves. Sur l’exemple du test de la chaîne, le problème est de prouver par développement et réduction. En entrée PépiGen fournit: une expression à développer ou à réduire En sortie : Pépinière retourne un arbre de résolution obtenu en appliquant les règles correctes ou erronées et pour chaque branche attribue le code correspondant sur la dimension écriture algébrique. Les nœuds de l’arbre sont décorées par les règles correctes ou erronées utilisées. Pépinière applique à l’expression de départ (x+6)*3-3x les règles de réécriture correctes ou les règles erronées La première règle de réécriture est un développement (correcte R1 ou erroné R2) Comme nous l’avons vu certains élèves utilisent de façon inadaptée les parenthèses mais en conserve le sens (erreur de parenthèse avec mémoire) Nous verrons que PépiGen mémorise cet arbre qui est ensuite utilisé par le diagnostiqueur pour évaluer le raisonnement d’un élève. C’est à ce moment que les différentes écritures sont prises en compte 3*(x +6) est considéré comme équivalent à (x +6) *3 6 9x-3x 6 9x-3x R3 R3 6x 6x V1,EA1 V3,EA42 V3,EA31 V3,EA3142 V3,EA32

Plan Les projets Pépite et Lingot Diagnostic cognitif ? Définitions Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Q3 : Analyser les observables ? Comment construire le modèle des compétences d’un élève ? L’élève passe un test PépiTest Ses réponses sont mémorisées PépiDiag construit le diagnostic en 3 étapes Analyse multidimensionnelle de chaque réponse : type de réponse et vecteur de codes (diagnostic local) Agrégation des codes Bilan cognitif : caractéristiques personnelles + stéréotype Formation d’un groupe pour un même parcours d’apprentissage Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Interpréteur : PépiTest Elève XM L Interpréteur PépiTest Résout les exercices Charge le test avec les réponses de l’élève est chargé Enregistre le test avec les réponses de l’élève Test constitué d’exercices Réponse de l‘élève Comme nous l’avons vu dans notre exemple, un élève utilise un interpréteur pour réaliser un test ou un exercice L’interpréteur enregistre la réponse de l’élève dans un fichier XML Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Étape 1 : Analyse des réponses Diagnostic local : PépiDiag Compare la réponse de l’élève à une des réponses anticipées de la grille de codage Utilise un logiciel de calcul formel : Pépinière Traite les problèmes de commutativité Détecte les règles (correctes/incorrectes) Teste l’équivalence des expressions Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Diagnostiqueur : PépiDiag XM L Enregistre les réponses avec le diagnostic local (type et codes) est chargé Réponse de l’élève Diagnostiqueur PépiDiag XM L est chargé Tester l’équivalence de 2 arbres d’expression retourne vrai/faux XM L grilles de codage Module Pépinière Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Conception du diagnostic local Fondée sur les réponses anticipées Analyse didactique+corpus ->grille de codage Réponses ouvertes réponses non diagnostiquées par le logiciel :~10-15 % Erreur de saisie Réponses imprévisibles Couteux En expertise didactique + Analyse de corpus Efficace pour les réponses avec une seule expression algébrique Ajout facile d’un type de réponse Complexe pour les raisonnements Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Évaluation du diagnostic local Dépend du type de question (ouverte/fermée) Comparaison Diagnostic machine/humain N = 360 élèves 3 experts trouvent le travail fastidieux (7 à 10 h pour un seul exercice) se trompent plus que le logiciel Critères Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag Réponses en une seule expression : OK Raisonnement algébrique : OK Raisonnement en LN : certains Réponses imprévisibles ~10 % 2/3 des réponses (incorrectes) non analysées par le logiciel, ne sont pas non plus analysées par les experts Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Étape 2 : Bilan cognitif Bilan = Stéréotype niveau de compétence sur les 3 composantes Usage de l’algèbre Calcul algébrique Traduction d’une représentation dans une autre Caractéristiques personnelles taux de réussite leviers fragilités liste des erreurs liste des réussites Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Algorithme de calcul des stéréotypes Établi (laborieusement) à partir d’une analyse didactique du classement mené par 3 experts sur un corpus de 360 réponses au test de calibrage des seuils suite à l’implémentation de l’algorithme Résultat liste de caractéristique personnelles associer les questions aux caractéristiques et les pondèrer donner les règles d’agrégation des codes pour chaque caractéristique Algorithme complet et corrections Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Étape 3 : Groupes de travail Gérer la diversité cognitive dans une classe Apprentissage différencié Dynamique de l’ensemble Diminuer le nombre de cas Groupes de stéréotypes 36 stéréotypes, 15 en pratique Grouper les stéréotypes voisins selon la composante sur laquelle l’enseignant veut travailler Ex. Groupe A (élèves en CA1) contrôlent leur calcul et commencent à choisir les outils adaptés au problème A+ : traduisent algébriquement des situations diverses A- : erreurs de traduction Ex. : groupes en 2nde Algorithme de constitution des groupes Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Évaluation des groupements En cours Observation en classe groupe IREM, 5 enseignants, 191 élèves Différentes périodes de l’année Différents niveaux Questionnaire 49 enseignants ont répondu 42 avaient fait passer le test aux élèves Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Stéréotypes observés (N=191) 0% 10% 20% 30% 40% 50% C- C+ B- B+ A- A+

Résultats de l’étude des usages Globalement cohérents évolution des stéréotypes en cours d’année et de 3° à 2 nde Questionnaires : 42 réponses Appréciation Pertinence des groupes/ résultats habituels des élèves Exploitation Utilisation des PAD sans modifier les groupes Tests incomplets : résultats non pertinents Évolution des élèves après les parcours Certains élèves scolaires n’ont pas réussi le test Certains élèves faibles ont réussi (réponse proposées et non à formuler) Certains ont moins bien réussi Difficultés informatiques ou à comprendre les énoncés Oui pour tous Oui pour certains Non ? 12 14 2 Oui sans modifier Oui en modifiant Non ? 14 8 20

Plan Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Q4 : Exploitation du diagnostic Tutorat individuel Réflexion métacognitive avec l’élève Travail dans la classe Projet avec Sésamath Parcours d’apprentissage différencié (Pad) Thèse en didactique des mathématiques de Julia Pilet Mise au point des parcours d’apprentissage différencié Expérimentations en classe Post-doc en informatique : Naima El-Kechai Modèle de connaissances Logiciel PépiPad : aide à la mise en place Démo Démarche Diagnostic Parcours Modèles Résultats Projet

PépiPad : Un scénario Qui ? Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep Contexte : MF va aborder le chapitre calcul littéral dans la classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables Prérequis MF demande à ses élèves de passer le test à la maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Scénario (suite) Paramétrage : MF choisit Le thème : Identités remarquables L’étape : Prendre un bon départ L’objectif principal : Donner du sens aux lettres et aux expressions PépiPad affiche pour chaque groupe les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités Adaptation MF qui ne dispose que de 30 min sélectionne un seul objectif secondaire/groupe PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe Une liste d’élèves Une liste de ressources Écran du prof, écran d’un élève Démo Démarche Diagnostic Parcours Modèles Résultats Projet

PépiPad Générateur de Parcours Pépite prof Parcours générés Bilans cognitifs des élèves Règles de calcul de parcours construit Pépite paramètre Utilise l'ontologie des exercices Banque d’exercices prof

Modèle de connaissance Parcours Un ensemble d’exercices pour un groupe Exemple de parcours (fichier xml) Exercice caractérisé (exemple d’exercice indexé, fichier xml) Capacités Niveau scolaire Variables didactiques Objets mathématiques Cadre et registres en jeu Degré de guidage Identifiant Origine (exercice MeP, ouvrage Sesamath, Lingot) Titre Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Référentiel Composantes de la compétence Ex. calcul algébrique Groupe de capacités Ex. calculer, tester, factoriser Capacité Ex. calculer l’image d’un nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable Exemple : capacités liées au calcul algébrique (fichier xml) Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Etat des lieux Fait : Conception de l’ontologie Explicitation des objectifs Liens objectifs/capacités/étapes Indexation des ressources hétérogènes Exercices interactifs de Math En Poche Exercices papier des manuels et des didacticiennes Création automatique des séances différenciées En cours Évaluer les bénéfices pour les élèves et les profs Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Plan Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Modèle du domaine Une ontologie des objets manipulés par les logiciels Objets mathématiques Objets didactiques Référentiel des capacités Dimensions et critères d’évaluation

Modèles des tâches diagnostic (1) Un exercice Interface Une analyse didactique initiale : texte et tableaux Ex Modèle conceptuel de l’exercice 3 : texte et tableaux plus précis Modèle informatique de l’exercice 3 : fichier xml Originel Un clone Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Modèles des tâches diagnostic (2) Modèle général d’une Classe d’exercice : schéma UML schéma Schémas XDS de grille d’analyse des réponses anticipées à une question Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Modèle des parcours d’apprentissage différenciés Une ontologie de référence Indexation des exercices Interface d’indexation des exercices Fichier indexant un exercice Calcul de la liste des exercices en fonction Algorithme de calcul Fichier résultat Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Plan Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

Résultats/Questions de recherche Comment décrire les connaissances d’un élève ? Modèle à plusieurs niveaux d’interprétation Quelles situations mettre en place pour recueillir des observables ? Modélisation des tâches diagnostiques, Banque de tests Comment inférer les descripteurs à partir des observables ? Typer et coder les réponses : diagnostic individuel local Analyse multidimensionnelle automatique des réponses Logiciel de calcul de formel Détecter les cohérences et Situer l’élève par rapport à une référence Algorithmes pour calculer les leviers et les fragilités, stéréotypes/groupes Comment exploiter le diagnostic en prenant des décisions à partir des descripteurs ? Prise de décisions didactiques (enseignants ou machine) Indexation de 120 exercices Proposition de parcours adaptés Comment évaluer les outils produits ? Preuve par construction Preuve par utilisation Analyse didactique des usages (thèse de Soraya) Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Limites Équations Autres niveau (5°,4°) Améliorer les interfaces (saisie des expressions, interface enseignant) Développer des exercices interactifs Des exercices plus ludiques Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Perspectives Moyen terme (prochain projet) Évolution des bilans des élèves Articuler Les parcours fondés sur les stéréotypes Avec des aides interactives fondées sur l’historique et les caractéristiques personnelles Des scénarios plus ludiques Extension à d’autres niveaux et thèmes Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Résultats (actuels) du projet Une méthode de diagnostic Fondée sur une analyse didactique 3 étapes : analyse des réponses, bilan personnel, positionnement par rapport à la référence Typage des réponses anticipées Une méthode de mise au point des parcours d’apprentissage Des modèles exécutables de tâches diagnostiques, d’exercices, de parcours de bilan cognitif sur trois niveaux de description Une recherche pluridisciplinaire et participative Un logiciel accessible sur une plateforme grand public Des corpus de réponses importants Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Résumé : temporel Cycle N°1 (1995) : outil papier-crayon modélisation des compétences Cycle N° 2 (2000) : logiciel Pépite systématisation, réification du modèle de compétence diagnostic semi-automatique Cycle N°3 (2005) : exploitation du diagnostic expérimentations vers un diagnostic automatique (langage naturel, raisonnement algébrique) vers une géographie de la classe (stéréotypes) Cycle N° 4 (2008) : PépiGen et Pépinière diagnostic plus générique (classes d’exercices) plus fiable (raisonnement algébrique) pour l’élève Cycle N° 5 (2012) dissémination parcours différenciés d’apprentissage Logiciel PépiPad Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Résumé : objectifs scientifiques Coté recherche : Comprendre les difficultés des élèves Récolter des corpus Produire des modélisations exécutables d’une expertise didactique pour l’enrichir et l’approfondir Coté application : Faciliter l’insertion dans/ l’évolution des pratiques enseignantes faciliter la genèse instrumentale Dissémination de résultats de recherche Démo Démarche Diagnostic Parcours Modèles Résultats Projet

Questions Diagnostic cognitif Définition ? Comparaison avec celles de M. Labat ? De M. Sander ? Diagnostic humain/diagnostic automatique ? Difficultés ? Évaluation de la qualité ?

Diagnostic local (pour le prof)

Diagnostic local (pour le chercheur)

Diagnostic local pour le logiciel

Diagnostic personnel global Bilan Personnel de Sam Eugène Sam est dans le groupe A- Profil du groupe A- : Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu l’algèbre pour résoudre des problèmes

Diagnostic collectif global

Ontologie simplifiée : graphique

PépiIndexation +Comment caractériser les exercices et le jeu sur les variables didactiques +Référentiel de capacités. Choix de conserver le vocabulaire des programmes pour travailler avec Sésamath. Capacités = types de tâches, difficulté de travailler avec plusieurs communautés de recherche +Niveau de complexité qui regroupe les variables didactiques et le découpage des énoncés

PépiPad : Caractérisation du PED 3 Objectif Capacité Objet entrée Cadre Complexité A : Prouver l’équivalence des expressions par le calcul algébrique puis mobiliser la forme la plus adaptée d’une expression pour résoudre un problème, calculer astucieusement 3.5 3.7 17.1 Exclure 12.3 (3°) (fonction OU expression littérale) et rien d’autres algé (3°) fonc.(2°) MP, CX B  : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre CS C : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre EL