1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2011 Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche.

Présentation au sujet: "1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2011 Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche."— Transcription de la présentation:

1 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2011 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche aux usages

2 EIAH ? UE coordonnée par Mme Amel Yessad Domaine de recherche sur les Environnements Informatiques dApprentissage Humain Références francophones incontournables Livre du même nom http://lutes.upmc.fr/delozanne/DocEiah/Livre%20EI AH2006/livreEIAH2006.htm Revue en ligne gratuite : Sticef www.sticef.org 2

3 Objectifs du cours aujourdhui Donner un exemple de coopération chercheurs en EIAH/professionnels de diagnostic cognitif de modèle dapprenant Faire manipuler des prototypes de diagnostic cognitif plusieurs types de modèle et de représentation didactique : tableau conceptuel : tableau, diagramme données : structure dun fichier xml Suivre sur lévolution des prototypes, les étapes dune recherche itérative et pluridisciplinaire en EIAH 3

4 Pépites ? Lingot ? Dans la boue des productions des élèves… x + 8 = 8x Il ne faut pas additionner les puissants … trouver les granules de connaissances pour forger … des connaissances conformes au référentiel des programmes 4

5 Plan Les projets Pépite et Lingot Contexte, objectifs Questions de recherche Une recherche collaborative et itérative Diagnostic cognitif Parcours dapprentissage différencié Résultats et perspectives 5

6 6 Le projet Lingot Objectifs Instrumenter la gestion de la diversité cognitive des élèves dans une classe en algèbre élémentaire 3 axes de recherche Diagnostic (projet Pépite) 1.Analyser les réponses à des exercices 2.Détecter des cohérences -Obstacles/Leviers pour lapprentissage 3.Situer un élève (un groupe délèves) par rapport à la compétence de référence Apprentissage Parcours dapprentissage adaptées au bilan Instrumentation de lactivité des enseignants Organiser un enseignement différencié

7 Démarche en EIAH Partir De lexpertise de chercheures en didactique du laboratoire André Revuz (ex-Didirem) De lexpertise dune communauté de pratique association Sésamath Des létat des recherches en EIAH Créer des modèles informatiques et des logiciels Tester les prototypes dans les classes En retour Enrichir lexpertise didactique Enrichir lexpertise et la plateforme de Sésamath Enrichir lexpertise en conception dEIAH Être utile aux élèves et aux professeurs ? 7

8 8 Projet pluridisciplinaire IA Didactique des Mathématiques Environnements Informatiques dApprentissage Humain Psychologie et Ergonomie Cognitive IHM GL IA Enseignants Formateurs Association ACA Informatique

9 Didactique des maths L équipe (une partie) Informatique Sésamath 9 Enseignants … Ergonomie

10 Sésamath Une association (2001) de bénévoles + 6 salariés Un site : http://www.sesamath.net/http://www.sesamath.net/ Des manuels Papier Bons et moitié moins chers 18% du marché français Financent les frais de fonctionnement En ligne : gratuits et source accessibles Une plateforme doutils libres et gratuits Pour les profs de maths 14 643 inscrits Pour les élèves 450 000 inscrits 1,3 million connections /mois 10

11 11 Conception participative La participation des enseignants aux projets de recherche Difficile à mettre en œuvre Nécessite du temps Temps de la recherche Temps de laction Une réflexion pour faire leur place Des prototypes pour expérimenter Collaboration avec lassociation Sésamath "Transformer une symétrie d'ignorance en symétrie de participation et en symétrie de connaissances " [Muller 03]

12 12 Cadres conceptuels Informatique Conception centrée utilisateur-participative (Schuller 93, Mackay 04) Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003) Ingénierie dirigée par les modèles (Favre et al. 06) Ingénierie ontologique (Mélis et al. 2008, Desmoulins 2010) EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00, Caroll 00) Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04) Analyse de traces (Dimitracopoulos09, Choquet07, Marty&Mille09) Didactique des mathématiques Dialectique outils/objets, jeu de cadres et registres, ingénierie didactique, approche anthropologique (Douady 90, Grugeon 95, Artigue 91, Chevallard, Kieran 92,07) Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03)

13 Questions de recherche 1.Comment modéliser les connaissances dun élève ? Modèle de référence : didactique/enseignants/informatique 2.Quelles situations mettre en place pour recueillir des observables ? Modélisation des tâches diagnostiques, Banque de tests 3.Comment inférer les descripteurs à partir des observables ? Typer et coder les réponses : diagnostic individuel local Détecter les cohérences : diagnostic individuel global Situer lélève par rapport à une référence : stéréotypes/groupes 4.Comment exploiter le diagnostic en prenant des décisions à partir des observables ? Prise de décisions didactiques (enseignants ou machine) Aide à la décision pour organiser des parcours Réflexion métacognitive avec lélève 5.Comment évaluer les outils produits ? 13

14 Cycles de recherche 1.Une analyse didactique cognitive et épistémologique un outil de diagnostic papier (Grugeon 95) 2.Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000) 3.Une nouvelle modélisation de lélève 3 niveaux : PépiStéréo (Vincent et al. 2005) 4.Une modélisation générique du diagnostic Génération des exercices et de lanalyse automatique des raisonnements : PépiGen et Pépinière (Prévit 2008) 5.Dissémination : association Sésamath-MathEnPoche Prototype/application disponible à large échelle : PépiMep (Darwesh et al. 2010 ) Parcours dapprentissage différencié ( Pilet 2011, El-Kechaï 2011 ) 14

15 Plan Les projets Pépite et Lingot Diagnostic cognitif ? Définitions Dans Pépite Modèle de lélève Exercices de diagnostic et génération de clones Diagnostic local/global Parcours dapprentissage différencié Résultats et perspectives 15

16 Diagnostic cognitif en EIAH ? Processus « Processus qui consiste à produire de façon automatique une description des connaissances ou des savoir-faire quun système a cru déceler chez un élève en analysant les traces de son activité » (Delozanne et al. 2010) Résultat du processus Diagnostic cognitif Modèle de lélève Profil cognitif Bilan des connaissances et des compétences 16

17 Diagnostic cognitif Analyse de la résolution de problème par un sujet Performance Connaissances, procédures et stratégies Correctes ou inadaptées Objectifs Intervention Améliorer la performance, certifier Réguler les apprentissages Scientifique Comprendre -des processus de résolution de problèmes, dapprentissage, denseignement, de conception Modéliser pour simuler, prédire, classifier 17

18 Différents modèles Approches symboliques Psychologie cognitive ACT : geometry tutor, Algebra tutor (équipe de Pittsburg 1983 … 2011) Diane : problèmes additifs école primaire (Hakem,Sander, Labat, 2005) Plasturgie (Richard, Pastré, Labat et al. 2006) Didactiques des disciplines Balacheff (1995), Stacey (2003), Luengo (2010) Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011) Approches numériques IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009) Réseaux bayésiens (Labat, Hibou 2007) 18

19 Q1 : Modéliser les connaissances dun élève Enseignants Connaissance de référence : capacités (Programmes scolaires) ex. : traduire une expression algébrique comme aire dune figure, factoriser une expression littérale en appliquant une identité remarquable Connaissances dun élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques Connaissance de référence Organisation mathématique Composantes de la compétence algébrique Des problèmes variés pour couvrir lensemble des composantes -trous, capacités implicites Connaissances dun élève Cohérences dans lactivité mathématique des élèves -Pas seulement des erreurs Rupture entre pensée algébrique et arithmétique Leviers et obstacles pour lapprentissage 19

20 Modèle de lélève dans Pépite Bilan cognitif : 3 niveaux de description 20 Diagnostic global collectif Stéréotype et groupeNiveau sur chaque composante Diagnostic global individuel (sur un ensemble dex) Caractéristiques personnelles, leviers et fragilités Par composante :Taux de réussite, indicateurs Diagnostic local (sur un exercice) Type de réponse et règles appliquéesCodage sur 8 dimensions

21 Q2 : Recueillir des observables ? Un élève passe un test Un ensemble dexercices conçus pour détecter des cohérences dans lactivité mathématique des élèves Erreurs/réussites Des indices de misconceptions/leviers dapprentissage Un exercice diagnostique Énoncé et questions Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement) Une grille danlyse des réponses Types de réponses anticipées Évaluation multidimensionnelle de ces réponsesÉvaluation 21

22 Un exemple Vous allez passer un test en ligne Niveau fin de 3° Connectez-vous sur LaboMep comme élève Les identifiants et mots de passe circulent Sélectionnez la séance Test-12-10-2011 Répondez aux questions Consignes Toujours cliquer sur OK avant de changer dexo Ne pas revenir en arrière 22

23 Un exercice diagnostique 23

24 Diagnostic local(1) RéponseTypeCodes + interprétations x + 8 = 8x 8x 3 × 8x = 24+3x= 27x 27x-4 = 23x 23x+x=24x 24x/4=6x 6x+2=8x 8x-x=7 Type 7.3 Démarche de preuve algébrique : lénoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée V3 incorrecte L3 lettres avec règles fausses E2 = annonce de résultat J31 pseudo-formelle T2 traduction pas-à-pas séparée EA42 règle incorrecte d assemblage Règles utilisées (incorrectes) : A+B = AB A X B = (A B) X A X - X = A – 1 24 Dimensions dévaluation Validité Usage des Lettres Signe d É galité Justification Traduction Écritures Numériques Écritures Algébriques

25 Diagnostic local(2) RéponsesTypeCodes + interprétations 3 + 8 = 11 11 × 3 = 33 33 - 4 = 29 29 + 3 = 32 32/4 = 8 8 + 2 = 10 10 - 3 = 7 Type 12.3 Preuve par un exemple : lénoncé est traduit par des calculs pas à pas corrects V3 incorrecte L5 pas de lettres E2 = annonce de résultat J2 justification par un exemple T2 traduction pas-à-pas séparée EN1 écritures numériques correctes 25 Dimensions dévaluation Validité Usage des Lettres Signe d É galité Justification Traduction Écritures Numériques Écritures Algébriques

26 Diagnostic local (3) Réponses délèvesCodes + interprétations (3+8 × 3-4+3)/4+2-3 32/4+2-3 8+2-3 10-3 V3 incorrecte L5 pas de lettres J2 par lexemple T3 globale non parenthésée EN1 : écritures numériques correctes ((5+8)×3-4+5)/4+2-5=7 ? ((13)×3-4+5)/4+2-5=7 ? (39-4+5)/4+2-5=7 ? 10+2-5=7 ? 10-3=7 ? 7=7 ? V3 incorrecte L5 pas de lettres J2 par lexemple T1 globale parenthèsée, équation EN1 : écritures numériques correctes ((x + 8) × 3 - 4 + x) / 4 + 2 - x =( 3x + 24 - 4 + x)/4 + 2 - x =(4x +20) / 4 + 2 - x =x + 5 + 2 - x =7 V1 correcte, L1 nb généralisé J1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. Correcte Règles utilisées (A+B)C = AC+BC Règle correcte AC+BC = (A+B)C Règle correcte (A+B)/C = A/C+B/C Règle correcte AC+BC = (A+B)C Règle correcte 26

27 Q2(suite) : Recueillir des observables Définir une banque dexercices et de tests diagnostiques Thèse de D. Prévit (2008) Travail didactique et premier prototype Pépite1 Ensemble figé dexercices figés Utilisable une seule fois à un seul niveau de classe Logiciel PépiGen Caractérisation des exercices équivalents du point de vue diagnostique (clones) Génération des clones Analyse multicritère automatique des réponses ouvertes à chacun de ces clones 27

28 28 PépiGen Auteur Système auteur PépiGen saisit les paramètres Pépinière expression algébrique arbre des solutions anticipées est chargé produit un clone Modèle de Classe exercices XM L Banques dexercices XM L

29 29

30 30 Grille de codage : (x + 6)* 3 - 3 * x Tentative de démarche algébrique mais lénoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects 10.7 V3,L3,T4,J3 (x+6)*3 x*3+18 V,7 3*x 3*x+18-3*x 18 V,31 (x+6)*3=3x+18-3x=18

31 31 Pépinière Un logiciel de calcul formel qui manipule des arbres pour : Analyse syntaxique des expressions algébriques Grammaire algébrique Transformations algébriques Règles de réécriture correctes ou incorrectes Génération des solutions plausibles anticipées Unification et heuristiques Comparaison des expressions algébriques Arbres superposables

32 Arbre des solutions anticipées (x+6)*3-3x -2x+18 18 3x+18-3x x*3+6*3-3xx+6*3-3x 3x+18-3x 18x 21x-3x R1 R3 R2 R4 R3 21x-3x 18x Erreur de parenthèse avec mémoire Règles correctes R1 : (A+B)C AC+BC R3 : AB+AC A(B+C) R2: (A+B)C A+BC R4: AB+C B(A+C) Règles erronées 18 R3 R4 V1,EA1V3,EA42V3,EA31 V3,EA3142 V3,EA32

33 Q3 : Construction du Bilan ? Lélève passe un test PépiTest Ses réponses sont mémorisées PépiDiag construit le diagnostic en 3 étapes 1.Analyse multidimensionnelle de chaque réponse : type de réponse et vecteur de codes (diagnostic local) 2.Agrégation des codes Bilan cognitif : caractéristiques personnelles + stéréotype 3.Formation dun groupe pour parcours dapprentissage 33

34 Étape 1 : Analyse des réponses Diagnostic local : PépiDiag Compare la réponse de lélève à une des réponses anticipées de la grille de codage Utilise dun logiciel de calcul formel : Pépinière Traite les problèmes de commutativité Détecte les règles (correctes/incorrectes) Teste léquivalence des expressions 34

35 35 Interpréteur : PépiTest Elève XM L Interpréteur PépiTest Résout les exercices Charge le test avec les réponses de lélève est chargé Enregistre le test avec les réponses de lélève Test constitué dexercices XM L Réponse de lélève

36 36 Diagnostiqueur : PépiDiag XM L Diagnostiqueur PépiDiag est chargé Module Pépinière Tester léquivalence de 2 arbres dexpression retourne vrai/faux Enregistre les réponses avec le diagnostic local (type et codes) XM L grille de codage XM L Réponse de lélève est chargé

37 Conception du diagnostic local Fondée sur les réponses anticipées et le fichier grille de codage Réponses ouvertes ~10-15 % de réponses non diagnostiquées par le logiciel Erreur de saisie Réponses imprévisibles Couteux En expertise didactique + Analyse de corpus Efficace pour les réponses avec une seule expression algébrique Ajout facile dun type de réponse Complexe pour les raisonnements 37

38 Évaluation du diagnostic local Dépend du type de question (ouverte/fermée) N = 360 élèves 3 experts trouvent le travail fastidieux (7 à 10 h pour un seul exercice) se trompent plus que le logiciel Résultats Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag Réponses imprévisibles 2/3 des réponses incorrectes non analysées par le logiciel, ne sont pas non plus analysées par les experts 38

39 Étape 2 : Bilan cognitif Un bilan = Un stéréotype niveau de compétence sur les 3 composantes -Usage de lalgèbre, calcul algébrique et traduction dune représentation dans une autre Des caractéristiques personnelles taux de réussite leviers fragilités liste des erreurs liste des réussites Ex. : bilan dElieElie 39

40 Étape 3 : Groupes de travail Gérer la diversité cognitive dans une classe Apprentissage différencié Dynamique de lensemble Groupes de stéréotypes 36 stéréotypes, 15 en pratique Regroupement des stéréotypes voisins selon la composante sur laquelle lenseignant veut travailler Ex. Groupe A (élèves en CA1) contrôlent leur calcul et commencent à choisir les outils adaptés au problème -A+ : savent traduire algébriquement des situations diverses -A- : erreurs de traduction Ex. : groupes en 2ndegroupes 40

41 Évaluation des groupements En cours 1 expérimentation passée Points de vue Usage Le prof a fait 3 groupes A, B, C Travail par 2 : (A+, A-), (B+, B-), (C+, C-) Pour favoriser les explications entre pairs Travail en classe, puis devoir à la maison Nécessité de définir Des étapes (ex. introduction, révision) Un objectif commun à la classe Point de vue Élève Évolution locale importante 4 expérimentations en cours 41

42 Q4 : Exploitation du diagnostic Tutorat individuel Réflexion métacognitive avec lélève Travail dans la classe Projet avec Sésamath Parcours dapprentissage différencié (Pad) Thèse en didactique des mathématiques de Julia Pilet -Mise au point des parcours dapprentissage différencié -Expérimentations en classe Post-doc en informatique : Naima El-Kechai -Modèle de connaissances -Logiciel PépiPad : aide à la mise en place 42

43 PépiPad : Un scénario Qui ? Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep Contexte : MF va aborder le chapitre calcul littéral dans la classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant dintroduire les identités remarquables Prérequis MF demande à ses élèves de passer le test à la maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad 43

44 Scénario (suite) Paramétrage : MF choisit Le thème : Identités remarquables Létape : Prendre un bon départ Lobjectif principal : Donner du sens aux lettres et aux expressions PépiPad affiche pour chaque groupe les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités Adaptation MF qui ne dispose que de 30 min sélectionne un seul objectif secondaire/groupe PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe -Une liste délèves -Une liste de ressources écran 44

45 Modèle de connaissance Parcours Un ensemble dexercices pour un groupe Exercice caractérisé Capacités Niveau scolaire Variables didactiques Objets mathématiques Cadre et registres en jeu Degré de guidage Identifiant Origine Titre 45

46 Capacité Composante de la compétence Ex. calcul algébrique Groupe de capacités Ex. calculer, tester, factoriser Capacité Ex. calculer limage dun nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable Exemple : capacités liées au calcul algébriquecapacités 46

47 47 Ontologie simplifiée

48 Etat des lieux Fait : Pour chaque groupe Conception de lontologie Expliciter les objectifs principaux et secondaires Les lier avec les capacités Maquette de linterface En cours : Indexer les ressources hétérogènes Exercices interactifs de labomep Exercices papier des manuels et des didacticiennes Exercices de diagnostic Associer les objectifs aux étapes Mise en place des structures de données 48

49 49 PépiPad Bilans cognitifs des élèves Générateur de Parcours Banque dexercices Parcours générés Règles de calcul de parcours Pépite construit Utilise l'ontologie des exercices paramètre prof

50 Résultats (actuels) du projet Une méthode de diagnostic Des modèles exécutables de tâches diagnostiques de bilan cognitif sur trois niveaux de description Une recherche pluridisciplinaire et participative Un logiciel accessible sur une plateforme grand public Des corpus de réponses importants 50

51 Méthode de diagnostic Trois temps 1.Diagnostic local Analyse de la réponse à une question Types de réponses anticipées + vecteur de codes 2.Diagnostic global individuel Cohérences entre les réponses Par composante : taux de réussite + leviers, fragilités, règles fausses et correctes 3.Diagnostic global collectif Position de lélève par rapport à une référence/au groupe Niveau sur chaque composante Caractéristiques communes à un groupe 51

52 Modèles des tâches diagnostic (1) Un exercice Interface Une analyse didactique initiale Ex Modèle conceptuel de lexercice 3 Ex Modèle informatique de lexercice 3 Originel Un clone 52

53 Modèles des tâches diagnostic (2) Modèle général dune Classe dexercice schéma Schémas XDS de grille danalyse des réponses anticipées à une question schéma 53

54 Dissémination (2010-12) Projet PICRI financé par la région Ile-de-France Lien recherche/association société civile Objectif mise à disposition des enseignants sur la plateforme Sésamath Diagnostic fiable Parcours dapprentissage adaptés au bilan cognitif des élèves Questions de recherche Comment passer dun prototype de recherche à un logiciel fiable et robuste ? Conception participative Comment concevoir la différenciation ? Gestion de la classe/personnalisation 54

55 Perspectives Court terme (fin de lannée) PepiPad opérationnel Moyen terme (fin du financement 2012) articuler Les parcours fondés sur les stéréotypes Avec des aides interactives fondées sur lhistorique et les caractéristiques personnelles Long terme (prochain projet) Des scénarios plus ludiques 55

56 56 Résumé (1) Coté recherche : comprendre les difficultés des élèves Récolter des corpus produire des modélisations exécutables dune expertise didactique Coté application : produit innovant en rupture avec les pratiques usuelles faciliter la genèse instrumentale dissémination de résultats de recherche

57 57 Résumé (2) Cycle N°1 (1995) : outil papier-crayon modélisation des compétences Cycle N° 2 (2000) : logiciel Pépite systématisation, réification du modèle de compétence diagnostic semi-automatique Cycle N°3 (2005) : exploitation du diagnostic expérimentations vers un diagnostic automatique (langage naturel, raisonnement algébrique) vers une géographie de la classe (stéréotypes) Cycle N° 4 (2008) : PépiGen et Pépinière diagnostic plus générique (classes dexercices) plus fiable (raisonnement algébrique) pour lélève Cycle N° 5 (2012) dissémination parcours différenciés dapprentissage Logiciel PépiPad