1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 11-12-2009 Diagnostic cognitif et EIAH.

Présentation au sujet: "1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 11-12-2009 Diagnostic cognitif et EIAH."— Transcription de la présentation:

1 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 11-12-2009 Elisabeth.Delozanne@lip6.fr Diagnostic cognitif et EIAH

2 Qui suis-je ? Parcours Professeur de maths, secondaire (10 ans) Licence, maitrise info,DEA, à Paris 6 (85-88) Thèse en 1992 (Univ. du Maine) ATER puis Maître de Conférences Informatique Univ. du Maine,IUFM de Créteil, Paris 5, Paris 6 (sept.2007) Enseignante (LUTES et UFR Ingénierie) Chercheure (LIP6, DESIR) EIAH (Environnements informatiques pour lapprentissage humain) MOCAH, Aida Thèmes de recherche Diagnostic cognitif Intégration des technologies dans les pratiques enseignantes Conception participative et le prototypage Congé pour recherches : Univ. Sydney, Télé-Univ. du Québec CNU27 2

3 3 Le projet Lingot Objectifs Instrumenter la régulation par les enseignants des apprentissages en algèbre élémentaire 3 axes de recherche Diagnostic (projet Pépite) Détecter des cohérences dans lactivité dun élève (profil cognitif) -Obstacles/Leviers pour lapprentissage Situer un élève (un groupe délèves) par rapport à la compétence de référence Apprentissage Situations dapprentissage adaptées au profil Instrumentation de lactivité des enseignants

4 4 Projet pluridisciplinaire IA Didactique des Mathématiques Environnements Informatiques dApprentissage Humain Psychologie et Ergonomie Cognitive IHM GL IA Enseignants Formateurs Association ACA Informatique

5 5 Cadres conceptuels Didactique des mathématiques Dialectique outils/objets, jeu de cadres et registres, ingénierie didactique, approche anthropologique (Douady 90, Grugeon 95, Artigue 91, Chevallard, Kieran) Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03) Informatique Conception centrée utilisateur-participative (Norme ISO 13407, Caroll 00, Mackay 97, 04) Modélisation et prototypage [Beaudoin-Lafon & Mackay 2003] EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00, Caroll 00) Evaluation et diagnostic cognitif (Koedinger, VanLehn, Shute, Sander, Nicaud) Analyse de traces (Dimitracopoulos, Choquet=

6 Plan Diagnostic cognitif ? Un exemple Les projets Pépite et Lingot Contexte, objectifs et questions de recherche Une recherche itérative Résultats et perspectives 6

7 Diagnostic cognitif Analyse de la résolution de problème par un sujet Performance Connaissances, procédures et stratégies Correctes ou inadaptées Objectifs : Intervention : Améliorer la performance, certifier Réguler les apprentissages Scientifique : Compréhension des processus de résolution de problèmes, dapprentissage, denseignement, de conception Modèlisation pour simuler, prédire, classifier 7

8 Enjeux Recueillir des données sur lactivité de lélève Tâches diagnostiques : exercice + analyse didactique des connaissances et capacités en jeu + grille danalyse des réponses anticipées Test : ensemble de tâches diagnostic Construire des indicateurs qui caractérisent lactivité de lélève Diagnostic local : codage des réponses Diagnostic global : construction dun profil cognitif Exploitation des résultats Parcours dapprentissage Réflexion métacognitive de lélève sur son profil 8

9 Une tâche diagnostique 9

10 10 Un raisonnement d'élève Réponse (x+8)×3-4+x=3x+24-4+x=3x+20+x=4x+20/4=x+5+2-x=7 Diagnostic (à confirmer sur lensemble du test) Leviers : utilisation de lalgèbre pour prouver Fragilités utilisation du signe égal comme annonce de résultat traduction abréviative expression algébrique comme processus de calcul et non comme un objet mathématique utilisation incorrecte des parenthèses Exploitation : travailler sur les expressions équivalentes

11 11 Autre exemple Diagnostic (partiel) Preuve par lexemple numérique Démarche arithmétique Exploitation Situation nécessitant lusage de lalgèbre 3 + 8 = 11 11 × 3 = 33 33 - 4 = 29 29 + 3 = 32 32/4 = 8 8 + 2 = 10 10 - 3 = 7

12 Diagnostic local(1) Réponses délèvesCodes + interprétations 3 + 8 = 11 11 × 3 = 33 33 - 4 = 29 29 + 3 = 32 32/4 = 8 8 + 2 = 10 10 - 3 = 7 V3 incorrecte L5 pas de lettres J2 justification : par lexemple T2 traduction pas-à-pas séparée EN1 écritures numériques correctes x + 8 = 8x 8x 3 × 8x = 24+3x= 27x 27x-4 = 23x 23x+x=24x 24x/4=6x 6x+2=8x 8x-x=7 V3 incorrecte L3 lettres et règles fausses J31 pseudo-formelle T2 traduction pas-à-pas séparée EA42 règle incorrecte d assemblage Règles utilisées (incorrectes) : A+B = AB A X B = (A B) X A X - X = A – 1 12 Validité Usage des lettres Justification Traduction Écritures Numériques Écritures algébriques

13 Diagnostic local (2) Réponses délèvesCodes + interprétations 5+8 =13 × 3=39-4 =35+5=40 40/4=10 10+2=12 12-5= 7 V3 incorrecte L5 pas de lettres J2 justification par lexemple T4 traduction pas-à-pas enchainée EN1 écritures numériques correctes [ x+8] × 3 = 3x+24-4 = 3x+20 = 4x+20 = [4x+20]/4 = x+5 = x+5+2 = x+7 = x+7-x = 7 V3 incorrecte L3 lettres et règles fausses J31 pseudo-formelle T4 traduction pas-à-pas enchainée EA 1 calcul correct Règles utilisées : (A+B)C = AC+BC Règle correcte (A+B)/C = A/C+B/C Règle correcte AC+BC = (A+B)C Règle correcte 13

14 Diagnostic local (3) Réponses délèvesCodes + interprétations (3+8 × 3-4+3)/4+2-3 32/4+2-3 8+2-3 10-3 V3 incorrecte L5 pas de lettres J2 par lexemple T3 globale non parenthésée EN1 : écritures numériques correctes ((5+8)×3-4+5)/4+2-5=7 ? ((13)×3-4+5)/4+2-5=7 ? (39-4+5)/4+2-5=7 ? 10+2-5=7 ? 10-3=7 ? 7=7 ? V3 incorrecte L5 pas de lettres J2 par lexemple T1 globale parenthèsée, équation EN1 : écritures numériques correctes ((x + 8) × 3 - 4 + x) / 4 + 2 - x =( 3x + 24 - 4 + x)/4 + 2 - x =(4x +20) / 4 + 2 - x =x + 5 + 2 - x =7 V1 correcte, L1 nb généralisé J1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. Correcte Règles utilisées (A+B)C = AC+BC Règle correcte AC+BC = (A+B)C Règle correcte (A+B)/C = A/C+B/C Règle correcte AC+BC = (A+B)C Règle correcte 14

15 Questions de recherche Comment modéliser la tâche du sujet qui résout le problème ? Modèle de référence : didactique/informatique Quelles situations mettre en place pour recueillir des observables ? Banque de tests Comment recueillir ces observables et construire des indicateurs pour laction ? Analyse des productions des apprenants Granularité des observables et des indicateurs Comment exploiter le diagnostic en prenant des décisions à partir des observables ? Prise de décisions didactiques (enseignants ou machine) Réflexion métacognitive avec lélève 15

16 Questions de recherche Comment modéliser la tâche du sujet qui résout le problème ? Modèle de référence : didactique/informatique Quelles situations mettre en place pour recueillir des observables ? Banque de tests Comment recueillir ces observables et construire des indicateurs pour laction ? Analyse des productions des apprenants Granularité des observables et des indicateurs Comment exploiter le diagnostic en prenant des décisions à partir des observables ? Prise de décisions didactiques (enseignants ou machine) Réflexion métacognitive avec lélève 16

17 Différents modèles Approches symboliques Psychologie cognitive ACT : geometry tutor, Algebra tutor (Anderson et son équipe 1983 etc…) Diane : problèmes additifs école primaire (Sander, Labat, Hakem 2005) Plasturgie (Richard, Pastré, Labat) Didactiques des disciplines Balacheff (1995), Vergnaud, Stacey (2003) Lingot, Pépite (Delozanne, Grugeon et al. 1995 etc…) Approches numériques Réseaux bayésiens Labat, Hibou (2007) 17

18 18 Une démarche itérative Problèmes et questions de recherche Lanalyse De lactivité mathématique des élèves, De lactivité des futurs utilisateurs professeurs, chercheurs Des situations dusage En partie imprédictibles Modélisation et Prototypage Évaluations formatives Résultats Formulation dun problème plus général De nouvelles questions de recherche

19 19 Une conception itérative (Landay 02)

20 Une recherche itérative et ascendante Des itérations longues Un problème éducatif et un problème informatique Questions de recherche en EIAH Analyses Modèles Prototypes (pré-opérationnels) Évaluations en situation réelle Meilleure compréhension du problème Formulation dun problème plus général Et bouclage Des itérations rapides Modéles, prototypes et évaluations pour ajuster et modifier 20

21 Cycles de recherche 1.Une analyse didactique cognitive et épistémologique un outil de diagnostic papier 2.Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite 3.Une nouvelle modélisation de lélève 3 niveaux : Pépistéréo 4.Une modélisation générique du diagnostique Génération de lanalyse automatique des raisonnements 5. Un diagnostic adaptatif, des parcours dapprentissage et dissémination de la recherche 21

22 22 Le projet Pépite : cycle N° 1 (C1) Un travail didactique fondateur (Grugeon 1995) Un problème denseignement Les hypothèses et les questions de recherche H1 : Les réponses des apprenants à des problèmes bien choisis révèlent des cohérences dans leur raisonnement Q1 : Comment identifier ces cohérences ? H2 : Détecter ces cohérences permet aux enseignants de définir des stratégies différenciées denseignement Q2 : comment différencier les apprentissage en sappuyant sur ces cohérences ?

23 23 C1 : Un prototype papier-crayon Un modèle de la compétence algébrique (fin de collège) Un ensemble dexercices papier-crayon Production et transformation dexpressions, modélisation, généralisation et preuve, interprétation Une structure danalyse multidimensionnelle Grille danalyse par exercice des réponses des élèves Une modélisation de la compétence dun élève en 3 parties Profil dun élève : Description quantitative (réussite/échec) Description qualitative -Types de traitement algébrique privilégiés, maîtrise du calcul algébrique, traduction entre registres de représentations, type de rationalité Description de la flexibilité entre registres de représentation

24 24 C1 : Méthode de diagnostic Objectif Positionner lélève par rapport au modèle de compétence à ce niveau scolaire Ne pas repérer seulement des erreurs/niveaux mais repérer des cohérences À développer (leviers) À déstabiliser (connaissances inadaptées) Tâche de diagnostic pour lenseignant (tâche prévue) Faire passer le test Interpréter les réponses de lélève à chaque exercice (codage, analyse locale) Construire un profil cognitif de lélève (analyse globale) sur lensemble du test Exploiter le diagnostic

25 25 Cycle N°1 : Bilan Résultats intéressants du point de vue EIAH Des modèles didactiques « semi-formels » De la compétence algébrique Des cohérences de fonctionnement en algèbre Profils cognitifs : situer lélève par rapport au modèle de la compétence attendue Un outil de diagnostic papier-crayon validé du point de vue didactique Diversité cognitive des élèves et des entrées possibles dans le champ de lalgèbre Différentes stratégies denseignement Un corpus papier-crayon de 600 réponses délèves Pour fonder une analyse automatique des réponses délèves

26 26 Une recherche itérative : cycle N° 2 Les questions de recherche Q2.1 : Est-il possible de recueillir sur machine des réponses délèves suffisamment riches pour un diagnostic cognitif ? Scepticisme des didacticiens Q2.2 : Est-il possible dautomatiser (au moins partiellement) le diagnostic ? Scepticisme des didacticiens Q2.3 : Les profils cognitifs élaborés par le logiciel aideront-ils les enseignants à réguler les apprentissages en algèbre ? Un second prototype le logiciel Pépite [Jean 2000]

27 27 Pépite (Jean2000) P ÉPI T EST P ÉPI P ROFIL Analyse transversale Utilisateurs: Elèves Professeurs, Chercheurs Elèves ? Logiciel P ÉPI D IAG Interprétation des données

28 28 Vérifier le codage automatique

29 29 Profil cognitif de lélève (1)

30 30 Profil cognitif de lélève (2)

31 31 Profil cognitif de lélève (3)

32 32 Utilisations de Pépite ContexteSituationUtilisateurNombreDonnées collectées Test délèvesClasseélèves400Réponses délèves Questionnaires Observations Rapports RechercheRecherche de régularités dans les profils délèves, fouille de données chercheurs10Liste de problèmes dutilisation ou des bogues Définition de classes de profils Formation de formateurs denseignants Etude dun élève en algèbre, étude des compétences en algèbre formateurs40Questionnaires Formation denseignants Etude dun élève en algèbre, étude des compétences en algèbre Stagiaires et professeur en responsabilité 100Questionnaires Observations Session piloteClasses (Aide individualisée et évaluation) Enseignants6Observations Rapports Cassettes audio Utilisations spontanées ClassesEnseignants9Rapports oral ou courriel

33 33 Cycle N° 2 : évaluation Testé pendant 3 ans dans différents contextes [Delozanne et al 2002, Rogalski 2003] Pour les chercheurs Pas de réduction du spectre des réponses des apprenants Recueil dun corpus électronique de réponses délèves Expertise réifiée dans le prototype, testable et partageable Outil de formation Pour les enseignants PépiTest : Repérage de compétences ou de fragilités non remarquées auparavant Travail sur les profils des apprenants intéressant dans certains contextes (formation)

34 34 Cycle N° 2 : évaluation Des problèmes soulevés Des lourdeurs dutilisation (plantage, temps) Des difficultés à entrer dans lanalyse didactique Des différences avec les pratiques usuelles de diagnostic Les attentes des enseignants Imprimer Test plus court Des exercices et des tests adaptés à différents niveaux Un bilan du logiciel à destination des apprenants Une « géographie de la classe » (pas seulement des résultats cumulés) Des stratégies pour faire évoluer lapprenant à partir du diagnostic, mais aussi la classe Un diagnostic complètement automatique

35 35 Cycle 2 : Bilan Point de vue : utilisateurs : Attentes et obstacles Instrumenter le diagnostic / son exploitation -Lier diagnostic et situations dapprentissage -Lier diagnostic et gestion de la classe Point de vue recherche Valider la démarche dautomatisation Systématiser, discuter, affiner, compléter, expliciter la modélisation didactique Partager, discuter rendre visible une analyse didactique Corpus (400 élèves), scénarios dutilisation par les enseignants

36 36 Cycle N° 3 (2005) Question de recherche Q3 : Est-il possible darticuler diagnostic individuel et gestion de la classe dans son ensemble ? Une étude ergonomique et didactique Une géographie de la classe Un nouveau niveau de modélisation : Les stéréotypes Un prototype pour le diagnostic à ce niveau (Vincent 2005) PépiStéréo Des parcours adaptés aux stéréotypes

37 Niveaux de modélisation LogicielsModèle individuel de lélèveModèles des tâches et compétence algébrique PépiTestRéponses de lélèveType dexercice : technique, reconnaissance et mathématisation PépiDiagCodage des réponses de lélève à chaque exercice Matrice de diagnostic Pour chaque exercice, une grille danalyse multidimensionnelle : validiité, utilisation des lettres, calcul algébrique, traduction dune représentation à une autre, type de justification PépiProfProfil global : -taux de réussite (global, questions traitées, type dexercices, type de traitements privilégié) -description qualitative (cohérences de fonctionnement) -articulation entre représentations Analyse transversale des réponses à lensemble du test Types de traitements Seuils paramétrables de réussite Modalités de fonctionnement PépiStéréoStéréotype Sur chaque dimension, caractéristiques personnelles de lélève : taux de réussite, points forts, points faibles, règles fausses Agrégation des codages Echelle de compétence multidimensionnelle Marqueurs de conceptions inadaptées 37

38 38 Une nouvelle modélisation cognitive Ancien Pépite : Profil individuel complexe Description quantitative : traitements maîtrisés Description qualitative sur 6 composantes Diagramme de flexibilité entre registre Restructuration des profils : Un Profil = Un stéréotype : niveau de compétence sur 3 composantes des caractéristiques personnelles -leviers, -fragilités -liste des erreurs -liste des réussites

39 39 Cycle n°4 : diagnostic générique Thèse de D. Prévit (2008) Pépite : Ensemble figé dexercices figés Utilisable une seule fois à un seul niveau de classe Objectif : la conception dun nouveau système Problème : Comment passer dun diagnostic ad hoc à un diagnostic plus générique ? Caractérisation des exercices équivalents du point de vue diagnostique (clones) Génération des clones Analyse multicritère automatique des réponses ouvertes à chacun de ces clones

40 40 Classe dexercices diagnostiques Ensemble dexercices équivalents du point de vue du diagnostic Clones = Exercices similaires (paramètres, invariants) solutions plausibles anticipées : de même nature diagnostic : mêmes capacités et mêmes erreurs Utilisations Didacticien : conçoit un exercice+réponses anticipées Informaticien : conçoit un modèle de classe dexercices Système : génère des clones à partir des paramètres (générés aléatoirement ou saisis) analyse les réponses des élèves

41 41 Architecture générale Modules développés

42 42 PépiGen Auteur Système auteur PépiGen saisit les paramètres Pépinière expression algébrique arbre des solutions anticipées est chargé produit un clone Modèle de Classe exercices XM L Banques dexercices XM L

43 43

44 44 Fichier du clone (x + 6)* 3 - 3 * x - Expressions partielles avec écriture pas à pas enchaînée en succession dopérations V3,L3,T4,J3 (x+6)*3 x*3+18 V,7 3*x 3*x+18-3*x 18 V,31 (X+6)*3=3x+18-3x=18

45 45 Pépinière Un logiciel de calcul formel qui manipule des arbres pour : Analyse syntaxique des expressions algébriques Grammaire algébrique Transformations algébriques Règles de réécriture correctes ou incorrectes Génération des solutions plausibles anticipées Unification et heuristiques Comparaison des expressions algébriques Arbres superposables

46 Arbre des solutions anticipées (x+6)*3-3x -2x+18 18 3x+18-3x x*3+6*3-3xx+6*3-3x 3x+18-3x 18x 21x-3x R1 R3 R2 R4 R3 21x-3x 18x Erreur de parenthèse avec mémoire Règles correctes R1 : (A+B)C AC+BC R3 : AB+AC A(B+C) R2: (A+B)C A+BC R4: AB+C B(A+C) Règles erronées 18 R3 R4 V1,EA1V3,EA42V3,EA31 V3,EA3142 V3,EA32

47 47 Interpréteur : PépiTest Elève XM L Interpréteur PépiTest Résout les exercices Charge le test avec les réponses de lélève est chargé Enregistre le test avec les réponses de lélève Test constitué dexercices XM L Réponse de lélève

48 48 Diagnostiqueur : PépiDiag XM L Diagnostiqueur PépiDiag est chargé Module Pépinière Tester léquivalence de 2 arbres dexpression retourne vrai/faux Enregistre les réponses avec le diagnostic local au test XM L grille de codage XM L Réponse de lélève est chargé

49 Résultats Avancée significative pour le projet Lingot Fondement dune chaîne logicielle Pour diversifier les tests diagnostiques Création dun module de calcul formel réutilisable Développement de classes paramétrées dexercices diagnostiques Définition de modèles et dun métamodèle qui réifie une analyse didactique Diffusion sur la plateforme Sesamaths 49

50 50 Résumé (1) Coté recherche : comprendre les difficultés des élèves et produire des modélisations exécutables Coté application : produit innovant en rupture avec les pratiques usuelles faciliter la genèse instrumentale Dissémination de résultats de recherche

51 51 Résumé (2) Cycle N°1 (1995) : outil papier-crayon modélisation des compétences Cycle N° 2 (2000) : logiciel Pépite Systématisation, réification du modèle de compétence diagnostic semi-automatique Cycle N°3 (2005) : exploitation du diagnostic : vers un diagnostic automatique (langage naturel, raisonnement algébrique) vers une géographie de la classe (stéréotypes) Cycle N° 4 (2008) : Diagnostic plus générique (classes dexercices) Diagnostic sur plusieurs niveaux scolaires Diagnostic pour lélève

52 52 Travaux en cours et perspectives Didactique Mondialisation (C. Bardini) : Pépite en Australie, au Brésil, en Espagne Diversification (Chenevotot, Grugeon) : test en 5, 4, 3, 2nd Stratégies d'apprentissage associées aux stéréotypes (Grugeon, Coulange, Pillet) Informatique Générateurs de tests à partir de modèles (Prévit, master) Bilan de compétences pour l'élève Agent conversationnel (Mohamedad Farouk) Soutien scolaire en ligne (stage master) Régulation des apprentissages en classe (stage master) Analyse des raisonnements en français (stage master) Diagnostic adaptatif(Darwesh)

53 53 Proposition de stages /projet Projet Péite-sésamath (financé par la région Ile de France) 1-Développement de classes dexercices pour étendre la banque dexercices 2- Conception et mise en place de parcours dapprentissage adaptés au profil des élèves 3- Conception dun test de compétence en géomètrie

54 54 Équipe pluridisciplinaire Une formation de base dans chaque discipline La construction de prototypes pré-opérationnels permet Aux enseignants de préciser leurs attentes, de manipuler lexpertise didactique et dinventer de nouveaux usages Aux chercheurs du projet de tester, partager, approfondir leurs idées Aux chercheurs dautres projets Détudier le corpus de réponses délèves recueilli De tester par eux-mêmes les prototypes produits

55 55 La participation des enseignants Difficile à mettre en œuvre Nécessite du temps Une réflexion pour faire leur place Très importante pour appréhender les problèmes dintégration "Transformer une symétrie d'ignorance en symétrie de participation et en symétrie de connaissances"[Muller 03]

56 Parcours dapprentissage Adaptés aux profils cognitifs des apprenants Idée : pour que la différenciation des apprentissages soit gérable en classe Définir les types de tâches à partir des stéréotypes les exercices à partir des caractéristiques personnelles et des objectifs des enseignants Problèmes de recherche Fonctionnement des enseignants en classe Modéliser les types de tâches permettant dacquérir les capacités attendues Définir des parcours Coupler Thèse en didactique de Julia Pilet (2009-2012) Thèse en informatique (X? 2010-2013) 56

57 Différents cycles