Diagnostic de compétences et apprentissage en algèbre

Présentation au sujet: "Diagnostic de compétences et apprentissage en algèbre"— Transcription de la présentation:

1 Diagnostic de compétences et apprentissage en algèbre
Le projet Lingot Diagnostic de compétences et apprentissage en algèbre Master EIAH, Novembre 2008

2 Le projet Lingot Objectifs
Concevoir, réaliser et évaluer des EIAH pour instrumenter la régulation par les enseignants des apprentissages en algèbre élémentaire 3 axes de recherche Diagnostic (projet Pépite) logiciels Pépite (Jean), PépiStéréo (C. Vincent) et PépiGen (D. Prévit), PépiAdapt (Darwesh) Apprentissage logiciels Amico, Aile, Cime, Explorexp, projet Micame, Instrumentation de l’activité des enseignants Cadre Progr. Cognitique : École et sc. cognitives, MRT, 02-04 AIDA, thèse, coopération ponctuelle Avec le projet Lingot, nous proposons un travail de recherche dont l’objectif est de créer des assistants informatiques pour l’enseignement et l’apprentissage qui ne soient pas fondés exclusivement sur des fonctionnalités proposées mais fondés d’une part sur des recherches menées dans divers domaines pour concevoir des situations d’apprentissage qu’ils rendent possibles et d’autre part sur des modélisations informatiques qui permettent la réalisation de prototypes que l’on peut tester d’abord en laboratoire puis dans des conditions “ écologiquement valides ”. Réciproquement ces environnements informatiques permettent de valider, tester, discuter, compléter, systématiser ou infléchir les études de départ. Pour développer notre recherche, nous avons choisi un domaine d’apprentissage, celui de l’algèbre à la fin de la scolarité obligatoire, l’algèbre constituant un outil privilégié des mathématiques mais aussi un verrou d’accès à l’enseignement scientifique. Nous cherchons à articuler des recherches en informatique, en didactique et ergonomie cognitive : modéliser des cohérences de fonctionnement des élèves dans un domaine vaste adopter une « approche intégrée de la conception » i.e. prenant en compte non seulement les aspects informatiques et les aspects développements cognitifs des élèves (AI&ED classiques) mais aussi les aspects gestion de classes, cohérences sur l’ensemble d’un cycle d’études et formation des enseignants. Ces approches sont adoptées également par des chercheurs en EIAH par exemple : comme Ken Koedinger et Kaye Stacey Par exemple, Koedinger développe des tuteurs intelligents mais dans le cadre d’un curriculum et en concevant aussi les livres et textes imprimés, formation des prof. K. R. Koedinger, J. R. Anderson, Intelligent Tutoring Goes to School in the Big City, IJAIED (8), 30-43, 1997. Notre projet Lingot a été retenu dans l’appel d’offres Ecole et sciences cognitives, sur le thème Les apprentissages et leurs dysfonctionnements, du programme Cognitique du MRT, 2002

3 Projet pluridisciplinaire
Enseignants Formateurs IA Didactique des Mathématiques Environnements Informatiques d’Apprentissage Humain Psychologie et Ergonomie Cognitive IHM GL Informatique Cette approche nécessite donc la collaboration entre plusieurs domaines de recherche : la didactique des mathématiques, la psychologie et l’ergonomie cognitive, l’informatique en particulier l ’Interaction Humain Machine et l’Intelligence Artificielle ceci en articulation avec les Environnements informatiques d’apprentissage humain. La collaboration entre didactique des mathématiques, psychologie et ergonomie cognitive et informatique au sein des EIAH existe de longue date. Les trois domaines ont une tradition de collaboration scientifique qui s’est nouée dans diverses instances (PRC IA, GDR Didactique, revue STE) et est restée active au niveau national comme international. Le groupe EIAH et Mathématiques du LIUM et l'équipe DIDIREM de Paris 7 ont depuis une quinzaine d'années mis en œuvre une synergie et acquis une expérience reconnue de travail interdisciplinaire. Plusieurs projets ont été réalisés qui ont conduit à 3 Thèses, 6 DEA et des publications. Ces expériences passées poussent ces équipes à élargir leur collaboration en direction des IUFM pour travailler dans le champ de la formation des enseignants et avoir un large champ d'expérimentation en contexte des modèles mis au point. Le projet Lingot mobilise six partenaires : - LIUM, Université du Maine (E. Delozanne, P. Jacoboni): recherche en EIAH sur la modélisation des connaissances des élèves et interaction humain / machine - Equipe de didactique DIDIREM de l’université Paris 7 (M. Artigue) : - Laboratoire Cognition et Activités Finalisées, laboratoire CNRS-Univ Paris 8 ( J. Rogalski) - IUFM d’Amiens (B. Grugeon), Equipe STICE de l ’IUFM de Créteil (E. Delozanne, L. Coulange), Equipe SASO, Université J.V. d’Amiens ACA

4 Cadres conceptuels Didactique des mathématiques
Dialectique outils/objets, jeu de cadres et registres, ingénierie didactique , approche anthropologique (Douady 90, Grugeon 95, Artigue 91, Chevallard) Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03) Informatique Conception centrée utilisateur-participative (Norme ISO 13407, Caroll 00, Mackay 97, 04) Modélisation et prototypage [Beaudoin-Lafon & Mackay 2003] EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00, Caroll 00) Ingénierie des EIAH (Tchounikine 2006)

5 Une démarche itérative
Problèmes et questions de recherche L’analyse De l’activité mathématique des élèves, De l’activité des futurs utilisateurs professeurs, chercheurs Des situations d’usage En partie imprédictibles Modélisation et Prototypage Évaluations formatives Résultats Formulation d’un problème plus général De nouvelles questions de recherche

6 Une conception itérative (Landay 02)

7 Une recherche itérative et ascendante
Des itérations longues Un problème éducatif et un problème informatique Questions de recherche en EIAH Analyses Modèles Prototypes (pré-opérationnels) Évaluations Meilleure compréhension du problème Formulation d’un problème plus général Et bouclage Des itérations rapides Modéles, prototypes et évaluations pour ajuster et modifier

8 Le projet Pépite : cycle N° 1 (C1)
Un travail didactique fondateur (Grugeon 1995) Un problème d’enseignement Les hypothèses et les questions de recherche H1 : Les réponses des apprenants à des problèmes bien choisis révèlent des cohérences dans leur raisonnement Q1 : Comment identifier ces cohérences ? H2 : Détecter ces cohérences permet aux enseignants de définir des stratégies différenciées d’enseignement Q2 : comment différencier les apprentissage en s’appuyant sur ces cohérences ?

9 Un raisonnement d'élève
Réponse (x+8)×3-4+x=3x+24-4+x=3x+20+x=4x+20/4=x+5+2-x=7 Diagnostic (à confirmer sur l’ensemble du test) Leviers : utilisation de l’algèbre pour prouver Fragilités utilisation du signe égal comme annonce de résultat traduction abréviative expression algébrique comme processus de calcul et non comme un objet mathématique utilisation incorrecte des parenthèses Exploitation : travailler sur les expressions équivalentes

10 Autre exemple Diagnostic (partiel) Exploitation 3 + 8 = 11
Preuve par l’exemple numérique Démarche arithmétique Exploitation Situation nécessitant l’usage de l’algèbre 3 + 8 = 11 11 × 3 = 33 = 29 = 32 32/4 = 8 8 + 2 = 10 = 7

11 C1 : Un prototype papier-crayon
Un modèle de la compétence algébrique (fin de collège) Un ensemble d’exercices papier-crayon Tâches de production et transformation d’expressions, de modélisation, de généralisation et de preuve, d’interprétation Pour tester l’ensemble des compétences attendues à ce niveau scolaire Une structure d’analyse multidimensionnelle Grille d’analyse des réponses des élèves s’appuyant sur le modèle de compétence algébrique Une modélisation de la compétence d’un élève en 3 parties Profil d’un élève : Description quantitative (réussite/échec) Description qualitative Types de traitement algébrique privilégiés, maîtrise du calcul algébrique, flexibilité entre deux registres de représentations, type de rationalité Description de la flexibilité entre registres de représentation

12 C1 : Méthode de diagnostic
Objectif Positionner l’élève par rapport au modèle de compétence à ce niveau scolaire Ne pas repérer seulement des erreurs/niveaux mais repérer des cohérences À développer (leviers) À déstabiliser (conceptions inadaptées) Tâche de diagnostic pour l’enseignant (tâche prévue) Faire passer le test Interpréter les réponses de l’élève à chaque exercice (codage, analyse locale) Construire un profil cognitif de l’élève (analyse globale) sur l’ensemble du test Exploiter le diagnostic

13 Cycle N° 1 : évaluation Outil papier-crayon testé sur 600 élèves de 3°
productions corrigées « à la main » à l’aide d’une grille de codage avec des enseignants de profils différents Résultats (parmi d’autres, [Lenfant 97]) Permet de comprendre les difficultés des élèves Pour les chercheurs Pour « certains » enseignants Impossible à gérer « à la main » par les enseignants Nécessité d’automatiser au moins partiellement le diagnostic

14 Cycle N°1 : Bilan Résultats intéressants du point de vue EIAH
Des modèles didactiques « semi-formels » De la compétence algébrique Des cohérences de fonctionnement en algèbre Profils cognitifs : situer l’élève par rapport au modèle de la compétence attendue Un outil de diagnostic papier-crayon validé du point de vue didactique Diversité cognitive des élèves et des entrées possibles dans le champ de l’algèbre Différentes stratégies d’enseignement Un corpus papier-crayon de 600 réponses d’élèves Pour fonder une analyse automatique des réponses d’élèves Ce projet s’appuie sur des résultats de la thèse de B. Grugeon. La problématique globale de la thèse visait à étudier les problèmes de transition institutionnelle dans le système éducatif. Cette étude avait été menée à travers celle des rapports institutionnels et personnels à l’algèbre élémentaire qui se développent dans la transition entre les filières d’enseignement professionnel et les filières correspondantes de l’enseignement général de lycée. Cette recherche concernant des phénomènes complexes avait montré la nécessité d’articuler plusieurs cadres théoriques, en particulier, la théorie anthropologique (Chevallard) pour prendre en compte le côté institution, mais aussi la Dialectique outil-objet (Douady), du côté savoir, les champs conceptuels (Vergnaud) et la didactique de l’algèbre pour prendre en compte le côté élève (Sfard, Kieran). Ce travail de thèse a donné des résultats perçus, du point de vue de l’EIAH, comme intéressants pour un travail de modélisation informatique. Pour les informaticiens, les modèles issus de sciences humaines apparaissent souvent trop « discursifs » pour être implémentés. Or mes travaux présentaient des descriptions dont le niveau de structuration les rendaient exploitables aux yeux des informaticiens du LIUM. En particulier, avec la définition d’un modèle multidimensionnel de la compétence algébrique dans l’enseignement secondaire qui a permis la construction d’un outil de diagnostic papier-crayon, l’identification de cohérences de fonctionnement en algèbre qui a permis une description de profils cognitifs, La diversité des entrées possibles dans le champ de l’algèbre Cette recherche dans la jonction enseignement professionnel / général, en écho à la perspective anthropologique développée, a permis de prendre conscience de la multiplicité des points d ’entrée dans l ’algèbre et de penser en particulier à côté de situations classiques, des situations d ’apprentissage qui permettent une évolution du rapport à la technique

15 Une recherche itérative : cycle N° 2
Les questions de recherche Q2.1 : Est-il possible de recueillir sur machine des réponses d’élèves suffisamment riches pour un diagnostic cognitif ? Scepticisme des didacticiens Q2.2 : Est-il possible d’automatiser (au moins partiellement) le diagnostic ? Q2.3 : Les profils cognitifs élaborés par le logiciel aideront-ils les enseignants à réguler les apprentissages en algèbre ? Un second prototype le logiciel Pépite [Jean 2000]

16 Méthode de conception Côté élève
Analyse de tâches : analyse didactique a priori de Grugeon Versions provisoires du test informatisé testées : En atelier : informaticiens (eiah, ihm) didacticiens, enseignants Par des élèves « cobayes » en laboratoire Dans des classes : recueil de corpus électronique Q2.1 : réponse globalement positive Côté enseignants Pas d’analyse de tâches : outil novateur Conception pluridisciplinaire (info + didactique), « participative » (4 enseignants) Focalisation sur Q2.1 & Q2.2 : construction d’un artefact

17 Le logiciel Pépite PÉPITEST PÉPIDIAG PÉPIPROFIL Utilisateurs: Logiciel
Elèves Logiciel Professeurs, Chercheurs Elèves ? PÉPITEST PÉPIDIAG Interprétation des données PÉPIPROFIL Analyse transversale

18 Exemple 1

19 Analyse de la tâche élève
Analyse didactique a priori Objectifs : Rechercher si un élève sait traduire algébriquement un énoncé en langage naturel Identifier les règles de conversion utilisées pour passer du registre du langage naturel au registre des écritures algébriques. Compétences mises en jeu : Produire des expressions algébriques pour traduire une situation Tâche (prescrite) : Mettre en équation une situation

20 Codage des réponses Solution correcte
La relation fonctionnelle entre les deux variables E et P est traduite par l’égalité 6P = E ou P = E/6 Code V1, T1 Solution incorrecte 6E = P ; relation incorrecte liée à une traduction de l’énoncé sans reformulation ; E et P sont des étiquettes. On peut aussi trouver : 6E + P ; 6E > P Code : V3, T4 (traduction abréviative) Absence de réponse Code V0

21 La tâche effective (côté élève)
Observables : les réponses Une vidéo, des brouillons Pour le logiciel Pépite Analyse de la tâche effective de l’élève fondée sur la grille d’analyse Codage des réponses des élèves

22 Analyse des tâches (enseignants)
Faire passer le test aux élèves en salle machine Recueillir les réponses Analyser les réponses : 2 démarches scénario de conception 1 Analyser le profil de l’élève En cas d’interrogation regarder les réponses de l’élève et leur codage par PepiDiag Éventuellement corriger ou compléter le codage de PepiDiag scénario de conception 2 Compléter et vérifier le diagnostic de PepiDiag Étudier le profil de l’élève

23 L’analyse des tâches (enseignant)
Cf. l’outil papier crayon mais Le logiciel prend en charge les tâches fastidieuses Une partie du codage des réponses (analyse locale) La construction du profil (analyse globale) tâche prescrite de codage des réponses par le prof Répartition : PépiDiag : toutes les réponses à des questions fermées, les réponses à des questions formulées avec une expression algébrique sur une ligne peu fiable : certaines réponses en langage naturel Humain : raisonnement algébrique, justifications en français

24 Vérifier le codage automatique
Traitement : incorrect Calcul algébrique : utilisation de règles de transformation fausses identifiées. Type de justification : en langage naturel par argumentation et s’appuyant sur des formulations d’ordre légal. LN : car chaine de caractères ne contenant pas plus de deux opérateurs Légal : utilisation de mots-clés : fau, loi, règle, nécessaire, doi, devon, droit, on peu, pouvons Justification par défaut : par l’algèbre (si on ne sait pas quoi dire)

25 Profil cognitif de l’élève (1)
Analyse didactique : le profil taux de réussite : pas de problème Des pb de terminologie : ex de reconnaissance, interpréter des expressions Les didacticiens apprécient de passer de l’analyse aux réponses

26 Profil cognitif de l’élève (2)
A la première exposition c’est la panique Terminologie Les visualisations Pas du tout conforme à la façon dont les enseignants expérimentés regardent leurs élèves Intéresse les débutants

27 Profil cognitif de l’élève (3)
Partie très importante pour les didacticiens, rarement utilisée par les enseignants

28 Utilisations de Pépite
Contexte Situation Utilisateur Nombre Données collectées Test d’élèves Classe élèves 400 Réponses d’élèves Questionnaires Observations Rapports Recherche Recherche de régularités dans les profils d’élèves, fouille de données chercheurs 10 Liste de problèmes d’utilisation ou des bogues Définition de classes de profils Formation de formateurs d’enseignants Etude d’un élève en algèbre, étude des compétences en algèbre formateurs 40 Formation d’enseignants Stagiaires et professeur en responsabilité 100 Session pilote Classes (Aide individualisée et évaluation) Enseignants 6 Cassettes audio Utilisations spontanées 9 Rapports oral ou courriel

29 Cycle N° 2 : évaluation  Testé pendant 3 ans dans différents contextes [Delozanne et al 2002, Rogalski 2003] Pour les chercheurs Pas de réduction du spectre des réponses des apprenants Recueil d’un corpus électronique de réponses d’élèves Expertise réifiée dans le prototype, testable et partageable Outil de formation Pour les enseignants PépiTest : Repérage de compétences ou de fragilités non remarquées auparavant Travail sur les profils des apprenants intéressant dans certains contextes (formation)

30 Cycle N° 2 : évaluation  Des problèmes soulevés
Des lourdeurs d’utilisation (plantage, temps) Des difficultés à entrer dans l’analyse didactique Des différences avec les pratiques usuelles de diagnostic Les attentes des enseignants Imprimer Test plus court Des exercices et des tests adaptés à différents niveaux Un bilan du logiciel à destination des apprenants Une « géographie de la classe » (pas seulement des résultats cumulés) Des stratégies pour faire évoluer l’apprenant à partir du diagnostic, mais aussi la classe Un diagnostic complètement automatique Pratiques usuelles de diagnostic : erreurs, classe ou groupes d’élèves

31 Cycle 2 : Bilan Attentes et obstacles
Instrumenter le diagnostic / son exploitation Lier diagnostic et situations d’apprentissage Lier diagnostic et gestion de la classe Différentes situations de diagnostic Diagnostic Adaptable (niveau scolaire, durée, compétences, individuel/collectif) Adaptatif (élève, niveau scolaire, utilisateur) Diagnostic automatique ou semi-automatique Différentes classes d’utilisateurs Prof, élèves mais aussi : chercheur, concepteurs Corpus (400 élèves), scénarios d’utilisation

32 Cycle N° 3 (2000-2004) Les questions de recherche
Q3.1 : Est-il possible d’envisager un diagnostic automatique avec un certain coefficient de fiabilité. questions ouvertes : langage naturel et raisonnement algébrique ? Q3.2 : Est possible d’articuler diagnostic individuel et gestion de la classe dans son ensemble Différents niveaux de modélisation, Les stéréotypes Un Pépite amélioré (Prévit 2002), Téléchargeable : Une étude ergonomique et didactique Un nouveau niveau de modélisation Un prototype pour le diagnostic à ce niveau (Vincent 2004) Des parcours adaptés au stéréotypes

33 Vers un diagnostic automatique (1)
Analyse de raisonnement algébriques sur plusieurs lignes Analyse syntaxique et sémantique [Prévit 2002] Khemarak Nicolas Soit 5 un nombre ((5+8)×3-4+5)/4+2-5=7 ? ((13)×3-4+5)/4+2-5=7 ? (39-4+5)/4+2-5=7 ? 10+2-5=7 ? 10-3=7 ? 7=7 ? Oui donc cela marche 3 + 8 = 11 11 × 3 = 33 = 29 = 32 32/4 = 8 8 + 2 = 10 = 7 Preuve par l’exemple (J2, L5) Preuve par l’exemple (J2, L5 Expression globale parenthésée (T1) expression partielle pas à pas (T2) écritures correctes (EN1) Réponse incorrecte (V3)

34 Karine Laurent x + 8 = 8x 8x 3 × 8x = 24+3x= 27x 27x-4 = 23x 23x+x=24x 24x/4=6x 6x+2=8x 8x-x=7 =[(x+8)×3-4+x]/4+2-x =(3x+24-4+x)/4+2-x =4x+20/4 + 2-x =x x =7 Justification de type formel scolaire avec application de règles fausses (J31) Justification par l’algèbre (J1) Utilisation des lettres avec utilisation de règles fausses (L3) Utilisation correcte des lettres (L1) Traduction par expression partielle enchaînée en succession d’opérations (T4) Traduction par expression globale parenthésée (T1) = annonce un résultat (E2) = relation d’équivalence (E1) Identification incorrecte de + et × (assemble les termes)(EA42) règles fausses : x + a  x a a x  b  (a  b) x a x - x  a – 1 erreur de parenthèse avec mémoire de l’énoncé (EA31) Réponse invalide (V3)

35 Vers un diagnostic automatique (3)
Justifications en langage naturel Travail linguiste, didactique, informatique Hypothèse Liens entre les structures linguistiques utilisées par les élèves et leur niveau d’entrée dans l’algèbre Étude exploratoire Normand, Coulange, Delozanne, Grugeon : TICE 04 Travail en cours Didactique et psychologie cognitive Lien entre structure linguistique et l’énoncé Lien avec le discours de l’enseignant Trouver des cohérences dans les formulations TALN

36 Vers une « géographie » de la classe
Analyse de l’activité habituelle Travaux des ergonomes Scénarios d’utilisation et de conception Mise au point d’un outil conceptuel   Identifier des stéréotypes à partir du corpus Pépite B. Grugeon, J.-M. Gélis, L. Coulange, J. Rogalski Affiner : atelier avec professeurs, chercheurs Conception de PépiStéréo (C. Vincent) Compléter et réorganiser le diagnostic de Pépite Concevoir et réaliser un logiciel Pour organiser des apprentissages en regroupant les élèves par profils cognitifs voisins Validation Des stéréotypes Du logiciel De l’hypothèse de recherche

37 Pratiques usuelles de diagnostic?
Ergonomes de Paris 8 (Rogalski, El Jaafari, Cahors, Simoneau) Entretiens + Observations de prise en main de Pépite Résultats : Diagnostic orienté vers la classe, le groupe exprimé en 3 ou 4 catégories : Bons rapides, moyens rapides, moyens lents, grandes difficultés s’appuie sur les erreurs récurrentes des élèves Plus les profs sont expérimentés, plus ils font du «diagnostic dynamique » Lié à un répertoire d’actions Nécessité d’un diagnostic « light » Lourdeur de Pépite (accès aux machines, temps de passation, trop de tâches d’exploitation à la charge du prof) d’une formation d’un temps de maturation pour le prof

38 Régulation des apprentissages
Nécessité d’articuler Personnalisation de l’enseignement Gestion de classe ou de groupes d’élèves Comment ? Demande des profs : Stat sur la classe, liste des erreurs fréquentes, des élèves qui les font. Analyse didactique et ergonomique instruments conceptuels pour combler le fossé : diagnostic usuel: les erreurs et (bons, moyens, lents) les profils Pépite (6 composantes avec chacune une dizaine de valeurs possibles) instruments logiciels qui automatisent un maximum de traitements pour rendre la méthode écologiquement viable

39 Proposition Les stéréotypes : un outil conceptuel pour organiser la régulation des apprentissages dans la classe Faire progresser la classe Respecter les différences individuelles Définitions Un stéréotype est un ensemble de profils équivalents stéréotype = une classe d’équivalence de « profils cognitifs d’élèves » En algèbre : La relation d’équivalence repose sur trois dimensions caractérisées par des niveaux de compétence

40 Des stéréotypes en algèbre
UA : Usage de l’algèbre 4 niveaux : démarche arithmétique, quelques utilisations des lettres, utilisation de l’algèbre pour prouver non maîtrisée, maîtrisée T: Traduction d’une représentation à une autre 3 niveaux : maîtrise insuffisante, partielle, bonne CA : Calcul Algébrique 3 niveaux Règles incorrectes pour la formation et la transformation des expressions Règles incorrectes de transformation Bonne maîtrise

41 Ordre de grandeur Profils cognitifs possibles :
1 M, un nuage de points Stéréotypes : 36 théoriques seulement, 13 en pratique 6 à 10 dans une classe

42 Niveaux de modélisation
Logiciels Modèle individuel de l’élève Modèles des tâches et compétence algébrique PépiTest Réponses de l’élève Type d’exercice : technique, reconnaissance et mathématisation PépiDiag Codage des réponses de l’élève à chaque exercice Matrice de diagnostic Pour chaque exercice, une grille d’analyse multidimensionnelle : validiité, utilisation des lettres, calcul algébrique, traduction d’une représentation à une autre, type de justification PépiProf Profil global : -taux de réussite (global, questions traitées, type d’exercices, type de traitements privilégié) -description qualitative (cohérences de fonctionnement) -articulation entre représentations Analyse transversale des réponses à l’ensemble du test Types de traitements Seuils paramétrables de réussite Modalités de fonctionnement PépiStéréo Stéréotype Sur chaque dimension, caractéristiques personnelles de l’élève : taux de réussite, points forts, points faibles, règles fausses Agrégation des codages Echelle de compétence multidimensionnelle Marqueurs de conceptions inadaptées

43 Une nouvelle modélisation cognitive
Ancien Pépite : Profil individuel complexe Description quantitative : traitements maîtrisés Description qualitative sur 6 composantes Diagramme de flexibilité entre registre Restructuration des profils : Un Profil = Un stéréotype des caractéristiques personnelles leviers, fragilités liste des erreurs

44 PépiStéréo Métaphore :
l’orchestre, groupes d’instruments et le jeu de chaque musicien Fonctionnalités prioritaires Constituer des groupes Imprimer Communiquer un résultat aux élèves Associer stéréotype et remédiation En cours d’expérimentation 5 classes de seconde, 4 enseignants Stabilité des stéréotypes (A. Darwesh) Autres niveaux : 5°, 4° ? Tests adaptatifs (Q3.3) ?

45 Cycle n°4 Thèse en cours de D. Prévit et travail de F. Chenevotot
Pépite : Ensemble figé d’exercices figés Utilisable une seule fois à un seul niveau de classe Nécessité d’adapter les tests et le diagnostic à différentes étapes de la construction des compétences en algèbre situations d’évaluation et contextes d’utilisation Objectif : la conception d’un nouveau système SuperPépite Problème : Comment passer d’un diagnostic ad hoc à un diagnostic plus générique ?

46 PépiGen Objectif Concevoir des outils pour faciliter la création d’exercices diagnostiques par des non-informaticiens. Exercice diagnostique = exercice + grille d’analyse multicritère des réponses Démarche Modélisation ascendante : généralisation à partir d’un outil diagnostique établi par des chercheurs en didactique Difficultés Caractérisation des exercices équivalents du point de vue diagnostique (clones) Génération des clones Analyse multicritère automatique des réponses ouvertes à chacun de ces clones L’objectif de ma thèse est de concevoir un outil pour faciliter la création d’exercices diagnostiques par des auteurs non-informaticiens. Un exercice diagnostique est pour nous un exercice auquel est associée une grille d’analyse multicritère des réponses anticipées à ces exercices. Le diagnostic cognitif étant un processus complexe, nous avons choisi de nous appuyer sur un travail didactique préalable et de permettre la duplication et l’adaptation par des auteurs non informaticiens, d’exercices diagnostiques déjà validés. Nous avons du résoudre trois types de problèmes : Tout d’abord nous avons choisi de nous intéresser à des clones de l’outil de diagnostic de Brigitte Grugeon, c’est-à dire à des exercices qui permettent de repérer les mêmes capacités et d’obtenirlesmêmes codes pour le diagnostic. Le problème est alors de mettre en évidence des invariants et des parties à instancier pour caractériser ces clones et définir des classes d’exercices. Pour générer les clones, et pour l’analyse multicritère des réponses ouvertes nous avons eu besoin d’un logiciel de calcul formel qui analyse, compare et transforme les expressions algébriques. 46

47 Questions de recherche
Comment générer puis analyser automatiquement des raisonnements algébriques corrects ou inadaptés ? Un logiciel de calcul formel Pépinière Comment des auteurs non informaticiens peuvent-ils alimenter une base d’exercices diagnostiques ? Un logiciel PépiGen qui permet aux auteurs de créer des exercices par instanciation de patrons Comment caractériser des exercices équivalents du point de vue diagnostique ? Un méta-modèle qui spécifie les modèles des classes d’exercices équivalents Notre problématique de génération automatique d’exercices diagnostiques nous amène à considérer trois principales questions de recherche et faire trois propositions pour avancer sur ces questions. 47

48 Classe d’exercices diagnostiques
Ensemble d’exercices équivalents du point de vue du diagnostic Clones = exercices diagnostiques équivalents Exercices similaires (paramètres, invariants)  solutions plausibles anticipées : de même nature diagnostic : mêmes capacités et mêmes erreurs Utilisations Enseignants : création de clones Elèves : Réponse aux questions Système : Génération, analyse automatique multicritère des réponses Une classe d’exercices définit d’une part, les caractéristiques communes à tous les exercices équivalents à un exercice originel du point de vue du diagnostic cognitif et, d’autre part, les paramètres sur lesquels jouer pour générer de tels exercices. Lorsque les paramètres sont fortement contraints leurs valeurs sont générées automatiquement de façon aléatoire Par contre les enseignants de l’équipe ont souhaité fixer eux-mêmes les valeurs de certains paramètres pour générer des exercices exactement adaptés à leur attente lorsque les paramètres donnent plus de degré de liberté. Dans les deux cas l’analyse des réponses est générée automatiquement. 48

49 Une classe d’exercices
Une classe d’exercices comporte types d’information des informations d’indexation didactique des informations pour la Génération des énoncés des informations pour l’instanciation de l’interface des informations pour générer la grille de codage Pour chaque type d’information, nous présentons un exemple de classe d’exercice décrit sous la forme d’un tableau et le schéma UML construit à partir de ce tableau Agrégation : Italique : classe abstraite

50 Du modèle à l’implémentation
Couche domaine Didacticiens Informaticien Environnement de développement Tableau Tableau UML Classes Java classe d’exercices Modèle didactique 1 exercice Modèle classe d’exercices Modèle classe d’exercices Schéma XML Schéma XML Reprenons notre démarche de conception du schéma conceptuel. Tout d’abord, pour chaque exercice du Pépite originel, les informaticiens et les didacticiens ont mis en évidence des éléments communs aux exercices originels de Pépite pour caractériser des classes d’exercices. Ils ont représenté ses éléments sous la forme de tableaux que nous avons appelé modèle didactique. A partir de ces tableaux, les informaticiens ont élaboré un modèle conceptuel d’une classe d’exercice avec le langage UML. Ce modèle conceptuel a été implémenté en utilisant un environnement de développement pour produire les principales classes java du domaine. Ces classes déterminent la couche métier de notre chaîne logicielle. Nous nous sommes appuyé sur le modèle conceptuel pour traduire a été traduit en schéma XML pour assurer la persistance des données échangées dans la chaîne logiciel: schéma XML d’une classe d’exercice qui décrit l’ensemble auquel sont associé le ficher xml API DOM Exercice 1 Exercice 2 Une classe d’exercices Un exercice XML Saisit paramètres PépiGen Couche persistance Exercice 1 50

51 Pépinière Un logiciel de calcul formel qui manipule des arbres pour :
Analyse syntaxique des expressions algébriques Grammaire algébrique Transformations algébriques Règles de réécriture correctes ou incorrectes Génération des solutions plausibles anticipées Unification et heuristiques Comparaison des expressions algébriques Arbres superposables Pépinière comporte plusieurs fonctionnalités. Premièrement il transforme une expression algébrique saisie sous la forme d’une chaîne de caractère en arbre d’expression en s’appuyant sur les grammaires algébriques Deuxièmement, il génére toutes les expressions algébriques obtenues par application de règles de réécriture correctes ou erronées en s’appuyant sur la théorie des règles de réécriture et sur un fichier des règles incorrectes repérées de façon récurrente par les didacticiens de l’équipe. Troisièmement, son originalité (et c’est le seul point que nous développons ici) est de générer les solutions plausibles anticipées par une analyse didactique à des problème de preuve par réduction et développement. Pour cela, Pépinière s’appuie sur l’algorithme d’unification et sur des heuristiques pour éviter les bouclages et l’explosion combinatoire. Quatrièmement, il compare deux expressions algébriques pour vérifier leur équivalence. Des expressions algébriques. Pépinière est utilisé par l’outil auteur PépiGen et par le diagnostiqueur PépiDiag

52 PépiGen : un système auteur
Implémentation Modèle conceptuel UML Classes java du domaine (classes d’exercices) Fichier XML des données des classes d’exercices et des instances (clones) Utilisation de l’API DOM (traduction Java – XML) lignes de code Fonctionnalités Un auteur choisit une classe d’exercices et saisit les paramètres PépiGen produit un clone et la grille de codage associée Comme nous l’avons vu sur l’exemple d’introduction, un auteur choisit une classe d’exercices et saisit les paramètres, 52

53 PépiGen : architecture
Module Pépinière arbre des solutions anticipées expression algébrique produit un clone saisit les paramètres Système auteur PépiGen XM L Auteur est chargé Banques d’exercices Tout d’abord, PépiGen charge le fichier XML contenant les Modèles de classes d’exercices et l’auteur choisit une classe d’exercices. Pour la classe d’exercice que nous avons présenté, il saisit les paramètres à l’aide d’une palette de termes. Pour certains exercices fortement contraints, le système génère de façon automatique les paramètres. Par exemple pour la classe d’exercice « Reconnaître des égalités numériques vraies, les nombres utilisés sont des nombres entiers compris entre 1 et 9. La génération sera faite par tirage aléatoire des valeurs et l’auteur accepte ou non la valeur proposée. Lorsque les paramètres ou les invariants de l’exercice sont des expressions algébriques le système auteur fait appel au module de calcul formel Pépinière, pour la représentation des expression algébriques sous la forme d’arbre d’expression, pour les calculs sur ces expressions (le calcul de la forme réduit dans l’exemple que nous avons présenté), il signale éventuellement une erreur de syntaxe. Pour générer la grille de codage Pépinière construit l’arbre des solutions anticipées. Les paramètres du clone ainsi que la grille de codage sont enregistrer sous la forme d’un fichier XML qui constitue la banque d’exercices. XM L Modèle de Classe exercices

54 Interpréteur : PépiTest
Enregistre le test avec les réponses de l’élève Résout les exercices Interpréteur PépiTest XM L Charge le test avec les réponses de l’élève Elève Réponse de l‘élève est chargé Comme nous l’avons vu dans notre exemple, un élève utilise un interpréteur pour réaliser un test ou un exercice L’interpréteur enregistre la réponse de l’élève dans un fichier XML XM L Test constitué d’exercices

55 PépiDiag : le diagnostiqueur
charge 2 fichiers xml contenant les réponses de l’élève la grille de codage d’un exercice. appelle la procédure de diagnostic de la classe d’exercices concernée applique la grille de codage à la réponse de l’élève pour produire le diagnostic local à l’exercice. 55

56 Architecture Diagnostiqueur
XM L Enregistre les réponses avec le diagnostic local au test est chargé Réponse de l’élève Diagnostiqueur PépiDiag XM L est chargé Tester l’équivalence de 2 arbres d’expression retourne vrai/faux XM L grille de codage Module Pépinière

57 Tests et premières évaluations
Tests Pépinière Sur tous les exercices du Pépite originel + clones Analyse syntaxique des expressions bien formées des énoncés Génération de l’arbre des solutions anticipées pour les exercices de développement-réduction Test PépiGen Sur la classe la plus complexe Création d’une cinquantaine de clones par 5 personnes différentes Tests PépiDiag Sur 83 réponses recueillies avec le Pépite originel Diagnostic local correct Test de la chaîne Principe fonctionne Travail de conception générale des Base de données et de leur utilisation Nous ne prétendons pas pouvoir coder toutes les étapes des productions des élèves mais ces tests montrent que nos pouvons repérer des cohérences de fonctionnement relatives aux différents aspects de la compétence algébrique.

58 Résultats Avancée significative pour le projet Lingot
Fondement d’une chaîne logicielle Pour diversifier les tests diagnostiques Développement de classes paramétrées d’exercices diagnostiques Définition de modèles et d’un métamodèle qui réifie une analyse didactique Domaine de validité ? Valider dans d’autres domaines Valider d’autres modèles de diagnostic Réification des données sous forme de fichiers xml Création d’un module de calcul formel réutilisable EIAH Vers un métamodèle d’évaluation multicritère automatique réifiant des analyses didactiques ou cognitives Diffusion dans sésamaths ? Ce travail de thèse permet de faire une avancée significative. Il a élaboré les fondements d’une chaîne logicielle. Nous avons développé des classes paramétrées d’exercice ce qui permet de créer des exercices diagnostiques et ainsi de diversifier les test diagnostiques. Nous avons défini des modèles et un métamodèle. En ce qui concerne le domaine de validité nous devons maintenant tester dans d’autres domaines/ Nous avons créé un module de calcul formel réutilisable Dans le domaine des EIA, nous avons créé un modèle qui réifie une analyse didactique. 58

59 Résumé (1) Coté élève : comprendre les difficultés des élèves et produire des modélisations exécutables Cycle N°1 (1995) : outil papier-crayon Problématique de modélisation des compétences de l’élève de leur diagnostic Cycle N° 2 (2000) : logiciel Pépite systématisation réification du modèle de compétence diagnostic semi-automatique

60 Résumé (2) Coté enseignant :
produit innovant en rupture avec les pratiques usuelle , faciliter la genèse instrumentale Cycle N°3 ( ) : Étude de l’exploitation du diagnostic : vers un diagnostic automatique (langage naturel, raisonnement algébrique) vers une géographie de la classe (stéréotypes) Cycle N° 4 ( ) : Diagnostic plus générique (classes d’exercices) Diagnostic sur plusieurs niveaux scolaires Diagnostic pour l’élève

61 Travaux en cours et perspectives
Didactique Mondialisation (C. Bardini) : Pépite en Australie, au Brésil, en Espagne Diversification (Chenevotot, Grugeon) : test en 5, 4, 3, 2nd Stratégies d'apprentissage associées aux stéréotypes (Grugeon, Coulange) Informatique Générateurs de tests à partir de modèles (Prévit) Bilan de compétences pour l'élève Agent conversationnel (Mohamedad Farouk) Soutien scolaire en ligne (stage master) Régulation des apprentissages en classe (stage master) Analyse des raisonnements en français (stage master) Diagnostic adaptatif(Darwesh)

62 Proposition de stages /projet
1- Développement de classes d’exercices pour étendre la banque d’exercices 2- Indexation des exercices pour définir des parcours d’apprentissage. 3- Modèle de dialogue pour un bilan de compétences interactif entre un élève et un agent virtuel. 4- Conception et réalisation de l’interface de visualisation et d’exploitation du bilan construit par Pépite 5- Analyse automatique de productions écrites exprimant des raisonnements en langage naturel

63 Équipe pluridisciplinaire
Une formation de base dans chaque discipline La construction de prototypes pré-opérationnels permet Aux enseignants de préciser leurs attentes, de manipuler l’expertise didactique et d’inventer de nouveaux usages Aux chercheurs du projet de tester, partager, approfondir leurs idées Aux chercheurs d’autres projets D’étudier le corpus de réponses d’élèves recueilli De tester par eux-mêmes les prototypes produits

64 La participation des enseignants
Difficile à mettre en œuvre Nécessite du temps Une réflexion pour faire leur place Très importante pour appréhender les problèmes d’intégration "Transformer une symétrie d'ignorance en symétrie de participation et en symétrie de connaissances"[Muller 03]

65 DEA Prévit Essayez vous-mêmes :