1 Les projets Pépite et Lingot M2-IMFL, DU-TICE Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche aux usages.

Présentation au sujet: "1 Les projets Pépite et Lingot M2-IMFL, DU-TICE Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche aux usages."— Transcription de la présentation:

1 1 Les projets Pépite et Lingot M2-IMFL, DU-TICE Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche aux usages

2 EIAH Environnements Informatiques pour l’Apprentissage Humain UE1 Management des connaissances pour la formation en ligne Méthodes de modélisation des connaissances en EIAH UE 3 Architecture des EIAH et modélisation de l’apprenant  Diagnostic cognitif 2

3 Objectifs du cours Donner un exemple  EIAH modèle d’apprenant et diagnostic cognitif coopération pluridisciplinaire chercheurs/professionnels  TICE dissémination de résultats de recherche dans socièté Faire manipuler  plusieurs types de modèles et de représentations didactique : texte, tableau conceptuel : tableau, diagramme informatique : -en machine : structure d’un fichier xml -à l’interface : visualisation des données xml 3

4 Plan Les projets Pépite et Lingot  Motivation, objectifs Démo Démarche de recherche  Recherche participative et itérative  Questions de recherche Diagnostic cognitif Parcours différenciés d’apprentissage Différents types et formats de modèles Résultats et perspectives 4

5 Des Pépites et des Lingots ? Dans la boue des productions des élèves…  x + 8 = 8x  Il ne faut pas additionner les puissants … trouver les granules de connaissances pour forger … des connaissances conformes au référentiel des programmes 5 DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

6 Origines du projet (~1990) Didactique  Algèbre : porte d’entrée/barrière enseignement scientifique  Questionnement sur l’enseignement de l’algèbre Éradiquer les erreurs vs Obstacles entrée dans l’algèbre  Premier outil papier crayon diagnostic et activités différenciées trop lourd à mettre en œuvre hors contexte de recherche Informatique  Modélisation de l’apprenant et diagnostic cognitif  Automatiser un processus de diagnostic déjà très structuré validé sur le plan épistémologique, cognitif et didactique testé sur papier : étude de corpus (600 réponses) 6 DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

7 7 Le projet Lingot Objectifs  Instrumenter la gestion par les enseignants de la diversité cognitive des élèves Comment ?  Concevoir et mettre en œuvre des outils pour les enseignants issus de la recherche accessibles en ligne pour mettre en œuvre un enseignement différencié fondé sur un diagnostic fin des connaissances des élèves  et pas seulement –sur corriger des erreurs isolées –sur faciliter la tâche aux plus faibles DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

8 8 3 axes de recherche 1 ier axe : Diagnostic (projet Pépite) 1.Développer des tâches diagnostiques (exercices) 2.Analyser les réponses à des exercices 3.Détecter des cohérences entre les réponses Obstacles/Leviers pour l’apprentissage 4.Situer un élève (un groupe d’élèves) par rapport à la compétence de référence DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

9 9 3 axes de recherche Diagnostic : Pépite Apprentissage : PépiPad  Exploiter le diagnostic  Parcours d’Apprentissage Différenciés adaptés au diagnostic  Indexation des ressources Instrumentation de l’activité des enseignants : PépiMep  Usage des outils dans des situations de classe  Mettre en ligne les outils développés plateforme MathEnPoche de Sésamath plateforme WIMS  Gestion dans les classes d’un enseignement différencié DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

10 Didactique des maths Une équipe pluridisciplinaire Informatique Sésamath 10 Enseignants … Ergonomie

11 Sésamath Association (2001) de bénévoles + 6 salariés Site : http://www.sesamath.net/http://www.sesamath.net/ Manuels  Papier : bons et moitié moins chers 18% du marché français Financent les frais de fonctionnement  En ligne : gratuits et sources accessibles 1 600 exercices, 1 100 animations Plateforme d’outils libres et gratuits (Mep, LaboMep, J3P)  Pour les profs de maths 14 643 inscrits  Pour les élèves : 1/4 collégien français 1 million d’inscrits (sept-dec 2012) 1,3 million connections /mois 11 DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

12 LaboMep Scenario d’utilisation le prof crée une séance en associant à la souris des ressources à un groupe d’élèves chaque élève se connecte utilise les ressources de la séance (exercices, animations) le prof peut consulter un bilan du travail des élèves 12 DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

13 Les usages de Pépite et PépiPad De nombreuses expérimentations de 2001 à 2012 En 2012 mise en ligne sur LaboMep (plateforme de Sésamath) des tests diagnostiques (3°-2nde) puis des parcours d’apprentissages Pour 2012-2013 540 séances de tests diagnostiques crées par des enseignants 4221 élèves ont passé le test 129 séances différenciées ont été crées 49 enseignants ont répondu à un questionnaire en ligne de 24 questions Démo 13 DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

14 Plan Les projets Pépite et Lingot  Motivation, objectifs Démo Démarche de recherche  Recherche participative et itérative  Questions de recherche Diagnostic cognitif Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives 14

15 Scénario Nous sommes une classe de 3° dans le collège Lingot de Terre Adélie et de LaboMep Je suis votre prof de math 1.Le prof prépare la séance de test diagnostique 2.Chaque élève (vous) se connecte sur LaboMep et passe le test en répondant aux questions (N’oubliez pas de cliquer sur OK, ne revenez pas en arrière) 3.Le prof regarde les bilans et choisit un thème de travail 4.PépiPad génère une séance différenciée 5.Le prof la modifie (ou pas) et l’enregistre 6.Chaque élève (vous) travaille sur les exercices de sa séance (rafraichir pour voir sa séance) 15 Démo DémarcheDiagnosticParcoursModèlesRésultatsProjet

16 Plan Les projets Pépite et Lingot  Motivation, objectifs Démo Démarche de recherche  Recherche participative et itérative  Questions de recherche Diagnostic cognitif Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives 16

17 Démarche de recherche itérative Partir  De l’expertise de chercheures en didactique du laboratoire André Revuz (ex-Didirem)  Des l’état des recherches en EIAH et en informatique LIUM, LIP6  De l’expertise des enseignants association Sésamath, IREM, IUFM Créer des modèles informatiques et des prototypes Tester les prototypes dans les classes En retour  Enrichir l’expertise didactique des enseignants en conception d’EIAH  Être utile aux élèves et aux professeurs ? 17 Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

18 Une recherche itérative 18 (Mackay et Fayard, 1997) Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

19 19 Conception participative La participation des enseignants aux projets de recherche Difficile à mettre en œuvre  Nécessite du temps Temps de la recherche Temps de l’action  Une réflexion pour faire leur place  Des prototypes pour expérimenter Collaboration avec l’association Sésamath  "Transformer une symétrie d'ignorance en symétrie de participation et en symétrie de connaissances " [Muller 03]

20 Cadres conceptuels (1/2) Informatique  Conception centrée utilisateur-participative (Schuller 93, Mackay 04), Modélisation et prototypage (Beaudoin- Lafon & Mackay 2003)  Ingénierie dirigée par les modèles (Favre et al. 06), Ingénierie ontologique (Mélis et al. 2008, Desmoulins 2010) EIAH  Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00, Caroll 00)  Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04)  Analyse de corpus, de traces (Dimitracopoulos09, Choquet07, Marty&Mille09) 20 Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

21 21 Cadres conceptuels (2/2) Didactique des mathématiques  Théorie Anthropologique du Didactique (Chevallard 92), Théorie des situations didactiques (Brousseau 88), Dialectique outils/objets (Douady 90) Jeu de cadres et registres (Duval 95), Ingénierie didactique (Artigue 91)  Didactique de l’algèbre (Grugeon 95, 08, Chevallard 85,Chevallard et Bosch 2012, Bardini 03, Sfard 91, Drouhard 92, Kieran 07) Ergonomie  Activité instrumentée (Rabardel 95, Rogalski 03) Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

22 Questions de recherche 1.Décrire les connaissances du domaine, d’un élève ?  Modèles de référence : didactique/enseignants/informatique 2.Mettre en place des situations pour recueillir des observables ?  Modélisation des tâches diagnostiques, Banque de tests 3.Inférer les descripteurs à partir des observables ? I.Typer et coder les réponses : diagnostic individuel local II.Détecter les cohérences : diagnostic individuel global III.Situer l’élève par rapport à une référence : stéréotypes/groupes 4.Exploiter le diagnostic  Interfaces pour la prise de décisions didactiques (enseignants ou machine) Aide à la décision pour organiser des parcours  Réflexion métacognitive avec l’élève 5.Comment évaluer les résultats produits ? 22 Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

23 Cycles de recherche 1.Analyse didactique cognitive et épistémologique  Outil de diagnostic papier (Grugeon 95) 2.Conception centrée-utilisateur pour automatiser (partiellement) le diagnostic  Prototype preuve de concept : Pépite (Jean 2000) 3.Nouvelle modélisation de l’élève  3 niveaux : PépiStéréo (Vincent et al. 2005) 4.Modélisation générique du diagnostic  Logiciel de calcul formel : Pépinière  Génération des exercices et de l’analyse automatique des raisonnements : PépiGen (Prévit 2008) 5.Dissémination : association Sésamath  Prototype/application disponible à large échelle : PépiMep (Darwesh et al. 2010 ) 6.Parcours d’apprentissage différenciés : PépiPad (Pilet 2011, El-Kechaï 2011) 7.Fouilles de données (Bouchet 2015) 23 Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

24 Chronologie du projet 24 Démo Démarche DiagnosticParcoursModèlesRésultatsProjet Thèse de J. Pilet PépiPad sur LaboMep Début du recueil de traces 2013

25 Plan Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ?  Définitions et fondements didactiques  Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives 25

26 Diagnostic cognitif en EIAH ? Processus  « Processus qui consiste à produire de façon automatique une description des connaissances ou des savoir-faire qu’un système a cru déceler chez un élève en analysant les traces de son activité » (Delozanne et al. 2010) Résultat du processus  Diagnostic cognitif  Modèle de l’élève  Profil cognitif  Bilan des connaissances et des compétences 26 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

27 Diagnostic cognitif Analyse de la résolution de problème par un sujet  Performance  Connaissances, procédures et stratégies Correctes ou inadaptées Objectifs  Intervention : Évaluation diagnostique : Réguler les apprentissages formative : Améliorer la performance sommative : Certifier  Scientifique Comprendre -des processus de résolution de problèmes, d’apprentissage, d’enseignement, de conception Modéliser pour simuler, prédire, classifier 27 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

28 Différents modèles (Cf. Mme Luengo) Approches symboliques  Psychologie cognitive ACT : geometry tutor, Algebra tutor (équipe de Pittsburg 1983 … 2013) Diane/Star : problèmes additifs école primaire (Hakem, Sander, Labat, 2005, Martin, Sander, Labat, Richard 2013) Plasturgie (Richard, Pastré, Labat et al. 2006)  Didactiques des disciplines Balacheff (1995), Stacey (2003), Luengo (2010) Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011) Approches numériques  IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009)  Réseaux bayésiens (Labat, Hibou 2007, Shute 2008) 28 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

29 Evidence Centred Design Analyse du domaine 1.Modèle du domaine 2.Modèle conceptuel de l’évaluation  Modèle de l’élève  Modèle de diagnostic (Evidence Models) : évaluation des productions d’élèves par item sur l’ensemble du test 3.Modèle des tâches 4.Modèle d’assemblage (test adaptatif) 5.Modèle de présentation 29 (Mislevy 03, Shute 08) DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

30 Fondements didactiques de Pépite Analyse du domaine 30 Savoir savant Savoir enseigné Cahiers d’élèves, discours enseignants Savoir de référence Modèle épistémologique Savoir à enseigner Programmes officiels et documents d’accompagnement Savoir appris Tests diagnostiques (Transposition didactique, Bosch et Gascon 05) DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

31 Des savoirs et savoir-faire implicites Équivalence des expressions  Peu de référence à la dénotation à l’organisation du contrôle des calculs Dialectique du numérique et de l’algébrique  Peu de lien avec le numérique (2 expressions renvoient ou non les mêmes valeurs) Aspect structural et procédural  Peu de référence au processus de calcul, à la reconnaissance de la structure  Expressions et consignes standardisées Lien avec d’autres registres de représentations  Peu de programmes et de schémas de calcul  Un sens de traduction privilégié 31 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

32 Expressions algébriques 32 Aspects épistémologiques Équivalence des programmes de calcul (Ruiz-Munzon 2010, 2012, Chevallard & Bosch, 2012) Équivalence des expressions algébriques (Frege 1971,Drouhard 1992, Kieran 2007) Dialectique du numérique et de l’algébrique (Chevallard 1985) Aspects procédural et structural des expressions algébriques (Sfard 1991) Interprétation des expressions algébriques dans d’autres registres de représentation (Duval 1995, Bardini 2003) Absent Peu Présent (Pilet 2013) DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet Savoir à enseigner :

33 Types de tâches (extrait) 33 ProduireAssocier Traduire Développer Factoriser Réécrire Calculer Prouver l’équivalence Identifier la structure Tester l’équivalence Choisir l’expression la plus adaptée Génération des expressions Équivalence des expressions Algèbre des polynômes Absent Peu Présent Présent DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

34 Hypothèses didactiques H1 : Une explication possible des difficultés des élèves Les trous, les implicites Le peu de diversité dans le type des expressions et les problèmes traités H2 : Les réponses des apprenants à des problèmes bien choisis révèlent des cohérences dans leur raisonnement  Q1 : Comment identifier ces cohérences ? H3 : Détecter ces cohérences permet aux enseignants de définir des stratégies différenciées d’enseignement  Q2 : Comment différencier les parcours d’apprentissage en s’appuyant sur ces cohérences ? 34 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

35 Hypothèses informatiques H1 : Il est possible de concevoir un logiciel pour recueillir des traces numériques de l’activité algébrique des élèves pour détecter des cohérences H2 : Il est possible de concevoir un logiciel qui les détecte de façon automatique (au moins partiellement) H3 : Les logiciels produits pourront être utilisés dans les classes H4 : La modélisation informatique de l’expertise didactique fera évoluer cette dernière 35 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

36 Plan Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ?  Définitions, Fondements  Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives 36

37 Q de recherche (rappel) 1.Quel modèle de l’élève ? Quels descripteurs ?  Modèles de l’élève, Modèles de présentation  Logiciel pour présenter les résultats : PépiProf 2.Comment recueillir les observables ?  Modèle des tâches  Logiciel pour faire passer un test aux élèves : PépiTest 3.Comment analyser les observables pour avoir les descripteurs ?  Modèle de diagnostic  Logiciel de diagnostic : PépiDiag 4.Comment exploiter les résultats du diagnostic ?  Logiciel pour calculer des parcours d’apprentissage différencié : PépiPad 5.Comment évaluer les résultats ? 37 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

38 Q1 : Modéliser les connaissances d’un élève Enseignants  Connaissance de référence : capacités (Programmes scolaires) ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable  Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques  Connaissance de référence Organisation mathématique/didactique Composantes de la compétence algébrique Des problèmes variés pour couvrir l’ensemble des composantes -trous, capacités implicites  Connaissances d’un élève Cohérences dans l’activité mathématique des élèves -Pas seulement des erreurs Rupture entre pensée algébrique et arithmétique Leviers et obstacles pour l’apprentissage 38 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

39 Modèle de l’élève dans Pépite 3 niveaux de description 39 Diagnostic global collectif (exemple)exemple Stéréotype et groupeNiveau sur chaque composante Diagnostic global individuel (sur un ensemble d’exercices)(ex)ex Caractéristiques personnelles, leviers et fragilités Par composante :Taux de réussite, indicateurs Diagnostic local (sur un exercice) (exemple)exemple Type de réponse et règles appliquéesCodage sur 8 dimensions DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

40 Q2 : Recueillir des observables ? Un élève passe un test  Un ensemble d’exercices conçus pour détecter des cohérences dans l’activité mathématique des élèves Erreurs/réussites faiblesses/leviers d’apprentissage Un exercice diagnostique  Énoncé et questions Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement)  Une grille d’analyse des réponses Types de réponses anticipées Évaluation multidimensionnelle de ces réponsesÉvaluation 40 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

41 Un exercice diagnostique 41 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

42 Diagnostic local(1) RéponseTypeCodes + interprétations x + 8 = 8x 8x 3 × 8x = 24+3x= 27x 27x-4 = 23x 23x+x=24x 24x/4=6x 6x+2=8x 8x-x=7 Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée V3 incorrecte L3 lettres avec règles fausses E2 = annonce de résultat J31 pseudo-formelle T2 traduction pas-à-pas séparée EA42 règle incorrecte d’ assemblage Règles utilisées (incorrectes) : A+B = AB A X  B = (A  B) X A X - X = A – 1 42 Dimensions d’évaluation Validité Usage des Lettres Signe d’ É galité Justification Traduction Écritures Numériques Écritures Algébriques DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

43 Diagnostic local(2) RéponsesTypeCodes + interprétations 3 + 8 = 11 11 × 3 = 33 33 - 4 = 29 29 + 3 = 32 32/4 = 8 8 + 2 = 10 10 - 3 = 7 Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects V3 incorrecte L5 pas de lettres E2 = annonce de résultat J2 justification par un exemple T2 traduction pas-à-pas séparée EN1 écritures numériques correctes 43 Dimensions d’évaluation Validité Usage des Lettres Signe d’ É galité Justification Traduction Écritures Numériques Écritures Algébriques DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

44 Diagnostic local (3) Réponses d’élèvesCodes + interprétations (3+8 × 3-4+3)/4+2-3 32/4+2-3 8+2-3 10-3 V3 incorrecte L5 pas de lettres J2 par l’exemple T3 globale non parenthésée EN1 : écritures numériques correctes ((5+8)×3-4+5)/4+2-5=7 ? ((13)×3-4+5)/4+2-5=7 ? (39-4+5)/4+2-5=7 ? 10+2-5=7 ? 10-3=7 ? 7=7 ? V3 incorrecte L5 pas de lettres J2 par l’exemple T1 globale parenthèsée, équation EN1 : écritures numériques correctes ((x + 8) × 3 - 4 + x) / 4 + 2 - x =( 3x + 24 - 4 + x)/4 + 2 - x =(4x +20) / 4 + 2 - x =x + 5 + 2 - x =7 V1 correcte, L1 nb généralisé J1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. Correcte Règles utilisées (A+B)C = AC+BC Règle correcte AC+BC = (A+B)C Règle correcte (A+B)/C = A/C+B/C Règle correcte AC+BC = (A+B)C Règle correcte 44

45 Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests diagnostiques Travail didactique (1995) et premier prototype Pépite1 (2000)  Ensemble figé d’exercices figés  Utilisable une seule fois à un seul niveau de classe Thèse de D. Prévit (2008) Logiciels PépiGen et Pépinière Caractérisation des exercices équivalents du point de vue diagnostique (clones) -Modèle des tâches diagnostiques Logiciel qui génère des clones Analyse multicritère automatique des réponses ouvertes à chacun de ces clones Tests à plusieurs niveaux (5°, 4°, 3°, 2 nde ) 45 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

46 46 PépiGen Auteur Système auteur PépiGen saisit les paramètres Pépinière expression algébrique arbre des solutions anticipées est chargé produit un clone Modèle de Classe Exercices diagnostiques XM L Banques d’exercices XM L DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

47 47

48 48 Grille de codage : (x + 2)* 3 - 3 * x Tentative de démarche algébrique mais l’énoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects 10.7 V3,L3,T4,J3 (x+2)*3 x*3+6 V,7 3*x 3*x+6-3*x 6 V,31 (x+2)*3=3x+6-3x=6 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

49 49 Pépinière Logiciel de calcul formel qui manipule des arbres pour :  Analyse syntaxique des expressions algébriques Grammaire algébrique  Transformations algébriques Règles de réécriture correctes ou incorrectes  Génération des solutions plausibles anticipées Unification et heuristiques  Comparaison des expressions algébriques Arbres superposables DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

50 Arbre des solutions anticipées (x+2)*3-3x -2x+6 6 3x+6-3x x*3+2*3-3xx+2*3-3x 3x+6-3x 6x 9x-3x R1 R3 R2 R4 R3 9x-3x 6x Erreur de parenthèse avec mémoire Règles correctes R1 : (A+B)C AC+BC R3 : AB+AC A(B+C) R2: (A+B)C A+BC R4: AB+C B(A+C) Règles erronées 6 R3 R4 V1,EA1V3,EA42V3,EA31 V3,EA3142 V3,EA32

51 Plan Les projets Pépite et Lingot Diagnostic cognitif ?  Définitions  Dans Pépite Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives 51

52 Méthode de diagnostic Trois temps 1.Diagnostic local  Analyse de la réponse à une question  Types de réponses anticipées + vecteur de codes+ commentaire 2.Diagnostic global individuel  Cohérences entre les réponses  Par composante : taux de réussite + leviers, fragilités, règles fausses et correctes 3.Diagnostic global collectif  Position de l’élève par rapport à une référence/au groupe  Niveau sur chaque composante  Caractéristiques communes à un groupe 52

53 Architecture de PépiMep 53 Exploite PépiDiag PépiDiagLocalPépiDiagGlobal DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

54 Q3 : Analyser les observables ? Comment construire le modèle des compétences d’un élève ? L’élève passe un test PépiTest  Ses réponses sont mémorisées PépiDiag construit le diagnostic en 3 étapes 1.Analyse multidimensionnelle de chaque réponse :  type de réponse et vecteur de codes (diagnostic local) 2.Agrégation des codes  Bilan cognitif : caractéristiques personnelles + stéréotype 3.Formation d’un groupe pour un même parcours d’apprentissage 54 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

55 55 Interpréteur : PépiTest Elève XM L Interpréteur PépiTest Résout les exercices Charge le test avec les réponses de l’élève est chargé Enregistre le test avec les réponses de l’élève Test constitué d’exercices XM L Réponse de l‘élève DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

56 Étape 1 : Analyse des réponses Diagnostic local : PépiDiag  Compare la réponse de l’élève à une des réponses anticipées de la grille de codage  Utilise un logiciel de calcul formel : Pépinière Traite les problèmes de commutativité Détecte les règles (correctes/incorrectes) Teste l’équivalence des expressions 56 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

57 57 Diagnostiqueur : PépiDiag XM L Diagnostiqueur PépiDiag est chargé Module Pépinière Tester l’équivalence de 2 arbres d’expression retourne vrai/faux Enregistre les réponses avec le diagnostic local (type et codes) XM L grilles de codage XM L Réponse de l’élève est chargé DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

58 Conception du diagnostic local Fondée sur les réponses anticipées  Analyse didactique+corpus ->grille de codage Réponses ouvertes  réponses non diagnostiquées par le logiciel :~10-15 % Erreur de saisie Réponses imprévisibles Couteux  En expertise didactique + Analyse de corpus Efficace pour les réponses avec une seule expression algébrique  Ajout facile d’un type de réponse Complexe pour les raisonnements 58 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

59 Évaluation du diagnostic local Dépend du type de question (ouverte/fermée) Comparaison Diagnostic machine/humain N = 360 élèves 3 experts  trouvent le travail fastidieux (7 à 10 h pour un seul exercice)  se trompent plus que le logiciel Critères  Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag Réponses en une seule expression : OK Raisonnement algébrique : OK Raisonnement en LN : certains  Réponses imprévisibles ~10 % 2/3 des réponses (incorrectes) non analysées par le logiciel, ne sont pas non plus analysées par les experts 59 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

60 Étape 2 : Bilan cognitif Stéréotype  niveau de compétence sur les 3 composantes Usage de l’algèbre Calcul algébrique Traduction d’une représentation dans une autre Caractéristiques personnelles  taux de réussite  leviers  fragilités  liste des erreurs  liste des réussites 60 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

61 Algorithme de calcul des stéréotypes Établi (laborieusement) à partir  d’une analyse didactique  du classement mené par 3 experts sur un corpus de 360 réponses au test  de calibrage des seuils suite à l’implémentation de l’algorithme Résultat  liste de caractéristique personnelles  associer les questions aux caractéristiques et les pondérer  donner les règles d’agrégation des codes pour chaque caractéristique AlgorithmeAlgorithme complet et correctionscorrections 61 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

62 Étape 3 : Groupes de travail Gérer la diversité cognitive dans une classe  Apprentissage différencié  Dynamique de l’ensemble  Diminuer le nombre de cas Groupes de stéréotypes  36 stéréotypes, 15 en pratique  Grouper les stéréotypes voisins selon la composante sur laquelle l’enseignant veut travailler Ex. Groupe A (élèves en CA1) contrôlent leur calcul et commencent à choisir les outils adaptés au problème -A+ : traduisent algébriquement des situations diverses -A- : erreurs de traduction Ex. : groupes en 2 ndegroupes AlgorithmeAlgorithme de constitution des groupes 62 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

63 Évaluation des groupements En cours Observation en classe groupe IREM, 5 enseignants, 191 élèves Différentes périodes de l’année Différents niveaux Questionnaire 49 enseignants ont répondu 42 avaient fait passer le test aux élèves 63 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

64 Stéréotypes observés (N=191) 64 0% 10% 20% 30% 40% 50% C-C+B+A+B-A-

65 Résultats de l’étude des usages Globalement cohérents  évolution des stéréotypes en cours d’année et de 3° à 2 nde  Analyse statistique 4 000 réponses d’élèves (Bouchet 2015) Questionnaires : 42 réponses  Appréciation Pertinence des groupes/ résultats habituels des élèves  Exploitation Utilisation des PAD sans modifier les groupes Tests incomplets : résultats non pertinents Évolution des élèves après les parcours Certains élèves scolaires n’ont pas réussi le test Certains élèves faibles ont réussi (réponse proposées et non à formuler) Certains ont moins bien réussi -Difficultés informatiques ou à comprendre les énoncés 65 Oui pour tousOui pour certainsNon? 12142 Oui sans modifierOui en modifiantNon? 148200

66 Plan 66 Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Q1-Modèle de l’élève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

67 Q4 : Exploitation du diagnostic Tutorat individuel  Réflexion métacognitive avec l’élève Travail dans la classe  Projet avec Sésamath  Parcours d’apprentissage différencié (Pad) Thèse en didactique des mathématiques de Julia Pilet (2012) -Mise au point des parcours différenciés d’apprentissage -Expérimentations en classe Post-doc en informatique : Naima El-Kechai -Modèle de connaissances -Logiciel PépiPad : aide à la mise en place 67 DémoDémarcheDiagnostic Parcours ModèlesRésultatsProjet

68 PépiPad : Un scénario Qui ?  Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep Contexte :  MF va aborder le chapitre calcul littéral dans la classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables Prérequis  MF demande à ses élèves de passer le test à la maison  Sur LaboMep, Pépite lui propose 6 groupes  MF lance PepiPad 68 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

69 Scénario (suite) Paramétrage : MF choisit  Le thème : Identités remarquables  L’étape : Prendre un bon départ  L’objectif principal : Donner du sens aux lettres et aux expressions PépiPad affiche pour chaque groupe  les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités Adaptation  MF qui ne dispose que de 30 min sélectionne un seul objectif secondaire/groupe  PépiPad met à jour les capacités et exercices associés  MF valide  PépiPad construit des séances pour chaque groupe -Une liste d’élèves -Une liste de ressources  Écran du prof, écran d’un élève Écranécran 69 DémoDémarcheDiagnostic Parcours ModèlesRésultatsProjet

70 70 PépiPad Bilans cognitifs des élèves Générateur de Parcours Banque d’exercices Parcours générés Règles de calcul de parcours Pépite construit Utilise l'ontologie des exercices paramètre prof

71 Modèle de connaissance Parcours  Un ensemble d’exercices pour un groupe Exercices en ligne, manuels, spécifiques Lingot  Exemple de parcours (fichier xml) Exemple Exercice caractérisé (exemple d’exercice indexé, fichier xml)exemple  Capacités  Niveau scolaire  Variables didactiques Objets mathématiques Cadre et registres en jeu Degré de guidage  Identifiant  Origine (exercice MeP, ouvrage Sesamath, Lingot)  Titre 71 DémoDémarcheDiagnostic Parcours ModèlesRésultatsProjet

72 Référentiel Composantes de la compétence  Ex. calcul algébrique Groupe de capacités  Ex. calculer, tester, factoriser Capacité  Ex. calculer l’image d’un nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable  Exemple : capacités liées au calcul algébrique (fichier xml)capacités 72 DémoDémarcheDiagnostic Parcours ModèlesRésultatsProjet

73 État des lieux Fait  Conception de l’ontologie  Explicitation des objectifs  Liens objectifs/capacités/étapes  Indexation des ressources hétérogènes Exercices interactifs de Math En Poche Exercices papier des manuels et des didacticiennes  Création automatique des séances différenciées En cours  Évaluer les bénéfices pour les élèves et les profs  Travail avec IREM (Institut de recherche sur enseignement des mathématiques), ESPE Créteil 73 DémoDémarcheDiagnostic Parcours ModèlesRésultatsProjet

74 Plan 74 Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

75 Modèle du domaine Une ontologie des objets manipulés par les logiciels  Objets mathématiques  Objets didactiques Référentiel des capacitéscapacités DimensionsDimensions et critères d’évaluation 75

76 Modèles des tâches diagnostic (1) Un exercice  Interface Une analyse didactique initiale : texte et tableaux  Ex Ex Modèle conceptuel de l’exercice 3 : texte et tableaux plus précis  Ex Ex Modèle informatique de l’exercice 3 : fichier xml  Originel Un clone Originel Un clone 76 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

77 Modèles des tâches diagnostic (2) Modèle général d’une Classe d’exercice : schéma UML schéma Schémas XDS de grille d’analyse des réponses anticipées à une question  schéma schéma 77 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

78 Modèle des parcours d’apprentissage différenciés Une ontologie de référenceontologie Indexation des exercices Interface d’indexation des exercices Interface Fichier indexant un exercice Fichier Calcul de la liste des exercices en fonction Algorithme de calcul Algorithme Fichier résultat 78 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

79 Plan 79 Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

80 Résultats/Questions de recherche 1.Comment décrire les connaissances d’un élève ?  Modèles : plusieurs niveaux d’interprétation 2.Quelles situations mettre en place pour recueillir des observables ?  Modélisation des tâches diagnostiques, Banque de tests (5,4, 3, 2 nde ) 3.Comment inférer les descripteurs à partir des observables ?  Typer et coder les réponses : diagnostic individuel local Analyse multidimensionnelle automatique des réponses Logiciel de calcul de formel  Détecter les cohérences et Situer l’élève par rapport à une référence Algorithmes pour calculer les leviers et les fragilités, stéréotypes/groupes 4.Comment exploiter le diagnostic en prenant des décisions à partir des descripteurs ?  Prise de décisions didactiques (enseignants ou machine) Indexation de 120 exercices Proposition de parcours adaptés 5.Comment évaluer les outils produits ?  Preuve par construction  Preuve par utilisation, analyse numérique des réponses (fouille de données)  Analyse didactique des usages (thèse de Soraya) 80 DémoDémarcheDiagnosticParcoursModèles Résultats Projet

81 Limites Équations (thèse qui débute) Calcul numérique (en cours) Améliorer les interfaces (saisie des expressions, interface enseignant) Développer des exercices d’apprentissage interactifs Des exercices plus ludiques 81 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

82 Perspectives Moyen terme (prochain projet)  Évolution des bilans des élèves  Articuler Les parcours fondés sur les stéréotypes Avec des aides interactives fondées sur l’historique et les caractéristiques personnelles  Des scénarios plus ludiques  Extension à d’autres niveaux et thèmes  Suivi des élèves sur une longue période  Diagnostic adaptatif 82 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

83 Résultats (actuels) du projet Une méthode de diagnostic  Fondée sur une analyse didactique  3 étapes : analyse des réponses, bilan personnel, positionnement par rapport à la référence  Typage des réponses anticipées Une méthode de mise au point des parcours d’apprentissage Des modèles exécutables  de tâches diagnostiques, d’exercices, de parcours  de bilan cognitif sur trois niveaux de description Une recherche pluridisciplinaire et participative Un logiciel accessible sur une plateforme grand public Des corpus de réponses importants 83 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

84 84 Résumé : temporel Cycle N°1 (1995) : outil papier-crayon  modélisation des compétences Cycle N° 2 (2000) : logiciel Pépite  systématisation, réification du modèle de compétence  diagnostic semi-automatique Cycle N°3 (2005) : exploitation du diagnostic  expérimentations  vers un diagnostic automatique (langage naturel, raisonnement algébrique)  vers une géographie de la classe (stéréotypes) Cycle N° 4 (2008) : PépiGen et Pépinière  diagnostic plus générique (classes d’exercices) plus fiable (raisonnement algébrique) pour l’élève Cycle N° 5 (2012)  dissémination  parcours différenciés d’apprentissage  logiciel PépiPad  plusieurs niveaux DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

85 85 Résumé : objectifs scientifiques Coté recherche :  Comprendre les difficultés des élèves Récolter des corpus  Produire des modélisations exécutables d’une expertise didactique pour l’enrichir et l’approfondir Coté application :  Faciliter l’insertion dans/ l’évolution des pratiques enseignantes faciliter la genèse instrumentale  Dissémination de résultats de recherche DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

86 Questions Diagnostic cognitif  Définition ?  Comparaison avec celles de Mme Luengo ?  De M. Sander ? Diagnostic humain/diagnostic automatique ?  Difficultés ?  Évaluation de la qualité ? 86

87 Diagnostic local (pour le prof) 87

88 Diagnostic local (pour le chercheur) 88

89 Diagnostic local pour le logiciel 89

90 Diagnostic personnel global 90 Bilan Personnel de Sam Eugène Sam est dans le groupe A- Profil du groupe A- : Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu l’algèbre pour résoudre des problèmes

91 Diagnostic collectif global

92 92 Ontologie simplifiée : graphique

93 PépiIndexation 93

94 PépiPad : Caractérisation du PED 3 ObjectifCapacitéObjet entréeCadreComplexité A : Prouver l’équivalence des expressions par le calcul algébrique puis mobiliser la forme la plus adaptée d’une expression pour résoudre un problème, calculer astucieusement 3.5 3.7 17.1 Exclure 12.3 (3°) (fonction OU expression littérale) et rien d’autres algé (3°) fonc.(2°) MP, CX B : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre CS C : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre EL 94