La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 31-10-2013 Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche.

Présentations similaires


Présentation au sujet: "1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 31-10-2013 Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche."— Transcription de la présentation:

1 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche aux usages

2 Objectifs du cours Donner un exemple de Méthode coopération pluridisciplinaire chercheurs/professionnels EIAH modèle dapprenant et diagnostic cognitif TICE dissémination en classe de travaux de recherche Vous faire manipuler des prototypes de diagnostic cognitif plusieurs types de modèles et de représentations didactique : texte, tableau conceptuel : tableau, diagramme informatique : -en machine : structure dun fichier xml -à linterface : visualisation des données xml 2

3 Plan Les projets Pépite et Lingot Motivation, objectifs Démo Démarche de recherche Recherche participative et itérative Questions de recherche Diagnostic cognitif Parcours dapprentissage différencié Différents types et formats de modèles Résultats et perspectives 3

4 Des Pépites et des Lingots ? Dans la boue des productions des élèves… x + 8 = 8x Il ne faut pas additionner les puissants … trouver les granules de connaissances pour forger … des connaissances conformes au référentiel des programmes 4 DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

5 Origine du projet (~1990) Didactique Algèbre : porte dentrée/barrière enseignement scientifique Un questionnement sur lenseignement de lalgèbre Un outil papier crayon : diagnostic et activités différenciées Trop lourd à mettre en œuvre hors contexte de recherche Informatique Modélisation de lapprenant et diagnostic cognitif Automatiser un processus de diagnostic déjà très structuré validé sur le plan épistémologique, cognitif et didactique testé sur papier : étude de corpus (600 réponses) 5 DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

6 6 Le projet Lingot Objectifs Instrumenter la gestion par les enseignants de la diversité cognitive des élèves Comment ? Concevoir et mettre en œuvre des outils pour les enseignants issus de la recherche accessibles en ligne pour mettre en œuvre un enseignement différencié fondé sur un diagnostic fin des besoins des élèves et pas seulement –sur corriger des erreurs isolées –sur faciliter la tâche aux plus faibles DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

7 7 3 axes de recherche Diagnostic (projet Pépite) 1.Développer des tests diagnostiques 2.Analyser les réponses à des exercices 3.Détecter des cohérences Obstacles/Leviers pour lapprentissage 4.Situer un élève (un groupe délèves) par rapport à la compétence de référence DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

8 8 3 axes de recherche Diagnostic : Pépite Apprentissage : PépiPad Exploiter le diagnostic Parcours dapprentissage différenciés adaptés au diagnostic Instrumentation de lactivité des enseignants : PépiMep Usage des outils dans des situations de classe Mettre en ligne les outils développés Gestion dans les classes dun enseignement différencié DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

9 Didactique des maths Une équipe pluridisciplinaire Informatique Sésamath 9 Enseignants … Ergonomie

10 Sésamath Une association (2001) de bénévoles + 6 salariés Un site : Des manuels Papier : bons et moitié moins chers 18% du marché français Financent les frais de fonctionnement En ligne : gratuits et sources accessibles exercices, animations Une plateforme doutils libres et gratuits (Mep, LaboMep) Pour les profs de maths inscrits Pour les élèves : 1/4 collégien français 1 million dinscrits (sept-dec 2012) 1,3 million connections /mois 10 DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

11 LaboMep Scenario dutilisation le prof crée une séance en associant à la souris des ressources à un groupe délèves chaque élève se connecte utilise les ressources de la séance (exercices, animations) le prof peut consulter un bilan du travail des élèves 11 DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

12 Les usages de Pépite et PépiPad De nombreuses expérimentations de 2001 à 2012 En 2012 mise en ligne sur LaboMep (plateforme de Sésamath) des tests diagnostiques (3°-2nde) puis des parcours dapprentissages Pour séances de tests diagnostiques crées par des enseignants 4221 élèves ont passé le test 129 séances différenciées ont été crées 49 enseignants ont répondu à un questionnaire en ligne de 24 questions Démo 12 DémoDémarcheDiagnosticParcoursModèlesRésultats Projet

13 Plan Les projets Pépite et Lingot Motivation, objectifs Démo Démarche de recherche Recherche participative et itérative Questions de recherche Diagnostic cognitif Parcours dapprentissage différencié Différents types et formats de modèles Résultats et perspectives 13

14 Scénario Nous sommes une classe de 3° dans le collège Lingot de Terre Adélie et de LaboMep Je suis votre prof de math 1.Les prof prépare la séance de test diagnostique 2.Chaque élève (vous) se connecte sur LaboMep et passe le test en répondant aux questions (Noubliez pas de cliquer sur OK, ne revenez pas en arrière) 3.Le prof regarde les bilans et choisit un thème de travail 4.PépiPad génère une séance différenciée 5.Le prof la modifie (ou pas) et lenregistre 6.Chaque élève (vous) travaille sur les exercices de sa séance (rafraichir pour voir sa séance) 14 Démo DémarcheDiagnosticParcoursModèlesRésultatsProjet

15 Plan Les projets Pépite et Lingot Motivation, objectifs Démo Démarche de recherche Recherche participative et itérative Questions de recherche Diagnostic cognitif Parcours dapprentissage différencié Différents types et formats de modèles Résultats et perspectives 15

16 Démarche de recherche itérative Partir De lexpertise de chercheures en didactique du laboratoire André Revuz (ex-Didirem) Des létat des recherches en EIAH et en informatique LIUM, LIP6 De lexpertise des enseignants association Sésamath, IREM, IUFM Créer des modèles informatiques et des prototypes Tester les prototypes dans les classes En retour Enrichir lexpertise didactique des enseignants en conception dEIAH Être utile aux élèves et aux professeurs ? 16 Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

17 Une recherche itérative 17 (Mackay et Fayard, 1997) Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

18 18 Conception participative La participation des enseignants aux projets de recherche Difficile à mettre en œuvre Nécessite du temps Temps de la recherche Temps de laction Une réflexion pour faire leur place Des prototypes pour expérimenter Collaboration avec lassociation Sésamath "Transformer une symétrie d'ignorance en symétrie de participation et en symétrie de connaissances " [Muller 03]

19 19 Cadres conceptuels (1/2) Informatique Conception centrée utilisateur-participative (Schuller 93, Mackay 04), Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003) Ingénierie dirigée par les modèles (Favre et al. 06), Ingénierie ontologique (Mélis et al. 2008, Desmoulins 2010) EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00, Caroll 00) Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04) Analyse de corpus, de traces (Dimitracopoulos09, Choquet07, Marty&Mille09) Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

20 20 Cadres conceptuels (2/2) Didactique des mathématiques Théorie Anthropologique du Didactique (Chevallard 92), Théorie des situations didactiques (Brousseau 88), Dialectique outils/objets (Douady 90) Jeu de cadres et registres (Duval 95), Ingénierie didactique (Artigue 91) Didactique de lalgèbre (Grugeon 95, 08, Chevallard 85,Chevallard et Bosch 2012, Bardini 03, Sfard 91, Drouhard 92, Kieran 07) Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03) Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

21 Questions de recherche 1.Comment décrire les connaissances du doamine, dun élève ? Modèles de référence : didactique/enseignants/informatique 2.Quelles situations mettre en place pour recueillir des observables ? Modélisation des tâches diagnostiques, Banque de tests 3.Comment inférer les descripteurs à partir des observables ? Typer et coder les réponses : diagnostic individuel local Détecter les cohérences : diagnostic individuel global Situer lélève par rapport à une référence : stéréotypes/groupes 4.Comment exploiter le diagnostic en prenant des décisions à partir des descripteurs ? Prise de décisions didactiques (enseignants ou machine) Aide à la décision pour organiser des parcours Réflexion métacognitive avec lélève 5.Comment évaluer les résultats produits ? 21 Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

22 Cycles de recherche 1.Une analyse didactique cognitive et épistémologique un outil de diagnostic papier (Grugeon 95) 2.Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000) 3.Une nouvelle modélisation de lélève 3 niveaux : PépiStéréo (Vincent et al. 2005) 4.Une modélisation générique du diagnostic Logiciel de calcul formel : Pépinière Génération des exercices et de lanalyse automatique des raisonnements : PépiGen (Prévit 2008) 5.Dissémination : association Sésamath Prototype/application disponible à large échelle : PépiMep (Darwesh et al ) 6.Parcours dapprentissage différencié : PépiPad (Pilet 2011, El-Kechaï 2011) 22 Démo Démarche DiagnosticParcoursModèlesRésultatsProjet

23 Chronologie du projet 23 Démo Démarche DiagnosticParcoursModèlesRésultatsProjet Thèse de J. Pilet PépiPad sur LaboMep Début du recueil de traces 2013

24 Plan Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Définitions et fondements didactiques Dans Pépite Q1-Modèle de lélève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours dapprentissage différencié Différents types et formats de modèles Résultats et perspectives 24

25 Diagnostic cognitif en EIAH ? Processus « Processus qui consiste à produire de façon automatique une description des connaissances ou des savoir-faire quun système a cru déceler chez un élève en analysant les traces de son activité » (Delozanne et al. 2010) Résultat du processus Diagnostic cognitif Modèle de lélève Profil cognitif Bilan des connaissances et des compétences 25 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

26 Diagnostic cognitif Analyse de la résolution de problème par un sujet Performance Connaissances, procédures et stratégies Correctes ou inadaptées Objectifs Intervention : Évaluation diagnostique : Réguler les apprentissages formative : Améliorer la performance sommative : Certifier Scientifique Comprendre -des processus de résolution de problèmes, dapprentissage, denseignement, de conception Modéliser pour simuler, prédire, classifier 26 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

27 Différents modèles (Cf. M. Labat) Approches symboliques Psychologie cognitive ACT : geometry tutor, Algebra tutor (équipe de Pittsburg 1983 … 2013) Diane/Star : problèmes additifs école primaire (Hakem, Sander, Labat, 2005, Martin, Sander, Labat, Richard 2013) Plasturgie (Richard, Pastré, Labat et al. 2006) Didactiques des disciplines Balacheff (1995), Stacey (2003), Luengo (2010) Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011) Approches numériques IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009) Réseaux bayésiens (Labat, Hibou 2007) 27 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

28 Evidence Centred Design Analyse du domaine Modélisation du domaine Modèle conceptuel de lévaluation Modèle de lélève Modèle de diagnostic (Evidence Models) : évaluation des productions délèves par item sur lensemble du test Modèle des tâches Modèle dassemblage (test adaptatif) Modèle de présentation 28 (Mislevy 03, Shute 08) DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

29 Fondements didactiques de Pépite 29 Savoir savant Savoir enseigné Cahiers délèves, discours enseignants Savoir de référence Modèle épistémologique Savoir à enseigner Programmes officiels et documents daccompagnement Savoir appris Tests diagnostiques (Transposition didactique, Bosch et Gascon 05) DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

30 Expressions algébriques 30 Aspects épistémologiques Équivalence des programmes de calcul (Ruiz-Munzon 2010, 2012, Chevallard & Bosch, 2012) Équivalence des expressions algébriques (Frege 1971,Drouhard 1992, Kieran 2007) Dialectique du numérique et de lalgébrique (Chevallard 1985) Aspects procédural et structural des expressions algébriques (Sfard 1991) Interprétation des expressions algébriques dans dautres registres de représentation (Duval 1995, Bardini 2003) Absent Peu Présent (Pilet 2013) DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet Absent Savoir à enseigner :

31 Des savoirs et savoir-faire implicites Équivalence des expressions Peu de référence à la dénotation à lorganisation du contrôle des calculs Dialectique du numérique et de lalgébrique Peu de lien avec le numérique (2 expressions renvoient ou non les mêmes valeurs) Aspect structural et procédural Peu de référence au processus de calcul, à la reconnaissance de la structure Expressions et consignes standardisées Lien avec dautres registres de représentations Peu de programmes et de schémas de calcul Un sens de traduction privilégié 31 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

32 Types de tâches (extrait) 32 ProduireAssocier Traduire Développer Factoriser Réécrire Calculer Prouver léquivalence Identifier la structure Tester léquivalence Choisir lexpression la plus adaptée Génération des expressions Équivalence des expressions Algèbre des polynômes Absent Peu Présent Présent DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

33 Hypothèses didactiques H1 : Une explication possible des difficultés des élèves Les trous, les implicites Le peu de diversité dans le type des expressions et les problèmes traités H2 : Les réponses des apprenants à des problèmes bien choisis révèlent des cohérences dans leur raisonnement Q1 : Comment identifier ces cohérences ? H3 : Détecter ces cohérences permet aux enseignants de définir des stratégies différenciées denseignement Q2 : Comment différencier les apprentissages en sappuyant sur ces cohérences ? 33 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

34 Hypothèses informatiques H1 : Il est possible de concevoir un logiciel pour recueillir des traces numériques de lactivité algébrique des élèves pour détecter des cohérences H2 : Il est possible de concevoir un logiciel qui le détecte de façon automatique (au moins partiellement) H3 : Les logiciels produits pourront être utilisés dans les classes H4 : La modélisation informatique de lexpertise didactique fera évoluer cette dernière 34 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

35 Plan Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Définitions, Fondements Dans Pépite Q1-Modèle de lélève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours dapprentissage différencié Différents types et formats de modèles Résultats et perspectives 35

36 Q de recherche (rappel) 1.Quel modèle de lélève ? Quels descripteurs ? Logiciel pour présenter les résultats : PépiProf 2.Comment recueillir les observables ? Logiciel pour faire passer un test aux élèves : PépiTest 3.Comment analyser les observables pour obtenir les descripteurs ? Logiciel de diagnostic : PépiDiag 4.Comment exploiter les résultats du diagnostic ? Logiciel pour calculer des parcours dapprentissage différencié : PépiPad 5.Comment évaluer les résultats ? 36 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

37 Méthode de diagnostic Trois temps 1.Diagnostic local Analyse de la réponse à une question Types de réponses anticipées + vecteur de codes 2.Diagnostic global individuel Cohérences entre les réponses Par composante : taux de réussite + leviers, fragilités, règles fausses et correctes 3.Diagnostic global collectif Position de lélève par rapport à une référence/au groupe Niveau sur chaque composante Caractéristiques communes à un groupe 37

38 Architecture de PépiMep 38 Exploite PépiDiag PépiDiagLocalPépiDiagGlobal DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

39 Q1 : Modéliser les connaissances dun élève Enseignants Connaissance de référence : capacités (Programmes scolaires) ex. : traduire une expression algébrique comme aire dune figure, factoriser une expression littérale en appliquant une identité remarquable Connaissances dun élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques Connaissance de référence Organisation mathématique/didactique Composantes de la compétence algébrique Des problèmes variés pour couvrir lensemble des composantes -trous, capacités implicites Connaissances dun élève Cohérences dans lactivité mathématique des élèves -Pas seulement des erreurs Rupture entre pensée algébrique et arithmétique Leviers et obstacles pour lapprentissage 39 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

40 Modèle de lélève dans Pépite 3 niveaux de description 40 Diagnostic global collectif (exemple)exemple Stéréotype et groupeNiveau sur chaque composante Diagnostic global individuel (sur un ensemble dexercices)(ex)ex Caractéristiques personnelles, leviers et fragilités Par composante :Taux de réussite, indicateurs Diagnostic local (sur un exercice) (exemple)exemple Type de réponse et règles appliquéesCodage sur 8 dimensions DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

41 Q2 : Recueillir des observables ? Un élève passe un test Un ensemble dexercices conçus pour détecter des cohérences dans lactivité mathématique des élèves Erreurs/réussites faiblesses/leviers dapprentissage Un exercice diagnostique Énoncé et questions Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement) Une grille danalyse des réponses Types de réponses anticipées Évaluation multidimensionnelle de ces réponsesÉvaluation 41 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

42 Un exercice diagnostique 42 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

43 Diagnostic local(1) RéponseTypeCodes + interprétations x + 8 = 8x 8x 3 × 8x = 24+3x= 27x 27x-4 = 23x 23x+x=24x 24x/4=6x 6x+2=8x 8x-x=7 Type 7.3 Démarche de preuve algébrique : lénoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée V3 incorrecte L3 lettres avec règles fausses E2 = annonce de résultat J31 pseudo-formelle T2 traduction pas-à-pas séparée EA42 règle incorrecte d assemblage Règles utilisées (incorrectes) : A+B = AB A X B = (A B) X A X - X = A – 1 43 Dimensions dévaluation Validité Usage des Lettres Signe d É galité Justification Traduction Écritures Numériques Écritures Algébriques DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

44 Diagnostic local(2) RéponsesTypeCodes + interprétations = × 3 = = = 32 32/4 = = = 7 Type 12.3 Preuve par un exemple : lénoncé est traduit par des calculs pas à pas corrects V3 incorrecte L5 pas de lettres E2 = annonce de résultat J2 justification par un exemple T2 traduction pas-à-pas séparée EN1 écritures numériques correctes 44 Dimensions dévaluation Validité Usage des Lettres Signe d É galité Justification Traduction Écritures Numériques Écritures Algébriques DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

45 Diagnostic local (3) Réponses délèvesCodes + interprétations (3+8 × 3-4+3)/ / V3 incorrecte L5 pas de lettres J2 par lexemple T3 globale non parenthésée EN1 : écritures numériques correctes ((5+8)×3-4+5)/4+2-5=7 ? ((13)×3-4+5)/4+2-5=7 ? (39-4+5)/4+2-5=7 ? =7 ? 10-3=7 ? 7=7 ? V3 incorrecte L5 pas de lettres J2 par lexemple T1 globale parenthèsée, équation EN1 : écritures numériques correctes ((x + 8) × x) / x =( 3x x)/ x =(4x +20) / x =x x =7 V1 correcte, L1 nb généralisé J1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. Correcte Règles utilisées (A+B)C = AC+BC Règle correcte AC+BC = (A+B)C Règle correcte (A+B)/C = A/C+B/C Règle correcte AC+BC = (A+B)C Règle correcte 45

46 Q2(suite) : Recueillir des observables Définir une banque dexercices et de tests diagnostiques Travail didactique (1995) et premier prototype Pépite1 (2000) Ensemble figé dexercices figés Utilisable une seule fois à un seul niveau de classe Thèse de D. Prévit (2008) Logiciels PépiGen et Pépinière Caractérisation des exercices équivalents du point de vue diagnostique (clones) -Modèle des tâches diagnostiques Logiciel qui génère des clones Analyse multicritère automatique des réponses ouvertes à chacun de ces clones 46 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

47 47 PépiGen Auteur Système auteur PépiGen saisit les paramètres Pépinière expression algébrique arbre des solutions anticipées est chargé produit un clone Modèle de Classe Exercices diagnostiques XM L Banques dexercices XM L DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

48 48

49 49 Grille de codage : (x + 2)* * x Tentative de démarche algébrique mais lénoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects 10.7 V3,L3,T4,J3 (x+2)*3 x*3+6 V,7 3*x 3*x+6-3*x 6 V,31 (x+2)*3=3x+6-3x=6 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

50 50 Pépinière Logiciel de calcul formel qui manipule des arbres pour : Analyse syntaxique des expressions algébriques Grammaire algébrique Transformations algébriques Règles de réécriture correctes ou incorrectes Génération des solutions plausibles anticipées Unification et heuristiques Comparaison des expressions algébriques Arbres superposables DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

51 Arbre des solutions anticipées (x+2)*3-3x -2x+6 6 3x+6-3x x*3+2*3-3xx+2*3-3x 3x+6-3x 6x 9x-3x R1 R3 R2 R4 R3 9x-3x 6x Erreur de parenthèse avec mémoire Règles correctes R1 : (A+B)C AC+BC R3 : AB+AC A(B+C) R2: (A+B)C A+BC R4: AB+C B(A+C) Règles erronées 6 R3 R4 V1,EA1V3,EA42V3,EA31 V3,EA3142 V3,EA32

52 Plan Les projets Pépite et Lingot Diagnostic cognitif ? Définitions Dans Pépite Q1-Modèle de lélève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours dapprentissage différencié Différents types et formats de modèles Résultats et perspectives 52

53 Q3 : Analyser les observables ? Comment construire le modèle des compétences dun élève ? Lélève passe un test PépiTest Ses réponses sont mémorisées PépiDiag construit le diagnostic en 3 étapes 1.Analyse multidimensionnelle de chaque réponse : type de réponse et vecteur de codes (diagnostic local) 2.Agrégation des codes Bilan cognitif : caractéristiques personnelles + stéréotype 3.Formation dun groupe pour un même parcours dapprentissage 53 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

54 54 Interpréteur : PépiTest Elève XM L Interpréteur PépiTest Résout les exercices Charge le test avec les réponses de lélève est chargé Enregistre le test avec les réponses de lélève Test constitué dexercices XM L Réponse de lélève DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

55 Étape 1 : Analyse des réponses Diagnostic local : PépiDiag Compare la réponse de lélève à une des réponses anticipées de la grille de codage Utilise un logiciel de calcul formel : Pépinière Traite les problèmes de commutativité Détecte les règles (correctes/incorrectes) Teste léquivalence des expressions 55 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

56 56 Diagnostiqueur : PépiDiag XM L Diagnostiqueur PépiDiag est chargé Module Pépinière Tester léquivalence de 2 arbres dexpression retourne vrai/faux Enregistre les réponses avec le diagnostic local (type et codes) XM L grilles de codage XM L Réponse de lélève est chargé DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

57 Conception du diagnostic local Fondée sur les réponses anticipées Analyse didactique+corpus ->grille de codage Réponses ouvertes réponses non diagnostiquées par le logiciel :~10-15 % Erreur de saisie Réponses imprévisibles Couteux En expertise didactique + Analyse de corpus Efficace pour les réponses avec une seule expression algébrique Ajout facile dun type de réponse Complexe pour les raisonnements 57 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

58 Évaluation du diagnostic local Dépend du type de question (ouverte/fermée) Comparaison Diagnostic machine/humain N = 360 élèves 3 experts trouvent le travail fastidieux (7 à 10 h pour un seul exercice) se trompent plus que le logiciel Critères Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag Réponses en une seule expression : OK Raisonnement algébrique : OK Raisonnement en LN : certains Réponses imprévisibles ~10 % 2/3 des réponses (incorrectes) non analysées par le logiciel, ne sont pas non plus analysées par les experts 58 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

59 Étape 2 : Bilan cognitif Bilan = Stéréotype niveau de compétence sur les 3 composantes -Usage de lalgèbre -Calcul algébrique -Traduction dune représentation dans une autre Caractéristiques personnelles taux de réussite leviers fragilités liste des erreurs liste des réussites 59 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

60 Algorithme de calcul des stéréotypes Établi (laborieusement) à partir dune analyse didactique du classement mené par 3 experts sur un corpus de 360 réponses au test de calibrage des seuils suite à limplémentation de lalgorithme Résultat liste de caractéristique personnelles associer les questions aux caractéristiques et les pondèrer donner les règles dagrégation des codes pour chaque caractéristique AlgorithmeAlgorithme complet et correctionscorrections 60 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

61 Étape 3 : Groupes de travail Gérer la diversité cognitive dans une classe Apprentissage différencié Dynamique de lensemble Diminuer le nombre de cas Groupes de stéréotypes 36 stéréotypes, 15 en pratique Grouper les stéréotypes voisins selon la composante sur laquelle lenseignant veut travailler Ex. Groupe A (élèves en CA1) contrôlent leur calcul et commencent à choisir les outils adaptés au problème -A+ : traduisent algébriquement des situations diverses -A- : erreurs de traduction Ex. : groupes en 2 ndegroupes AlgorithmeAlgorithme de constitution des groupes 61 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

62 Évaluation des groupements En cours Observation en classe groupe IREM, 5 enseignants, 191 élèves Différentes périodes de lannée Différents niveaux Questionnaire 49 enseignants ont répondu 42 avaient fait passer le test aux élèves 62 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

63 Stéréotypes observés (N=191) 63 0% 10% 20% 30% 40% 50% C-C+B+A+B-A-

64 Résultats de létude des usages Globalement cohérents évolution des stéréotypes en cours dannée et de 3° à 2 nde Questionnaires : 42 réponses Appréciation Pertinence des groupes/ résultats habituels des élèves Exploitation Utilisation des PAD sans modifier les groupes -Tests incomplets : résultats non pertinents -Évolution des élèves après les parcours -Certains élèves scolaires nont pas réussi le test -Certains élèves faibles ont réussi (réponse proposées et non à formuler) -Certains ont moins bien réussi –Difficultés informatiques ou à comprendre les énoncés 64 Oui pour tousOui pour certainsNon? Oui sans modifierOui en modifiantNon?

65 Plan 65 Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Q1-Modèle de lélève Q2-Exercices de diagnostic et génération de clones Q3-Diagnostic local/global Q4-Parcours dapprentissage différencié Différents types et formats de modèles Résultats et perspectives

66 Q4 : Exploitation du diagnostic Tutorat individuel Réflexion métacognitive avec lélève Travail dans la classe Projet avec Sésamath Parcours dapprentissage différencié (Pad) Thèse en didactique des mathématiques de Julia Pilet -Mise au point des parcours dapprentissage différencié -Expérimentations en classe Post-doc en informatique : Naima El-Kechai -Modèle de connaissances -Logiciel PépiPad : aide à la mise en place 66 DémoDémarcheDiagnostic Parcours ModèlesRésultatsProjet

67 PépiPad : Un scénario Qui ? Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep Contexte : MF va aborder le chapitre calcul littéral dans la classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant dintroduire les identités remarquables Prérequis MF demande à ses élèves de passer le test à la maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad 67 DémoDémarche Diagnostic ParcoursModèlesRésultatsProjet

68 Scénario (suite) Paramétrage : MF choisit Le thème : Identités remarquables Létape : Prendre un bon départ Lobjectif principal : Donner du sens aux lettres et aux expressions PépiPad affiche pour chaque groupe les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités Adaptation MF qui ne dispose que de 30 min sélectionne un seul objectif secondaire/groupe PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe -Une liste délèves -Une liste de ressources Écran du prof, écran dun élève Écranécran 68 DémoDémarcheDiagnostic Parcours ModèlesRésultatsProjet

69 69 PépiPad Bilans cognitifs des élèves Générateur de Parcours Banque dexercices Parcours générés Règles de calcul de parcours Pépite construit Utilise l'ontologie des exercices paramètre prof

70 Modèle de connaissance Parcours Un ensemble dexercices pour un groupe Exemple de parcours (fichier xml) Exemple Exercice caractérisé (exemple dexercice indexé, fichier xml)exemple Capacités Niveau scolaire Variables didactiques Objets mathématiques Cadre et registres en jeu Degré de guidage Identifiant Origine (exercice MeP, ouvrage Sesamath, Lingot) Titre 70 DémoDémarcheDiagnostic Parcours ModèlesRésultatsProjet

71 Référentiel Composantes de la compétence Ex. calcul algébrique Groupe de capacités Ex. calculer, tester, factoriser Capacité Ex. calculer limage dun nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable Exemple : capacités liées au calcul algébrique (fichier xml)capacités 71 DémoDémarcheDiagnostic Parcours ModèlesRésultatsProjet

72 Etat des lieux Fait : Conception de lontologie Explicitation des objectifs Liens objectifs/capacités/étapes Indexation des ressources hétérogènes Exercices interactifs de Math En Poche Exercices papier des manuels et des didacticiennes Création automatique des séances différenciées En cours Évaluer les bénéfices pour les élèves et les profs 72 DémoDémarcheDiagnostic Parcours ModèlesRésultatsProjet

73 Plan 73 Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Parcours dapprentissage différencié Différents types et formats de modèles Résultats et perspectives

74 Modèle du domaine Une ontologie des objets manipulés par les logiciels Objets mathématiques Objets didactiques Référentiel des capacitéscapacités DimensionsDimensions et critères dévaluation 74

75 Modèles des tâches diagnostic (1) Un exercice Interface Une analyse didactique initiale : texte et tableaux Ex Modèle conceptuel de lexercice 3 : texte et tableaux plus précis Ex Modèle informatique de lexercice 3 : fichier xml Originel Un clone OriginelUn clone 75 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

76 Modèles des tâches diagnostic (2) Modèle général dune Classe dexercice : schéma UML schéma Schémas XDS de grille danalyse des réponses anticipées à une question schéma 76 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

77 Modèle des parcours dapprentissage différenciés Une ontologie de référenceontologie Indexation des exercices Interface dindexation des exercices Interface Fichier indexant un exercice Fichier Calcul de la liste des exercices en fonction Algorithme de calcul Algorithme Fichier résultat 77 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

78 Plan 78 Les projets Pépite et Lingot Démo Démarche de recherche Diagnostic cognitif ? Parcours dapprentissage différencié Différents types et formats de modèles Résultats et perspectives

79 Résultats/Questions de recherche 1.Comment décrire les connaissances dun élève ? Modèle à plusieurs niveaux dinterprétation 2.Quelles situations mettre en place pour recueillir des observables ? Modélisation des tâches diagnostiques, Banque de tests 3.Comment inférer les descripteurs à partir des observables ? Typer et coder les réponses : diagnostic individuel local Analyse multidimensionnelle automatique des réponses Logiciel de calcul de formel Détecter les cohérences et Situer lélève par rapport à une référence Algorithmes pour calculer les leviers et les fragilités, stéréotypes/groupes 4.Comment exploiter le diagnostic en prenant des décisions à partir des descripteurs ? Prise de décisions didactiques (enseignants ou machine) Indexation de 120 exercices Proposition de parcours adaptés 5.Comment évaluer les outils produits ? Preuve par construction Preuve par utilisation Analyse didactique des usages (thèse de Soraya) 79 DémoDémarcheDiagnosticParcoursModèles Résultats Projet

80 Limites Équations Autres niveau (5°,4°) Améliorer les interfaces (saisie des expressions, interface enseignant) Développer des exercices interactifs Des exercices plus ludiques 80 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

81 Perspectives Moyen terme (prochain projet) Évolution des bilans des élèves Articuler Les parcours fondés sur les stéréotypes Avec des aides interactives fondées sur lhistorique et les caractéristiques personnelles Des scénarios plus ludiques Extension à dautres niveaux et thèmes 81 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

82 Résultats (actuels) du projet Une méthode de diagnostic Fondée sur une analyse didactique 3 étapes : analyse des réponses, bilan personnel, positionnement par rapport à la référence Typage des réponses anticipées Une méthode de mise au point des parcours dapprentissage Des modèles exécutables de tâches diagnostiques, dexercices, de parcours de bilan cognitif sur trois niveaux de description Une recherche pluridisciplinaire et participative Un logiciel accessible sur une plateforme grand public Des corpus de réponses importants 82 DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

83 83 Résumé : temporel Cycle N°1 (1995) : outil papier-crayon modélisation des compétences Cycle N° 2 (2000) : logiciel Pépite systématisation, réification du modèle de compétence diagnostic semi-automatique Cycle N°3 (2005) : exploitation du diagnostic expérimentations vers un diagnostic automatique (langage naturel, raisonnement algébrique) vers une géographie de la classe (stéréotypes) Cycle N° 4 (2008) : PépiGen et Pépinière diagnostic plus générique (classes dexercices) plus fiable (raisonnement algébrique) pour lélève Cycle N° 5 (2012) dissémination parcours différenciés dapprentissage Logiciel PépiPad DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

84 84 Résumé : objectifs scientifiques Coté recherche : Comprendre les difficultés des élèves Récolter des corpus Produire des modélisations exécutables dune expertise didactique pour lenrichir et lapprofondir Coté application : Faciliter linsertion dans/ lévolution des pratiques enseignantes faciliter la genèse instrumentale Dissémination de résultats de recherche DémoDémarcheDiagnosticParcours Modèles RésultatsProjet

85 Questions Diagnostic cognitif Définition ? Comparaison avec celles de M. Labat ? De M. Sander ? Diagnostic humain/diagnostic automatique ? Difficultés ? Évaluation de la qualité ? 85

86 Diagnostic local (pour le prof) 86

87 Diagnostic local (pour le chercheur) 87

88 Diagnostic local pour le logiciel 88

89 Diagnostic personnel global 89 Bilan Personnel de Sam Eugène Sam est dans le groupe A- Profil du groupe A- : Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu lalgèbre pour résoudre des problèmes

90 Diagnostic collectif global

91 91 Ontologie simplifiée : graphique

92 PépiIndexation 92

93 PépiPad : Caractérisation du PED 3 ObjectifCapacitéObjet entréeCadreComplexité A : Prouver léquivalence des expressions par le calcul algébrique puis mobiliser la forme la plus adaptée dune expression pour résoudre un problème, calculer astucieusement Exclure 12.3 (3°) (fonction OU expression littérale) et rien dautres algé (3°) fonc.(2°) MP, CX B : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre CS C : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre EL 93


Télécharger ppt "1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 31-10-2013 Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche."

Présentations similaires


Annonces Google