La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Chambéry le 24 octobre 20061 La scénarisation de l'évaluation des activités pédagogiques utilisant les Environnements Informatiques d'Apprentissage Humain.

Présentations similaires


Présentation au sujet: "Chambéry le 24 octobre 20061 La scénarisation de l'évaluation des activités pédagogiques utilisant les Environnements Informatiques d'Apprentissage Humain."— Transcription de la présentation:

1 Chambéry le 24 octobre La scénarisation de l'évaluation des activités pédagogiques utilisant les Environnements Informatiques d'Apprentissage Humain Guillaume Durand Université de Savoie, laboratoire SysCom, équipe Scénario Odile Jacob Education

2 Chambéry le 24 octobre Introduction Thèse Cifre entre Université de Savoie (SysCom) et Odile Jacob Education (OJE). Problème: Les enseignants ne tiennent pas compte des résultats dévaluation [Dinet &al 02].

3 Chambéry le 24 octobre Le laboratoire Thèmes de recherche du laboratoire SysCom (équipe scénario) : -Les Espaces Numériques de Travail (ENT) (Cartable électronique), -La Scénarisation des Activités Coopératives dans le domaine de léducation (Modèle de Participation), -Les Langages de Modélisation Pédagogique (LMP), (Learning Design Language - LDL). 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

4 Chambéry le 24 octobre Lévaluation scolaire Un objet détude Fait lobjet de nombreux travaux dans des domaines de recherche divers (sciences de léducation, docimologie, …). Pas une, mais plusieurs définitions de lévaluation. Selon Hadji [Hadji 90], évaluer, cest « mettre en relation des éléments issus dun observable appelés référé et un référent pour produire de linformation éclairante sur le référé » 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

5 Chambéry le 24 octobre Lévaluation scolaire Pas une évaluation mais des évaluations 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

6 Chambéry le 24 octobre Lévaluation dans les EIAH La même diversité 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

7 Chambéry le 24 octobre Lévaluation dans les EIAH Les limites (I) Un seul type dévaluation Exemple: OASYS [Ward &al 04] Evaluation formatrice Co-évaluation 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

8 Chambéry le 24 octobre Pas de paramétrage possible Exemple : TDmaths [OJE 03] Comment modérer une évaluation sommative en fonction des compétences de lapprenant ? 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse Lévaluation dans les EIAH Les limites (II)

9 Chambéry le 24 octobre Des résultats difficiles à interpréter Exemple : Pépite [Delozanne &al 04] Leur signification ? Comment ont-ils été obtenus ? 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse Lévaluation dans les EIAH Les limites (III)

10 Chambéry le 24 octobre Lévaluation dans les EIAH Les freins à lutilisation Unicité du modèle dévaluation vs choix des modèles Fixité de la méthode dévaluation vs paramétrage Résultat incompréhensible vs résultat explicable. 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

11 Chambéry le 24 octobre Lévaluation dans les EIAH Un autre frein, plus trivial Difficulté pour les enseignants dutiliser les résultats de lEIAH dans les évaluations obligatoires quils ont à fournir. 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

12 Chambéry le 24 octobre Les ENT La réponse de linstitution Interopérabilité des services, Urbanisation des systèmes dinformation, Agrégation de services métiers (scolarité), Fédération des acteurs : administratifs, parents, élèves, enseignants. 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

13 Chambéry le 24 octobre Les ENT Interopérabilité avec les EIAH Très rares sont les EIAH répondant à ces caractéristiques 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

14 Chambéry le 24 octobre Dans la perspective des ENT Deux problèmes peuvent être résolus Compréhension des résultats Capitalisation des résultats (Interopérabilité des EIAH avec les services) 1 ère partie Contexte Lévaluation scolaire Lévaluation et les EIAH Les ENT Les LMP Synthèse

15 Chambéry le 24 octobre Lévaluation dans les ENT Un premier objectif de recherche Proposer un format de résultats commun aux EIAH. 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

16 Chambéry le 24 octobre Lévaluation dans les ENT Le besoin dune évaluation dynamique « Intégrer lévaluation aussi souplement que possible dans les activités pédagogiques en conservant les moyens de ladapter » Quels sont les moyens de modéliser les activités pédagogiques ? 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

17 Chambéry le 24 octobre Les LMP Les LMP (IMS-LD, LDL) permettent de scénariser les activités pédagogiques. Un scénario pédagogique est la « description du déroulement dune situation dapprentissage en terme de rôles, dactivités et lenvironnement nécessaire à sa mise en oeuvre, mais aussi en termes de connaissances manipulées » [Pernin 03] 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

18 Chambéry le 24 octobre Les LMP Le cycle de vie du scénario 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

19 Chambéry le 24 octobre Les LMP LDL Learning Design Language (LDL) [Martel &al 06] comprend un petit nombre d'éléments. 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

20 Chambéry le 24 octobre Les LMP LDL, des scénarios réels La chasse au trésor (école dété EIAH 2005) Lapprentissage de lélectricité au collège (Kaleidoscope, SVL 2006) Le jeu des planètes (Workshop ICALT 2006 ) 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

21 Chambéry le 24 octobre Les LMP Peuvent-ils aider à saffranchir de : Lunicité du modèle dévaluation. La fixité de la méthode dévaluation. 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

22 Chambéry le 24 octobre Les LMP Un second objectif de recherche Utiliser les langages de modélisation pour scénariser lévaluation. 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

23 Chambéry le 24 octobre Synthèse Pb initial : Les résultats ne sont pas utilisés par les enseignants dans TDmaths. Les hypothèses : Unicité du modèle dévaluation, Fixité de la méthode dévaluation, Résultat incompréhensible, Interopérabilité des EIAH avec les services. Les objectifs : 1.Proposer un format de résultats 2.Utiliser les LMP pour décrire des évaluations 1 ère partie Contexte Lévaluation scolaire Lévaluation dans les EIAH Les ENT Les LMP Synthèse

24 Chambéry le 24 octobre Modèle de résultats Méthodologie Formats existants (IMS-QTI, IMS-LIP, SCORM, etc.) EIAH (TDmaths, Pépite, etc.) ENT (Portail de lUniv. Savoie, Moodle, Sakaï, etc.) Les projets spécialisés (TenCompetence, Kaleidoscope) Formats de traces (Musette, MTSA, UTL, etc.) Enseignants (Auteurs OJE) 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives Modèle de résultats Format de résultats Itératif

25 Chambéry le 24 octobre Modèle de résultats Obtention des résultats Exemples : EIAHProduitEvaluationRésultat CATQuestionnairesSommativePourcentage SPLACHDiscussionFormativeProfil social PépiteQuestionnairesDiagnostiquePourcentages de maîtrise de compétences GenEvalQuestionnairesFormatricenote 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

26 Chambéry le 24 octobre Modèle de résultats Evaluer quoi et comment ? 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

27 Chambéry le 24 octobre Modèle de résultats Exemple Un système de CAT: 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

28 Chambéry le 24 octobre Modèle de résultats Place des acteurs Des acteurs différents dans lobtention dun résultat dévaluation. EvaluationEvaluéEvaluateur FormativeApprenantEnseignant Formatrice (auto-évaluation) Apprenant 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

29 Chambéry le 24 octobre Modèle de résultats Notion de compétence Des résultats qui sont en relation avec des compétences et des échelles de compétences : EIAHType de compétences PépiteCompétences disciplinaires TDmathsCompétences transversales 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

30 Chambéry le 24 octobre Modèle de résultats Modèle de Résultat Commun (MRC) 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

31 Chambéry le 24 octobre Modèle de résultats MRC avec TDmaths MRCTDmaths ActeurApprenant/TDmaths EIAHTDmaths ProduitQuestion CaractéristiqueRéponse EvaluationComparaison CritèreBonne réponse RésultatNote CompétenceCompétences transversales 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

32 Chambéry le 24 octobre Modèle de résultats MRC avec Pépite MRCPépite ActeurApprenant/Pépite EIAHPépite ProduitQuestion CaractéristiqueRéponse EvaluationComparaison CritèreBonne réponse RésultatPourcentage CompétenceCompétence disciplinaire 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

33 Chambéry le 24 octobre Format de résultats Transformation de MRC en XML. Exemple: Evaluation dune dictée.... Recherche de fautes d'orthographe Orthographe_dictée enseignant Guillaume Durand 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

34 Chambéry le 24 octobre Format de résultats retrait d'un point par faute d'orthographe.... 1>18 chaîne au lieu de chêne Attention plages et au pluriel! En progrès seulement deux fautes ! nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

35 Chambéry le 24 octobre Format de résultats Expression des compétences S appuie sur IMS-RDCEO. Formalisme dexpression de compétences. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

36 Chambéry le 24 octobre Format de résultats Lien avec IMS-RDCEO.... …. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

37 Chambéry le 24 octobre Format de résultats Synthèse Le format de résultat : Permet d exprimer les résultats produits par les EIAH, Donne une signification aux résultats. Premier objectif : 1.Interopérabilité des résultats, 2.Compréhension des résultats. Ma Première contribution. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

38 Chambéry le 24 octobre Scénariser lévaluation Méthodologie 1.Prouver conceptuellement quun LMP peut exprimer une activité comportant une évaluation, 2.Implémenter et jouer ces scénarios, 3.Lever les verrous et adapter le LMP et/ou son infrastructure. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

39 Chambéry le 24 octobre Scénariser lévaluation Preuve conceptuelle Une activité différente pour chaque type dévaluation. Exemple: Evaluation diagnostique qui vise à construire des groupes de compétence. Lenseignant propose un questionnaire aux apprenants et les inscrit dans un groupe suivant leurs scores. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

40 Chambéry le 24 octobre Scénariser lévaluation Modélisation de lexemple 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives Scénarisation d une activité comportant une évaluation diagnostique Eléments de LDLComposants du scénario RôlesCandidat et examinateur EnceintesQuestionnaire, visualisation du score, attribution du groupe. InteractionsRépondre au questionnaire, consulter le score de lapprenant, attribuer un groupe. StructuresStructure principale (séquentielle) répondre au questionnaire, consulter le score de lapprenant, attribuer un groupe. Positionsscore, groupe final. RèglesRègles de démarrage et darrêt de la structure et des interactions. Preuve Conceptuelle

41 Chambéry le 24 octobre nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives Scénariser lévaluation Exécution de lexemple Scénarisation d une activité comportant une évaluation diagnostique Eléments de LDLComposants du scénario RôlesCandidat et examinateur EnceintesQuestionnaire, visualisation du score, attribution du groupe. InteractionsRépondre au questionnaire, consulter le score de lapprenant, attribuer un groupe. StructuresStructure principale (séquentielle) répondre au questionnaire, consulter le score de lapprenant, attribuer un groupe. Positionsscore, groupe final. RèglesRègles de démarrage et darrêt de la structure et des interactions. Non Exécutable

42 Chambéry le 24 octobre Scénariser lévaluation Les verrous de lexemple 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives Scénarisation d une activité comportant une évaluation diagnostique Eléments de LDLComposants du scénario RôlesCandidat et examinateur EnceintesQuestionnaire, visualisation du score, attribution du groupe. InteractionsRépondre au questionnaire, consulter le score de lapprenant, attribuer un groupe. StructuresStructure principale (séquentielle) répondre au questionnaire, consulter le score de lapprenant, attribuer un groupe. Positionsscore, groupe final. RèglesRègles de démarrage et darrêt de la structure et des interactions. Premier verrou

43 Chambéry le 24 octobre Scénariser lévaluation Premier verrou Le problème de lassociation des positions aux produits et résultats de lapprenant. …. …. …. Lien ? 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

44 Chambéry le 24 octobre Scénariser lévaluation Les positions dont la valeur est obtenue par lobservation resultatTDmaths …. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

45 Chambéry le 24 octobre Scénariser lévaluation Second verrou 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives Scénarisation d une activité comportant une évaluation diagnostique Eléments de LDLComposants du scénario RôlesCandidat et examinateur EnceintesQuestionnaire, visualisation du score, attribution du groupe. InteractionsRépondre au questionnaire, consulter le score de lapprenant, attribuer un groupe. StructuresStructure principale (séquentielle) répondre au questionnaire, consulter le score de lapprenant, attribuer un groupe. Positionsscore, groupe final. RèglesRègles de démarrage et darrêt de la structure et des interactions. Second verrou

46 Chambéry le 24 octobre Scénariser lévaluation Les enceintes de type méthode Voir la réponse de l'élève 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

47 Chambéry le 24 octobre Scénariser lévaluation Synthèse intermédiaire Utiliser les LMP pour décrire des évaluations : Permet de choisir un modèle dévaluation, Permet dadapter la méthode dévaluation. Deuxième objectif : Choix du modèle dévaluation, Paramétrage de la méthode dévaluation. Notre seconde contribution. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

48 Chambéry le 24 octobre Scénariser lévaluation Limites de cette première approche Un seul scénario pour décrire les phases dévaluation et dapprentissage : Scénarios très complexes, Non réutilisables, Evaluation non modifiable en cours dactivité. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

49 Chambéry le 24 octobre Scénariser lévaluation Un nouvel Objectif Hypothèse: Lévaluation est une activité. Nouvel Objectif : Scénariser lévaluation dans un scénario autonome. Intérêts: Réutilisabilité des scénarios, Adapter lévaluation durant lactivité (et non lors de la conception), Simplifier lécriture des scénarios. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

50 Chambéry le 24 octobre Scénariser lévaluation Méthodologie 1.Prouver conceptuellement quun LMP peut exprimer un scénario dévaluation, 2.Implémenter et jouer ces scénarios, 3.Lever les verrous et adapter le LMP et/ou son infrastructure. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

51 Chambéry le 24 octobre Scénariser lévaluation La situation choisie : le jeu des planètes proposée à ICALT nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

52 Chambéry le 24 octobre Scénariser lévaluation Modélisation de lévaluation sommative 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives Scénarisation de lactivité dévaluation sommative Eléments de LDLComposants du scénario RôlesEnseignant et élèves EnceintesQuestionnaire, Proclamation du vainqueur. InteractionsRépondre au questionnaire, Voir le vainqueur. StructuresStructure principale (séquentielle) répondre au questionnaire, voir le vainqueur. PositionsPosition de démarrage de la structure principale et une autre pour la terminée. RèglesRègles de démarrage et darrêt de la structure et des interactions. Preuve Conceptuelle

53 Chambéry le 24 octobre Scénariser lévaluation Modélisation de lévaluation sommative 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives Scénarisation de lactivité dévaluation sommative Eléments de LDLComposants du scénario RôlesEnseignant et élèves EnceintesQuestionnaire, Proclamation du vainqueur. InteractionsRépondre au questionnaire, Voir le vainqueur. StructuresStructure principale (séquentielle) répondre au questionnaire, voir le vainqueur. PositionsPosition de démarrage de la structure principale et une autre pour la terminée. RèglesRègles de démarrage et darrêt de la structure et des interactions. Non Exécutable

54 Chambéry le 24 octobre Scénariser lévaluation Verrou : partage dinformations 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

55 Chambéry le 24 octobre Scénariser lévaluation Les positions partagées les_consignes eleve infrastructure 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives FinACT equalTo 1

56 Chambéry le 24 octobre Scénariser lévaluation Synthèse sur les scénarios dévaluation Utiliser les LMP pour décrire des évaluations : Permet de choisir, changer, ajouter, un modèle dévaluation, en cours dactivité, Permet dadapter la méthode dévaluation durant lactivité dapprentissage. Troisième Objectif : Réutilisabilité des scénarios, Adapter lévaluation durant lactivité (et non lors de la conception), Simplifier lécriture des scénarios. Notre troisième contribution. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

57 Chambéry le 24 octobre Synthèse Les objectifs atteints Premier objectif: Un format de résultat. Deuxième objectif: Utiliser les LMP pour décrire des scénarios dactivités comportant des évaluations. Troisième objectif: Utiliser les LMP pour décrire des scénarios dévaluation. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

58 Chambéry le 24 octobre Synthèse Les contributions Un modèle et un format de résultats, Ladaptation dun LMP (LDL) aux spécificités de lévaluation, Lintroduction du concept de scénario dévaluation et sa preuve, Des propositions darchitecture logicielle de mise en œuvre, Limplémentation partielle des propositions dans un démonstrateur. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

59 Chambéry le 24 octobre Perspectives expérimentales Vérifier nos hypothèses Besoin dun éditeur de scénarios, Editeur basé sur des « patterns » de scénarios dévaluation; Nécessité de terminer limplémentation des propositions dans le prototype (base de résultats). 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

60 Chambéry le 24 octobre Perspectives en ingénierie Discuter nos contributions Standardiser un format de résultats. Définir des méthodes de conception de scénarios pédagogiques. –Elaboration dun scénario même avec un éditeur est complexe. –La scénarisation dactivités de « grains fins » augmente cette complexité. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

61 Chambéry le 24 octobre Perspectives industrielles Répondre au problème initial Implémentation du format de résultats. Utilisation dun LMP et de son infrastructure dans un produit en cours de développement. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

62 Chambéry le 24 octobre Perspectives de recherche Vers de nouveaux problèmes Nos propositions sinscrivent dans une vision prescriptive des activités. Comment optimiser un scénario en vue dun objectif pédagogique précis ? Comment optimiser la formation ? Problème de recherche pluridisciplinaire majeur. 2 nde Partie Modèle et Format de résultats Scénariser lévaluation Synthèse Perspectives

63 Chambéry le 24 octobre Merci !

64 Chambéry le 24 octobre Questions ?


Télécharger ppt "Chambéry le 24 octobre 20061 La scénarisation de l'évaluation des activités pédagogiques utilisant les Environnements Informatiques d'Apprentissage Humain."

Présentations similaires


Annonces Google