Université de Savoie, laboratoire SysCom, équipe Scénario

Présentation au sujet: "Université de Savoie, laboratoire SysCom, équipe Scénario"— Transcription de la présentation:

1 Université de Savoie, laboratoire SysCom, équipe Scénario
La scénarisation de l'évaluation des activités pédagogiques utilisant les Environnements Informatiques d'Apprentissage Humain Guillaume Durand Université de Savoie, laboratoire SysCom, équipe Scénario Odile Jacob Education Chambéry le 24 octobre 2006

2 Introduction Thèse Cifre entre Université de Savoie (SysCom) et Odile Jacob Education (OJE). Problème: Les enseignants ne tiennent pas compte des résultats d’évaluation [Dinet &al 02]. Chambéry le 24 octobre 2006

3 Le laboratoire 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Thèmes de recherche du laboratoire SysCom (équipe scénario) : Les Espaces Numériques de Travail (ENT) (Cartable électronique), La Scénarisation des Activités Coopératives dans le domaine de l’éducation (Modèle de Participation), Les Langages de Modélisation Pédagogique (LMP), (Learning Design Language - LDL). Chambéry le 24 octobre 2006

4 L’évaluation scolaire Un objet d’étude
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Fait l’objet de nombreux travaux dans des domaines de recherche divers (sciences de l’éducation, docimologie, …). Pas une, mais plusieurs définitions de l’évaluation. Selon Hadji [Hadji 90], évaluer, c’est « mettre en relation des éléments issus d’un observable appelés référé et un référent pour produire de l’information éclairante sur le référé » Chambéry le 24 octobre 2006

5 L’évaluation scolaire Pas une évaluation mais des évaluations
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Chambéry le 24 octobre 2006

6 L’évaluation dans les EIAH La même diversité
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Chambéry le 24 octobre 2006

7 L’évaluation dans les EIAH Les limites (I)
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Un seul type d’évaluation Exemple: OASYS [Ward &al 04] Evaluation formatrice Co-évaluation Chambéry le 24 octobre 2006

8 L’évaluation dans les EIAH Les limites (II)
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Pas de paramétrage possible Exemple : TDmaths [OJE 03] Comment modérer une évaluation sommative en fonction des compétences de l’apprenant ? Chambéry le 24 octobre 2006

9 L’évaluation dans les EIAH Les limites (III)
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Des résultats difficiles à interpréter Exemple : Pépite [Delozanne &al 04] Leur signification ? Comment ont-ils été obtenus ? Chambéry le 24 octobre 2006

10 L’évaluation dans les EIAH Les freins à l’utilisation
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Unicité du modèle d’évaluation vs choix des modèles Fixité de la méthode d’évaluation vs paramétrage Résultat incompréhensible vs résultat explicable. Chambéry le 24 octobre 2006

11 L’évaluation dans les EIAH Un autre frein, plus trivial
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Difficulté pour les enseignants d’utiliser les résultats de l’EIAH dans les évaluations obligatoires qu’ils ont à fournir. Chambéry le 24 octobre 2006

12 Les ENT La réponse de l’institution
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Interopérabilité des services, Urbanisation des systèmes d’information, Agrégation de services métiers (scolarité), Fédération des acteurs : administratifs, parents, élèves, enseignants. Chambéry le 24 octobre 2006

13 Les ENT Interopérabilité avec les EIAH
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Très rares sont les EIAH répondant à ces caractéristiques Chambéry le 24 octobre 2006

14 Dans la perspective des ENT Deux problèmes peuvent être résolus
1ère partie Contexte L’évaluation scolaire L’évaluation et les EIAH Les ENT Les LMP Synthèse Compréhension des résultats Capitalisation des résultats (Interopérabilité des EIAH avec les services) Chambéry le 24 octobre 2006

15 L’évaluation dans les ENT Un premier objectif de recherche
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Proposer un format de résultats commun aux EIAH. Chambéry le 24 octobre 2006

16 L’évaluation dans les ENT Le besoin d’une évaluation dynamique
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse « Intégrer l’évaluation aussi souplement que possible dans les activités pédagogiques en conservant les moyens de l’adapter » Quels sont les moyens de modéliser les activités pédagogiques ? Chambéry le 24 octobre 2006

17 Les LMP 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Les LMP (IMS-LD, LDL) permettent de scénariser les activités pédagogiques. Un scénario pédagogique est la « description du déroulement d’une situation d’apprentissage en terme de rôles, d’activités et l’environnement nécessaire à sa mise en oeuvre, mais aussi en termes de connaissances manipulées » [Pernin 03] Chambéry le 24 octobre 2006

18 Les LMP Le cycle de vie du scénario
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Chambéry le 24 octobre 2006

19 Les LMP LDL 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Learning Design Language (LDL) [Martel &al 06] comprend un petit nombre d'éléments. Chambéry le 24 octobre 2006

20 Les LMP LDL, des scénarios réels
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse La chasse au trésor (école d’été EIAH 2005) L’apprentissage de l’électricité au collège (Kaleidoscope, SVL 2006) Le jeu des planètes (Workshop ICALT 2006) Chambéry le 24 octobre 2006

21 Les LMP Peuvent-ils aider à s’affranchir de :
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse L’unicité du modèle d’évaluation. La fixité de la méthode d’évaluation. Chambéry le 24 octobre 2006

22 Les LMP Un second objectif de recherche
1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Utiliser les langages de modélisation pour scénariser l’évaluation. Chambéry le 24 octobre 2006

23 Synthèse 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Pb initial : Les résultats ne sont pas utilisés par les enseignants dans TDmaths. Les hypothèses : Unicité du modèle d’évaluation, Fixité de la méthode d’évaluation, Résultat incompréhensible, Interopérabilité des EIAH avec les services. Les objectifs : Proposer un format de résultats Utiliser les LMP pour décrire des évaluations Chambéry le 24 octobre 2006

24 Modèle de résultats Méthodologie
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Formats existants (IMS-QTI, IMS-LIP, SCORM, etc.) EIAH (TDmaths, Pépite, etc.) ENT (Portail de l’Univ. Savoie, Moodle, Sakaï, etc.) Les projets spécialisés (TenCompetence, Kaleidoscope) Formats de traces (Musette, MTSA, UTL, etc.) Enseignants (Auteurs OJE) Itératif Modèle de résultats Format de résultats Chambéry le 24 octobre 2006

25 Modèle de résultats Obtention des résultats
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Exemples : EIAH Produit Evaluation Résultat CAT Questionnaires Sommative Pourcentage SPLACH Discussion Formative Profil social Pépite Diagnostique Pourcentages de maîtrise de compétences GenEval Formatrice note Chambéry le 24 octobre 2006

26 Modèle de résultats Evaluer quoi et comment ?
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

27 Modèle de résultats Exemple
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Un système de CAT: Chambéry le 24 octobre 2006

28 Modèle de résultats Place des acteurs
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Des acteurs différents dans l’obtention d’un résultat d’évaluation. Evaluation Evalué Evaluateur Formative Apprenant Enseignant Formatrice (auto-évaluation) Chambéry le 24 octobre 2006

29 Modèle de résultats Notion de compétence
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Des résultats qui sont en relation avec des compétences et des échelles de compétences : EIAH Type de compétences Pépite Compétences disciplinaires TDmaths Compétences transversales Chambéry le 24 octobre 2006

30 Modèle de résultats Modèle de Résultat Commun (MRC)
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

31 Modèle de résultats MRC avec TDmaths
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives MRC TDmaths Acteur Apprenant/TDmaths EIAH Produit Question Caractéristique Réponse Evaluation Comparaison Critère Bonne réponse Résultat Note Compétence Compétences transversales Chambéry le 24 octobre 2006

32 Modèle de résultats MRC avec Pépite
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives MRC Pépite Acteur Apprenant/Pépite EIAH Produit Question Caractéristique Réponse Evaluation Comparaison Critère Bonne réponse Résultat Pourcentage Compétence Compétence disciplinaire Chambéry le 24 octobre 2006

33 Format de résultats Transformation de MRC en XML.
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Exemple: Evaluation d’une dictée <Resultat> .... <Evaluation typeEvaluation="Sommative"> <methode>Recherche de fautes d'orthographe</methode> <evalue> <laCaracteristique>Orthographe_dictée</laCaracteristique> </evalue> <realiseePar> <Acteur id="gdura"> <role>enseignant</role> <nom>Guillaume Durand</nom> </Acteur> </realiseePar> Chambéry le 24 octobre 2006

34 Format de résultats 2nde Partie Chambéry le 24 octobre 2006
<reposeSur> <Critere id="1123"> <description>retrait d'un point par faute d'orthographe</description> <bareme typeValeur="integer" max="20" min="0">-1</bareme> </Critere> </reposeSur> </Evaluation> .... <valeurResultat> <valeur typeValeur="integer" max="20" min="0" pas="1">1>18</valeur> <seJustifiePar> <Erreur caractref="11" critereref="1123"> <description>chaîne au lieu de chêne</description> </Erreur> <description>Attention plages et au pluriel!</description> </seJustifiePar> <commentaire>En progrès seulement deux fautes !</commentaire> </valeurResultat> </Resultat> 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

35 Format de résultats Expression des compétences
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives S ’appuie sur IMS-RDCEO. Formalisme d’expression de compétences. Chambéry le 24 octobre 2006

36 Format de résultats Lien avec IMS-RDCEO
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives <Resultat> .... <competences> <competence rdceoid=" </competences> …. </Resultat> Chambéry le 24 octobre 2006

37 Format de résultats Synthèse
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Le format de résultat : Permet d ’exprimer les résultats produits par les EIAH, Donne une signification aux résultats. Premier objectif : Interopérabilité des résultats, Compréhension des résultats. Ma Première contribution. Chambéry le 24 octobre 2006

38 Scénariser l’évaluation Méthodologie
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Prouver conceptuellement qu’un LMP peut exprimer une activité comportant une évaluation, Implémenter et jouer ces scénarios, Lever les verrous et adapter le LMP et/ou son infrastructure. Chambéry le 24 octobre 2006

39 Scénariser l’évaluation Preuve conceptuelle
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Une activité différente pour chaque type d’évaluation. Exemple: Evaluation diagnostique qui vise à construire des groupes de compétence. L’enseignant propose un questionnaire aux apprenants et les inscrit dans un groupe suivant leurs scores. Chambéry le 24 octobre 2006

40 Scénariser l’évaluation Modélisation de l’exemple
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation d ’une activité comportant une évaluation diagnostique Eléments de LDL Composants du scénario Rôles Candidat et examinateur Enceintes Questionnaire, visualisation du score, attribution du groupe. Interactions Répondre au questionnaire, consulter le score de l’apprenant, attribuer un groupe. Structures Structure principale (séquentielle) répondre au questionnaire, Positions score, groupe final. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Preuve Conceptuelle Chambéry le 24 octobre 2006

41 Scénariser l’évaluation Exécution de l’exemple
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation d ’une activité comportant une évaluation diagnostique Eléments de LDL Composants du scénario Rôles Candidat et examinateur Enceintes Questionnaire, visualisation du score, attribution du groupe. Interactions Répondre au questionnaire, consulter le score de l’apprenant, attribuer un groupe. Structures Structure principale (séquentielle) répondre au questionnaire, Positions score, groupe final. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Non Exécutable Chambéry le 24 octobre 2006

42 Scénariser l’évaluation Les verrous de l’exemple
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation d ’une activité comportant une évaluation diagnostique Eléments de LDL Composants du scénario Rôles Candidat et examinateur Enceintes Questionnaire, visualisation du score, attribution du groupe. Interactions Répondre au questionnaire, consulter le score de l’apprenant, attribuer un groupe. Structures Structure principale (séquentielle) répondre au questionnaire, Positions score, groupe final. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Premier verrou Chambéry le 24 octobre 2006

43 Scénariser l’évaluation Premier verrou
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Le problème de l’association des positions aux produits et résultats de l’apprenant. <scenario> …. <Position id= score> <Position> </scenario> Lien ? Chambéry le 24 octobre 2006

44 Scénariser l’évaluation Les positions dont la valeur est obtenue par l’observation
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives <scenario> <Position id= score> <valeur> <observer> resultatTDmaths <observer> </valeur>…. <Position> </scenario> Chambéry le 24 octobre 2006

45 Scénariser l’évaluation Second verrou
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation d ’une activité comportant une évaluation diagnostique Eléments de LDL Composants du scénario Rôles Candidat et examinateur Enceintes Questionnaire, visualisation du score, attribution du groupe. Interactions Répondre au questionnaire, consulter le score de l’apprenant, attribuer un groupe. Structures Structure principale (séquentielle) répondre au questionnaire, Positions score, groupe final. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Chambéry le 24 octobre 2006

46 Scénariser l’évaluation Les enceintes de type méthode
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives <Enceinte kindOfEnceinte="method"> <title>Voir la réponse de l'élève</title> <source> <URL> </URL> </source> </Enceinte> Chambéry le 24 octobre 2006

47 Scénariser l’évaluation Synthèse intermédiaire
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Utiliser les LMP pour décrire des évaluations : Permet de choisir un modèle d’évaluation, Permet d’adapter la méthode d’évaluation. Deuxième objectif : Choix du modèle d’évaluation, Paramétrage de la méthode d’évaluation. Notre seconde contribution. Chambéry le 24 octobre 2006

48 Scénariser l’évaluation Limites de cette première approche
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Un seul scénario pour décrire les phases d’évaluation et d’apprentissage : Scénarios très complexes, Non réutilisables, Evaluation non modifiable en cours d’activité. Chambéry le 24 octobre 2006

49 Scénariser l’évaluation Un nouvel Objectif
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Hypothèse: L’évaluation est une activité. Nouvel Objectif : Scénariser l’évaluation dans un scénario autonome. Intérêts: Réutilisabilité des scénarios, Adapter l’évaluation durant l’activité (et non lors de la conception), Simplifier l’écriture des scénarios. Chambéry le 24 octobre 2006

50 Scénariser l’évaluation Méthodologie
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Prouver conceptuellement qu’un LMP peut exprimer un scénario d’évaluation, Implémenter et jouer ces scénarios, Lever les verrous et adapter le LMP et/ou son infrastructure. Chambéry le 24 octobre 2006

51 Scénariser l’évaluation La situation choisie : le jeu des planètes
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives proposée à ICALT 2006 Chambéry le 24 octobre 2006

52 Scénariser l’évaluation Modélisation de l’évaluation sommative
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation de l’activité d’évaluation sommative Eléments de LDL Composants du scénario Rôles Enseignant et élèves Enceintes Questionnaire, Proclamation du vainqueur. Interactions Répondre au questionnaire, Voir le vainqueur. Structures Structure principale (séquentielle) répondre au questionnaire, voir le vainqueur. Positions Position de démarrage de la structure principale et une autre pour la terminée. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Preuve Conceptuelle Chambéry le 24 octobre 2006

53 Scénariser l’évaluation Modélisation de l’évaluation sommative
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation de l’activité d’évaluation sommative Eléments de LDL Composants du scénario Rôles Enseignant et élèves Enceintes Questionnaire, Proclamation du vainqueur. Interactions Répondre au questionnaire, Voir le vainqueur. Structures Structure principale (séquentielle) répondre au questionnaire, voir le vainqueur. Positions Position de démarrage de la structure principale et une autre pour la terminée. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Non Exécutable Chambéry le 24 octobre 2006

54 Scénariser l’évaluation Verrou : partage d’informations
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

55 Scénariser l’évaluation Les positions partagées
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives <Scen. Apprentissage> <Position id=‘FinAct’> <valeur> </valeur> <sur>les_consignes</sur> <de>eleve</de> <portee>infrastructure</portee> </Position> <Scen. Evaluation> <Condition id="condStartTest">   <laPosition>FinACT</laPosition>   <comp>equalTo</comp>   <val>1</val>  </Condition> Chambéry le 24 octobre 2006

56 Scénariser l’évaluation Synthèse sur les scénarios d’évaluation
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Utiliser les LMP pour décrire des évaluations : Permet de choisir, changer, ajouter, un modèle d’évaluation, en cours d’activité, Permet d’adapter la méthode d’évaluation durant l’activité d’apprentissage. Troisième Objectif : Réutilisabilité des scénarios, Adapter l’évaluation durant l’activité (et non lors de la conception), Simplifier l’écriture des scénarios. Notre troisième contribution. Chambéry le 24 octobre 2006

57 Synthèse Les objectifs atteints
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Premier objectif: Un format de résultat. Deuxième objectif: Utiliser les LMP pour décrire des scénarios d’activités comportant des évaluations. Troisième objectif: Utiliser les LMP pour décrire des scénarios d’évaluation. Chambéry le 24 octobre 2006

58 Synthèse Les contributions
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Un modèle et un format de résultats, L’adaptation d’un LMP (LDL) aux spécificités de l’évaluation, L’introduction du concept de scénario d’évaluation et sa preuve, Des propositions d’architecture logicielle de mise en œuvre, L’implémentation partielle des propositions dans un démonstrateur. Chambéry le 24 octobre 2006

59 Perspectives expérimentales Vérifier nos hypothèses
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Besoin d’un éditeur de scénarios, Editeur basé sur des « patterns » de scénarios d’évaluation; Nécessité de terminer l’implémentation des propositions dans le prototype (base de résultats). Chambéry le 24 octobre 2006

60 Perspectives en ingénierie Discuter nos contributions
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Standardiser un format de résultats. Définir des méthodes de conception de scénarios pédagogiques. Elaboration d’un scénario même avec un éditeur est complexe. La scénarisation d’activités de « grains fins » augmente cette complexité. Chambéry le 24 octobre 2006

61 Perspectives industrielles Répondre au problème initial
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Implémentation du format de résultats. Utilisation d’un LMP et de son infrastructure dans un produit en cours de développement. Chambéry le 24 octobre 2006

62 Perspectives de recherche Vers de nouveaux problèmes
2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Nos propositions s’inscrivent dans une vision prescriptive des activités. Comment optimiser un scénario en vue d’un objectif pédagogique précis ? Comment optimiser la formation ? Problème de recherche pluridisciplinaire majeur. Chambéry le 24 octobre 2006

63 Merci ! Chambéry le 24 octobre 2006

64 Questions ? Chambéry le 24 octobre 2006