Université de Savoie, laboratoire SysCom, équipe Scénario La scénarisation de l'évaluation des activités pédagogiques utilisant les Environnements Informatiques d'Apprentissage Humain Guillaume Durand Université de Savoie, laboratoire SysCom, équipe Scénario Odile Jacob Education Chambéry le 24 octobre 2006

Introduction Thèse Cifre entre Université de Savoie (SysCom) et Odile Jacob Education (OJE). Problème: Les enseignants ne tiennent pas compte des résultats d’évaluation [Dinet &al 02]. Chambéry le 24 octobre 2006

Le laboratoire 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Thèmes de recherche du laboratoire SysCom (équipe scénario) : Les Espaces Numériques de Travail (ENT) (Cartable électronique), La Scénarisation des Activités Coopératives dans le domaine de l’éducation (Modèle de Participation), Les Langages de Modélisation Pédagogique (LMP), (Learning Design Language - LDL). Chambéry le 24 octobre 2006

L’évaluation scolaire Un objet d’étude 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Fait l’objet de nombreux travaux dans des domaines de recherche divers (sciences de l’éducation, docimologie, …). Pas une, mais plusieurs définitions de l’évaluation. Selon Hadji [Hadji 90], évaluer, c’est « mettre en relation des éléments issus d’un observable appelés référé et un référent pour produire de l’information éclairante sur le référé » Chambéry le 24 octobre 2006

L’évaluation scolaire Pas une évaluation mais des évaluations 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Chambéry le 24 octobre 2006

L’évaluation dans les EIAH La même diversité 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Chambéry le 24 octobre 2006

L’évaluation dans les EIAH Les limites (I) 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Un seul type d’évaluation Exemple: OASYS [Ward &al 04] Evaluation formatrice Co-évaluation Chambéry le 24 octobre 2006

L’évaluation dans les EIAH Les limites (II) 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Pas de paramétrage possible Exemple : TDmaths [OJE 03] Comment modérer une évaluation sommative en fonction des compétences de l’apprenant ? Chambéry le 24 octobre 2006

L’évaluation dans les EIAH Les limites (III) 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Des résultats difficiles à interpréter Exemple : Pépite [Delozanne &al 04] Leur signification ? Comment ont-ils été obtenus ? Chambéry le 24 octobre 2006

L’évaluation dans les EIAH Les freins à l’utilisation 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Unicité du modèle d’évaluation vs choix des modèles Fixité de la méthode d’évaluation vs paramétrage Résultat incompréhensible vs résultat explicable. Chambéry le 24 octobre 2006

L’évaluation dans les EIAH Un autre frein, plus trivial 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Difficulté pour les enseignants d’utiliser les résultats de l’EIAH dans les évaluations obligatoires qu’ils ont à fournir. Chambéry le 24 octobre 2006

Les ENT La réponse de l’institution 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Interopérabilité des services, Urbanisation des systèmes d’information, Agrégation de services métiers (scolarité), Fédération des acteurs : administratifs, parents, élèves, enseignants. Chambéry le 24 octobre 2006

Les ENT Interopérabilité avec les EIAH 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Très rares sont les EIAH répondant à ces caractéristiques Chambéry le 24 octobre 2006

Dans la perspective des ENT Deux problèmes peuvent être résolus 1ère partie Contexte L’évaluation scolaire L’évaluation et les EIAH Les ENT Les LMP Synthèse Compréhension des résultats Capitalisation des résultats (Interopérabilité des EIAH avec les services) Chambéry le 24 octobre 2006

L’évaluation dans les ENT Un premier objectif de recherche 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Proposer un format de résultats commun aux EIAH. Chambéry le 24 octobre 2006

L’évaluation dans les ENT Le besoin d’une évaluation dynamique 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse « Intégrer l’évaluation aussi souplement que possible dans les activités pédagogiques en conservant les moyens de l’adapter » Quels sont les moyens de modéliser les activités pédagogiques ? Chambéry le 24 octobre 2006

Les LMP 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Les LMP (IMS-LD, LDL) permettent de scénariser les activités pédagogiques. Un scénario pédagogique est la « description du déroulement d’une situation d’apprentissage en terme de rôles, d’activités et l’environnement nécessaire à sa mise en oeuvre, mais aussi en termes de connaissances manipulées » [Pernin 03] Chambéry le 24 octobre 2006

Les LMP Le cycle de vie du scénario 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Chambéry le 24 octobre 2006

Les LMP LDL 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Learning Design Language (LDL) [Martel &al 06] comprend un petit nombre d'éléments.   Chambéry le 24 octobre 2006

Les LMP LDL, des scénarios réels 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse La chasse au trésor (école d’été EIAH 2005) L’apprentissage de l’électricité au collège (Kaleidoscope, SVL 2006) Le jeu des planètes (Workshop ICALT 2006) Chambéry le 24 octobre 2006

Les LMP Peuvent-ils aider à s’affranchir de : 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse L’unicité du modèle d’évaluation. La fixité de la méthode d’évaluation. Chambéry le 24 octobre 2006

Les LMP Un second objectif de recherche 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Utiliser les langages de modélisation pour scénariser l’évaluation. Chambéry le 24 octobre 2006

Synthèse 1ère partie Contexte L’évaluation scolaire L’évaluation dans les EIAH Les ENT Les LMP Synthèse Pb initial : Les résultats ne sont pas utilisés par les enseignants dans TDmaths. Les hypothèses : Unicité du modèle d’évaluation, Fixité de la méthode d’évaluation, Résultat incompréhensible, Interopérabilité des EIAH avec les services. Les objectifs : Proposer un format de résultats Utiliser les LMP pour décrire des évaluations Chambéry le 24 octobre 2006

Modèle de résultats Méthodologie 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Formats existants (IMS-QTI, IMS-LIP, SCORM, etc.) EIAH (TDmaths, Pépite, etc.) ENT (Portail de l’Univ. Savoie, Moodle, Sakaï, etc.) Les projets spécialisés (TenCompetence, Kaleidoscope) Formats de traces (Musette, MTSA, UTL, etc.) Enseignants (Auteurs OJE) Itératif Modèle de résultats Format de résultats Chambéry le 24 octobre 2006

Modèle de résultats Obtention des résultats 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Exemples : EIAH Produit Evaluation Résultat CAT Questionnaires Sommative Pourcentage SPLACH Discussion Formative Profil social Pépite Diagnostique Pourcentages de maîtrise de compétences GenEval Formatrice note Chambéry le 24 octobre 2006

Modèle de résultats Evaluer quoi et comment ? 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

Modèle de résultats Exemple 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Un système de CAT: Chambéry le 24 octobre 2006

Modèle de résultats Place des acteurs 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Des acteurs différents dans l’obtention d’un résultat d’évaluation. Evaluation Evalué Evaluateur Formative Apprenant Enseignant Formatrice (auto-évaluation) Chambéry le 24 octobre 2006

Modèle de résultats Notion de compétence 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Des résultats qui sont en relation avec des compétences et des échelles de compétences : EIAH Type de compétences Pépite Compétences disciplinaires TDmaths Compétences transversales Chambéry le 24 octobre 2006

Modèle de résultats Modèle de Résultat Commun (MRC) 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

Modèle de résultats MRC avec TDmaths 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives MRC TDmaths Acteur Apprenant/TDmaths EIAH Produit Question Caractéristique Réponse Evaluation Comparaison Critère Bonne réponse Résultat Note Compétence Compétences transversales Chambéry le 24 octobre 2006

Modèle de résultats MRC avec Pépite 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives MRC Pépite Acteur Apprenant/Pépite EIAH Produit Question Caractéristique Réponse Evaluation Comparaison Critère Bonne réponse Résultat Pourcentage Compétence Compétence disciplinaire Chambéry le 24 octobre 2006

Format de résultats Transformation de MRC en XML. 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Exemple: Evaluation d’une dictée <Resultat> .... <Evaluation typeEvaluation="Sommative"> <methode>Recherche de fautes d'orthographe</methode> <evalue> <laCaracteristique>Orthographe_dictée</laCaracteristique> </evalue> <realiseePar> <Acteur id="gdura"> <role>enseignant</role> <nom>Guillaume Durand</nom> </Acteur> </realiseePar> Chambéry le 24 octobre 2006

Format de résultats 2nde Partie Chambéry le 24 octobre 2006 <reposeSur> <Critere id="1123"> <description>retrait d'un point par faute d'orthographe</description> <bareme typeValeur="integer" max="20" min="0">-1</bareme> </Critere> </reposeSur> </Evaluation> .... <valeurResultat> <valeur typeValeur="integer" max="20" min="0" pas="1">1>18</valeur> <seJustifiePar> <Erreur caractref="11" critereref="1123"> <description>chaîne au lieu de chêne</description> </Erreur> <description>Attention plages et au pluriel!</description> </seJustifiePar> <commentaire>En progrès seulement deux fautes !</commentaire> </valeurResultat> </Resultat> 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

Format de résultats Expression des compétences 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives S ’appuie sur IMS-RDCEO. Formalisme d’expression de compétences. Chambéry le 24 octobre 2006

Format de résultats Lien avec IMS-RDCEO 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives <Resultat> .... <competences> <competence rdceoid="http://ld.pentila.com/rdceo_cat1.xml#cpa_eg"> </competences> …. </Resultat> Chambéry le 24 octobre 2006

Format de résultats Synthèse 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Le format de résultat : Permet d ’exprimer les résultats produits par les EIAH, Donne une signification aux résultats. Premier objectif : Interopérabilité des résultats, Compréhension des résultats. Ma Première contribution. Chambéry le 24 octobre 2006

Scénariser l’évaluation Méthodologie 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Prouver conceptuellement qu’un LMP peut exprimer une activité comportant une évaluation, Implémenter et jouer ces scénarios, Lever les verrous et adapter le LMP et/ou son infrastructure. Chambéry le 24 octobre 2006

Scénariser l’évaluation Preuve conceptuelle 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Une activité différente pour chaque type d’évaluation. Exemple: Evaluation diagnostique qui vise à construire des groupes de compétence. L’enseignant propose un questionnaire aux apprenants et les inscrit dans un groupe suivant leurs scores. Chambéry le 24 octobre 2006

Scénariser l’évaluation Modélisation de l’exemple 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation d ’une activité comportant une évaluation diagnostique Eléments de LDL Composants du scénario Rôles Candidat et examinateur Enceintes Questionnaire, visualisation du score, attribution du groupe. Interactions Répondre au questionnaire, consulter le score de l’apprenant, attribuer un groupe. Structures Structure principale (séquentielle) répondre au questionnaire, Positions score, groupe final. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Preuve Conceptuelle Chambéry le 24 octobre 2006

Scénariser l’évaluation Exécution de l’exemple 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation d ’une activité comportant une évaluation diagnostique Eléments de LDL Composants du scénario Rôles Candidat et examinateur Enceintes Questionnaire, visualisation du score, attribution du groupe. Interactions Répondre au questionnaire, consulter le score de l’apprenant, attribuer un groupe. Structures Structure principale (séquentielle) répondre au questionnaire, Positions score, groupe final. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Non Exécutable Chambéry le 24 octobre 2006

Scénariser l’évaluation Les verrous de l’exemple 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation d ’une activité comportant une évaluation diagnostique Eléments de LDL Composants du scénario Rôles Candidat et examinateur Enceintes Questionnaire, visualisation du score, attribution du groupe. Interactions Répondre au questionnaire, consulter le score de l’apprenant, attribuer un groupe. Structures Structure principale (séquentielle) répondre au questionnaire, Positions score, groupe final. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Premier verrou Chambéry le 24 octobre 2006

Scénariser l’évaluation Premier verrou 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Le problème de l’association des positions aux produits et résultats de l’apprenant. <scenario> …. <Position id= score> <Position> </scenario> Lien ? Chambéry le 24 octobre 2006

Scénariser l’évaluation Les positions dont la valeur est obtenue par l’observation 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives <scenario> <Position id= score> <valeur> <observer> resultatTDmaths <observer> </valeur>…. <Position> </scenario> Chambéry le 24 octobre 2006

Scénariser l’évaluation Second verrou 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation d ’une activité comportant une évaluation diagnostique Eléments de LDL Composants du scénario Rôles Candidat et examinateur Enceintes Questionnaire, visualisation du score, attribution du groupe. Interactions Répondre au questionnaire, consulter le score de l’apprenant, attribuer un groupe. Structures Structure principale (séquentielle) répondre au questionnaire, Positions score, groupe final. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Chambéry le 24 octobre 2006

Scénariser l’évaluation Les enceintes de type méthode 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives <Enceinte kindOfEnceinte="method"> <title>Voir la réponse de l'élève</title> <source> <URL> http://ld.pentila.com/result_view&{reponse} </URL> </source> </Enceinte> Chambéry le 24 octobre 2006

Scénariser l’évaluation Synthèse intermédiaire 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Utiliser les LMP pour décrire des évaluations : Permet de choisir un modèle d’évaluation, Permet d’adapter la méthode d’évaluation. Deuxième objectif : Choix du modèle d’évaluation, Paramétrage de la méthode d’évaluation. Notre seconde contribution. Chambéry le 24 octobre 2006

Scénariser l’évaluation Limites de cette première approche 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Un seul scénario pour décrire les phases d’évaluation et d’apprentissage : Scénarios très complexes, Non réutilisables, Evaluation non modifiable en cours d’activité. Chambéry le 24 octobre 2006

Scénariser l’évaluation Un nouvel Objectif 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Hypothèse: L’évaluation est une activité. Nouvel Objectif : Scénariser l’évaluation dans un scénario autonome. Intérêts: Réutilisabilité des scénarios, Adapter l’évaluation durant l’activité (et non lors de la conception), Simplifier l’écriture des scénarios. Chambéry le 24 octobre 2006

Scénariser l’évaluation Méthodologie 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Prouver conceptuellement qu’un LMP peut exprimer un scénario d’évaluation, Implémenter et jouer ces scénarios, Lever les verrous et adapter le LMP et/ou son infrastructure. Chambéry le 24 octobre 2006

Scénariser l’évaluation La situation choisie : le jeu des planètes 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives proposée à ICALT 2006 Chambéry le 24 octobre 2006

Scénariser l’évaluation Modélisation de l’évaluation sommative 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation de l’activité d’évaluation sommative Eléments de LDL Composants du scénario Rôles Enseignant et élèves Enceintes Questionnaire, Proclamation du vainqueur. Interactions Répondre au questionnaire, Voir le vainqueur. Structures Structure principale (séquentielle) répondre au questionnaire, voir le vainqueur. Positions Position de démarrage de la structure principale et une autre pour la terminée. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Preuve Conceptuelle Chambéry le 24 octobre 2006

Scénariser l’évaluation Modélisation de l’évaluation sommative 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Scénarisation de l’activité d’évaluation sommative Eléments de LDL Composants du scénario Rôles Enseignant et élèves Enceintes Questionnaire, Proclamation du vainqueur. Interactions Répondre au questionnaire, Voir le vainqueur. Structures Structure principale (séquentielle) répondre au questionnaire, voir le vainqueur. Positions Position de démarrage de la structure principale et une autre pour la terminée. Règles Règles de démarrage et d’arrêt de la structure et des interactions. Non Exécutable Chambéry le 24 octobre 2006

Scénariser l’évaluation Verrou : partage d’informations 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Chambéry le 24 octobre 2006

Scénariser l’évaluation Les positions partagées 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives <Scen. Apprentissage> <Position id=‘FinAct’> <valeur> </valeur> <sur>les_consignes</sur> <de>eleve</de> <portee>infrastructure</portee> </Position> <Scen. Evaluation> <Condition id="condStartTest">   <laPosition>FinACT</laPosition>   <comp>equalTo</comp>   <val>1</val>  </Condition> Chambéry le 24 octobre 2006

Scénariser l’évaluation Synthèse sur les scénarios d’évaluation 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Utiliser les LMP pour décrire des évaluations : Permet de choisir, changer, ajouter, un modèle d’évaluation, en cours d’activité, Permet d’adapter la méthode d’évaluation durant l’activité d’apprentissage. Troisième Objectif : Réutilisabilité des scénarios, Adapter l’évaluation durant l’activité (et non lors de la conception), Simplifier l’écriture des scénarios. Notre troisième contribution. Chambéry le 24 octobre 2006

Synthèse Les objectifs atteints 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Premier objectif: Un format de résultat. Deuxième objectif: Utiliser les LMP pour décrire des scénarios d’activités comportant des évaluations. Troisième objectif: Utiliser les LMP pour décrire des scénarios d’évaluation. Chambéry le 24 octobre 2006

Synthèse Les contributions 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Un modèle et un format de résultats, L’adaptation d’un LMP (LDL) aux spécificités de l’évaluation, L’introduction du concept de scénario d’évaluation et sa preuve, Des propositions d’architecture logicielle de mise en œuvre, L’implémentation partielle des propositions dans un démonstrateur. Chambéry le 24 octobre 2006

Perspectives expérimentales Vérifier nos hypothèses 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Besoin d’un éditeur de scénarios, Editeur basé sur des « patterns » de scénarios d’évaluation; Nécessité de terminer l’implémentation des propositions dans le prototype (base de résultats). Chambéry le 24 octobre 2006

Perspectives en ingénierie Discuter nos contributions 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Standardiser un format de résultats. Définir des méthodes de conception de scénarios pédagogiques. Elaboration d’un scénario même avec un éditeur est complexe. La scénarisation d’activités de « grains fins » augmente cette complexité. Chambéry le 24 octobre 2006

Perspectives industrielles Répondre au problème initial 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Implémentation du format de résultats. Utilisation d’un LMP et de son infrastructure dans un produit en cours de développement. Chambéry le 24 octobre 2006

Perspectives de recherche Vers de nouveaux problèmes 2nde Partie Modèle et Format de résultats Scénariser l’évaluation Synthèse Perspectives Nos propositions s’inscrivent dans une vision prescriptive des activités. Comment optimiser un scénario en vue d’un objectif pédagogique précis ? Comment optimiser la formation ? Problème de recherche pluridisciplinaire majeur. Chambéry le 24 octobre 2006

Merci ! Chambéry le 24 octobre 2006

Questions ? Chambéry le 24 octobre 2006