des ressources pédagogiques ? Quelle évaluation des ressources pédagogiques ? Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Un peu d’imagination Mettons-nous un instant dans la peau d’un enseignant de biologie. Pour illustrer son cours, M. Denis-Norbert Allien souhaite trouver une simulation montrant que l’ADN est sous forme de double hélice Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Comment va-t-il faire ? Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Ou bien ? . Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Qu’est qu’une ressource pédagogique ? Notion floue : Les articles scientifiques sont-ils des ressources pédagogiques ? Non, communication de l’avancée d’une recherche Oui, sert la réflexion et l’apprentissage → c’est l’usage de la ressource, sa caractérisation qui la détermine Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Quelques définitions Définition de Gérard Puimatto « La notion de ressource pédagogique (ou éducative) est fortement liée à celle de document, et aux approches documentaires. Dans le domaine du multimédia, les "ressources multimédias pour l'éducation" constituent l'ensemble des informations, documents, logiciels, programmes, banques de données, etc. qui permettent de véhiculer, de transmettre ou d'appréhender des concepts et contenus d'enseignements » Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Robert Bibeau « Toute entité numérique ou non susceptible d'être utilisée, réutilisée ou évoquée dans un contexte d'apprentissage à support technologique.  Le contenu numérique, les applications et les didacticiels utilisés dans un contexte d'apprentissage à support technologique. » Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

La plus répandue LOM « Toute entité (numérique ou non) utilisée dans un processus d'enseignement, de formation ou d'apprentissage. » Tout est alors objet pédagogique ! Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

D’autres introduisent la durée et la taille Wisconsin Online Resource Center « les objets pédagogiques sont des petites unités d’apprentissage d’une durée comprise entre 2 et 5 minutes » Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Du coté des canadiens Philippe Flamand « Pour certains, un OA [objet d'apprentissage], c’est une image, un bouton, un petit script Java, une séquence audio ou vidéo, un fichier PDF, un Flash, un Axel ou un site Web. Pour d’autres, c’est un scénario d’apprentissage, une activité pédagogique, une leçon, un module ou un cours complet. Le tout est sûrement sur support numérique? Est-ce adéquat uniquement pour la formation en entreprise? C’est vert ou c’est bleu? C’est grand ou petit, poilu ou pas? » Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Et surtout Le même « Afin d’être significatif et promoteur d’apprentissage, l’OA doit posséder intrinsèquement une intention, mais pas n’importe laquelle : une intention pédagogique ». Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Une notion floue L’essentiel, intégrer les particularités de cet objet spécifique, à savoir le contexte d'usage de la ressource : pour quel niveau, quel age, dans quel type d'activité …? L’indexation peut-elle être utile pour définir ces points ? Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Revenons à Denis-Norbert Notre ami ne trouve rien de pertinent sur Google ! Il s’oriente alors vers des sites institutionnels Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Educnet Label RIP (Reconnu d'Intérêt Pédagogique ) Dans la liste des produits labellisés, il trouve celui-ci Collection d'animations scientifiques distributeur : CARRE MULTIMEDIA Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Oui mais… Il n’accède qu’au résumé, pas à la ressource Et rien n’indique le niveau des étudiants auxquels les animations sont destinées Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Notre ami se souvient d’un site dont on lui a parlé lors d’un colloque aux USA MERLOT http://www.merlot.org Et là, miracle, il peut faire une recherche par type de ressources pédagogiques Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Ce qu’il ne sait pas MERLOT utilise le LOM pour l’indexation des ressources pédagogiques Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Le LOM Learning Object Metadat LOM IEEE, standard LOMFR, norme française, profil d’application du LOM Objectifs : Retrouver les ressources pédagogiques Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Le LOM, structure Classe 1. Général – description et identification de la ressource. Classe 2. Cycle de vie –histoire de la ressource et sur ses contributeurs. Classe 3. Meta-métadonnées – trace du schéma de métadonnées utilisé. Classe 4. Technique – Caractéristiques techniques pour l’exécution de la ressource sur un système informatique. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Le LOM, structure Classe 5. Pédagogique – « Cette catégorie accomplit une fonction de description pédagogique de la ressource. S‘y retrouvent, pour ne citer que certains des éléments, le contexte d’utilisation (scolaire, secondaire, supérieur, formation continue, etc.), le type de public cible (enseignant, auteur, apprenant, gestionnaire), la difficulté, l’âge des apprenants auxquels la ressource est destinée, le temps d’apprentissage type, la langue des apprenants, le niveau et le type d’interactivité. » Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Le LOM, structure Classe 6. Droits – Conditions légales d’utilisation de la ressource : coût, licences, droits d’auteur. Classe 7. Relation – Relations entre deux ressources physiques (est partie de, est version de, est format de, est référencée par, etc.) Classe 8. Commentaire – Remarques à propos de la ressource. « Cette catégorie apporte des informations complémentaires utiles à l’évaluation de la ressource ». Classe 9. Classification – Catégorie qui permet d’assigner des classifications et des vocabulaires contrôlés à une ressource. Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Limites du LOM Approche behavioriste Problème des vocabulaires : comment garantir l’interoperabilité en gardant la spécificité des domaines et des disciplines Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Normalisation de la pédagogie en cours SCORM (Sharable Content Object Reference Model), pour créer des ressources pédagogiques structurées et garantir l'interoperabilité d'une plate-forme à l'autre IMS Learning design, pour modéliser les scénarios d'apprentissage CDM (course description metadata), pour décrire les formations Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

C’est grâce à l’indexation LOM que la ressource est retrouvée Mais est-ce la meilleure ressource, la plus adaptée à ses besoins ? Peut-il trouver des éléments qualitatifs d’évaluation ? Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Ce qu’il ne sait pas MERLOT évalue les ressources pédagogiques proposées peer review process Comments Assignments Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Circuits d’évaluation de ressources pédagogiques Une analyse fine [Mahé, 2006] des circuits met à jour plusieurs types d’évaluation : une évaluation a priori, implicite : une évaluation par validation de la conformité (technique ou descriptive) une évaluation par comité scientifique (peer-review) une évaluation par les utilisateurs une évaluation croisée, par peer-review et par les utilisateurs Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Quels critères d’évaluation ? Évaluation technique  Évaluation du contenu  Évaluation du design Évaluation de la description  Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Des exemples FORMIST (http://formist.enssib.fr ) utilise 6 critères dans son peer-review crédibilité, contenu, description pertinence, contenu, design contenu, contenu pédagogie, contenu structuration, design présentation design, technique Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Commentaires d’évaluation Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Potential Effectiveness as a Teaching-Learning Tool contenu, technique MERLOT Quality of Content Contenu Potential Effectiveness as a Teaching-Learning Tool contenu, technique easy of use design Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Les moments de l’évaluation Dès la création Guide de qualité Avant publication Processus de peer-review, avec les mêmes critiques Après publication Commentaires ouverts Intégration des pratiques réelles et du contexte d’usage Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Ainsi, notre ami peut trouver des exemples d’utilisation réelle de la ressource, et des commentaires Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Comments Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Et enfin, après quelques détours, il trouve son animation Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Une question jamais posée Qui sont réellement les pairs ? Les créateurs de ressources pédagogiques Les experts Les utilisateurs (enseignants, étudiants) Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Les limites A part par les commentaires, pas de réel retour d’usage, ni de contextualisation de la ressource Des recherches en cours pour introduire l’intentionnalité pédagogique (T. Kreczanic ), en modifiant le sens des vocabulaires (7, 5.1) du LOM Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Et bientôt Indexation sociale ? Evaluation web 2.0 ? Restituerait le sens donné par l’usager Evaluation web 2.0 ? Commentaires, notations Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

tutmarks Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

L’évaluation des ressources pédagogiques est dans la lignée de celle de l'ensemble des ressources web Particularité : l’intentionnalité pédagogique et le contexte d’usage Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

L’évaluation des ressources pédagogiques L’évolution des systèmes d’évaluation permet-tra aux utilisateurs de jouer leur rôle de « pair » (peer- commenting » Pas possible de faire l'économie de l'appropriation de la ressource par l'enseignant et par l'étudiant Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007

Et maintenant Questions ? Evaluation et validation de l’information sur Internet Journée d’étude des URFIST, 31 janvier 2007