CERTITUDE : Bilan et acquis Atelier sur l'évaluation des compétences informationnelles et les technologies de l'information du 28 février 2013 à la Maison des technologies de formation et d'apprentissage Roland-Giguère par Richard Guay, Directeur des études (2001-2011), Collège Jean-de-Brébeuf et Robert Gérin-Lajoie, Université de Montréal

Membres de l’équipe Merci! Équipe du projet Jean Allard et Michel Pronovost Professeurs, Collège Brébeuf Yves Munn, ancien au Cegep@Distance Annie Mahais, anciennement chargée de projet Robert Gérin-Lajoie, Université de Montréal Équipe de direction Richard Guay, Ancien DE, Collège Brébeuf Françoise Marceau, CEGEP@Distance Jacques Raynauld, MATI et HEC-Montréal Robert Gérin-Lajoie, Université de Montréal Hébergement, soutien technique et développement Jonathan-Marc Lapointe, profweb Cedric Joyal et Gilles-Philippe Leblanc, Université de Montréal Komi Sodoke, Vision-elearning

Les objectifs de départ Valoriser les compétences technologiques et informationnelles des étudiants de l’enseignement supérieur par le biais de tests certificatifs diagnostiques formatifs Évaluer les compétences informationnelles par champ d’études Évaluer les compétences informationnelles in situ Assurer une correction automatisée des tests

Les acquis au départ Au plan international Au niveau québécois Certificat informatique et internet (C2I), en France Démarche de valorisation des compétences de bases (core competencies) dans les universités canadiennes et américaines. Études et analyses d’Educause Au niveau québécois Enquête menée par la CRÉPUQ sur les compétences informationnelles des étudiants à l’entrée à l’université Évaluation en compétence informationnelle à la Faculté des sciences de l’éducation de l’Université de Montréal Enquête mené par le Collège Jean-de-Brébeuf sur les compétences technologiques de ses étudiants à l’entrée Profil TIC produit par les répondants TIC des collèges (REPTIC) formation implantée progressivement dans les CÉGEPS Certification Magellan du Collège Jean-de-Brébeuf (certification TIC et RI attestée par l’Université de Montréal) Divers ateliers assurés par le service des bibliothèques de l’Université de Montréal et intégré dans les formations spécialisées.

Les dispositifs d’évaluation existants En France, une directive nationale C2I oblige l’évaluation de tous les étudiants au début du cursus universitaire. Par des quiz automatisés, de type QCM théorique et provenant d’une banque centrale nationale; Par des portfolios de travaux évalués par les enseignants. Au Québec La certification Magellan du Collège Jean-de-Brébeuf où les étudiants doivent réussir une épreuve finale de certification propre à leur champs d’études; la correction est faite par les professeurs

Les réalisations Recension des pratiques internationales et des offres de certification Bilan des approches et des outils auteur pour l’évaluation des habiletés Production d’un référentiel de compétences à deux niveaux, le premier étant commun à chacun des champs d’études et le second étant spécifique à chacun des champs d’études Création d’une banque de plusieurs centaines de questions arrimées au référentiel de compétences Production de tests de type in situ Adaptation de deux environnements de passation aux fins de Certitude: Moodle et O-Tutor Expérimentations de type formatif, diagnostique et certificatif

Correction automatisée de compétences évaluées in situ LES COMPÉTENCES ÉVALUÉES (niveau supérieur) Rechercher l’information Traiter l’information Présenter l’information

Correction automatisée de compétences évaluées in situ LES CHAMPS D’ÉTUDES VISÉS Sciences de la nature Sciences humaines et administratives Arts et lettres

Correction automatisée de compétences évaluées in situ Rechercher l’information Questions de type Chasse au trésor On demande à l’étudiant de trouver une information ou une donnée L’étudiant utilise les outils de recherche informationnelle mis à sa disposition L’étudiant inscrit sa réponse dansun champ texte Questions de type QCM conventionnelles

Correction automatisée de compétences évaluées in situ Traiter l’information Énoncé de tâches à réaliser dans un tableur L’étudiant récupère un fichier qui contient une série de consignes L’étudiant accomplit les tâches demandées par chacune des consignes Le fichier calcule en temps réel sur une feuille distincte des jetons qui reflètent les résultats obtenus suite à l’accomplissement des tâches L’étudiant recopie les jetons obtenus dans la zone Réponse du questionnaire La correction est effectuée en temps réel en comparant les jetons livrés par l’étudiant à ceux équivalents aux bonnes réponses. Questions de type QCM conventionnelles pour certaines questions (ex: identification d’un type de graphique à produire)

Correction automatisée de compétences évaluées in situ Présenter l’information Énoncé de tâches à réaliser dans un texteur L’étudiant récupère un fichier qui contient une série de consignes L’étudiant accomplit les tâches demandées par chacune des consignes L’étudiant sauvegarde puis dépose le fichier dans la zone appropriée La correction est effectuée en temps réel par la recherche et l’identification de balises xml. Questions de type QCM conventionnelles

Résultats en 2011 En mai 2011, des expérimentations ont été faites avec la plate-forme Adobe Captivate L’environnement est restreint pour recueillir les résultats des passations expérimentales. Il s’est avéré incapable de soutenir des passations institutionnelles. Le projet Certitude a décidé à l’été 2011 d’utiliser un environnement de passation éprouvé pour un grand volume

Résultats en 2012 Adaptation technologique de O-Tutor et Moodle Développement des questions Certitude sur les logiciels O-Tutor et Moodle Plusieurs centaines de questions génériques, pouvant se décliner aisément en milliers de questions spécifiques En faisant varier le document ou le contexte des habiletés Printemps 2012 Passations formatives et certificatives à Brébeuf sur la plate-forme O-Tutor à plusieurs centaines d’étudiants Les collèges André-Grasset et Cégep de Jonquière ont organisé des passations expérimentales Automne 2012: Expérimentations avec des membres du réseau REPTIC des CÉGEPS Cependant les enseignants ne peuvent pas poursuivre pour le moment Cela est dû à la surcharge des nouveaux calendriers scolaires. Idem à l’UdeM

Constats I Les résultats des évaluations expérimentales montrent une très grande disparité entre les étudiants des différents programmes et Collèges et une maîtrise nettement insuffisante de ces technologiques pour bon nombre d’entre eux Au Collège Jean-de-Brébeuf, la mise en place des instruments d’évaluation dans des activités formatives a transformé les activités d’apprentissage. La plateforme o-tutor utilisée permet la production rapide de courts tests formatifs. La correction en temps réel avec possibilité de reprise immédiate accroît la motivation des étudiants et les mobilisent.

Constats II Réalités du milieu Les divers intervenants privilégient une approche souple de prise de conscience, de développement et d’appropriation du profil TIC. Une variété d’approches de formation au sein du réseau: Sans approche identifiée institutionnellement Par cours dédié (Magellan), Par des activités intégrées dans les cours existants Par projet et par un portfolio de travaux Dans cette optique, l’utilisation des questionnaires pour des fins de diagnostic et d’évaluation formative est la piste la plus prometteuse à court terme La certification québécoise: un défi qui reste à relever!!!

Les activités de rayonnement du projet Certitude MATI, mai 2011 et février 2013 REPTIC, 2011 et 2012 ACPQ, 2012 ADMEE, 2012 Articles sur Profweb, décembre 2011, novembre 2012 Site Web du projet Collaboration avec les CÉGEPS – 14 répondants, sondage automne 2012 La conférence Moodle Moot 2013 à Vancouver

L’intérêt à poursuivre Les partenaires du projet En novembre, un bon nombre de conseillers pédagogiques du réseau ont mentionné l’intérêt à poursuivre le travail fait, en s’appuyant sur la banque de questions développées et la technologie.

La pérennité de Certitude Élargir la direction et l’expertise des partenaires Coordonner le soutien des outils technologiques qui permettent l’évaluation in situ (Extensions à Moodle, O-Tutor) Continuer à valider et à mesurer la fiabilité des instruments d’évaluation Selon les différents contextes : Disciplinaires Diagnostics, formatifs, sommatifs, certificatifs Poursuivre les échanges inter ordres Amener les décideurs à encourager et à implanter une certification québécoise de la maîtrise des technologies de l’information chez les étudiants de l’enseignement supérieur.

Le potentiel d’évolution des questions de Certitude Les intégrer au sein de ressources numériques d’apprentissage Les associer à des capsules de formation Faire des capsules autoportantes ou s’insérant dans des cours existants Identifier des activités d’apprentissage actives complémentaires

Questions pendantes La gestion centralisée des ressources numériques de la banque de questions et des instruments d’évaluation Les modèles de questions et de quiz sont centralisés Les passations sont distribuées Les résultats de l’utilisation des questions doivent être agglomérés La question complémentaire: la gestion collaborative La solution actuelle est simple pour le moment Une instance locale, avec O-Tutor, ou le plugiciel de MOODLE Faire des copies des questions et des quiz d’un environnement à l’autre. Cela pourra-t-il évoluer?

Questions?