htp://www.smart.ulg.ac.be smart@ulg.ac.be +32 4 366 20 78 8 novembre 2006 Le modèle CGQTS en action : le cas d'un examen certificatif standardisé créé à l'aide de la plateforme « electronic Construction & Quality Control in Standardized Testing » Mainferme R. Crahay V.

229 étudiants : quelle(s) modalité(s) d’examens ? Cours de Psychologie Éducationnelle 229 étudiants : quelle(s) modalité(s) d’examens ?

Un exemple d’utilisation : l’examen du cours de Psychologie Éducationnelle (ULg) Travail de groupe « présentation en octuor » = 50% Cote finale Test standardisé « papier crayon » = 50% Questionnaire à choix multiple Avec degrés de certitude Avec solutions générales implicites Avec possibilité de justifications écrites

 Besoin d’une structure de travail collectif Testing standardisé dans le cadre du cours de Psychologie Éducationnelle : Un travail collaboratif Coordonner le travail en équipe Assurer un suivi collectif des tâches réalisées Centraliser le travail  Besoin d’une structure de travail collectif

La plateforme e-C&QCST : Un outil en ligne pour construire et gérer les évaluations

La plateforme e-C&QCST : Un identifiant et un type d’accès pour chacun Acteur 1 Acteur 2 Acteur 4 Acteur 5 Acteur 3  Répartition des tâches

Testing standardisé dans le cadre du cours de Psychologie Éducationnelle : une volonté de qualité Faire le point sur les objets du cours à évaluer Adoption de la démarche CGQTS Assurer une cohérence et une vision partagée et centralisée de ces objets au niveau de l’équipe Communiquer ces objets aux étudiants  Besoin d’un outil de communication central permettant de formaliser la matière à évaluer

La plateforme e-C&QCST : Étape 1 : Création d’une table de spécification Priorités CP PE Relier les Points Enseignés et les Catégories de Performance [PE x CP] Construction du binôme [PE x CP]  Validité

Étape 2 : Les Modalités des Questionnement (MQ) Définir les modalités de questionnement (MQ) Choisir les modalités de questionnement selon les objectifs de l'évaluation Les Modalités de questionnement sont composées de : - Un Format de Questionnement [FQ] : QCM, VF, VFG, QCL - Une série d’Options de Questionnement [OQ] SGI 6, SGI 7, SGI 8, SGI 9, DC, LO

CP x MQ PE x CP x MQ

Répartir les tâches et les objets (ciblés et priorisés) à évaluer Étape 3 : La rédaction des questions Répartir les tâches et les objets (ciblés et priorisés) à évaluer Sept tests formatifs de 10 questions (1 par chap.) Un test certificatif Une nécessaire validation par le Responsable de l’Évaluation (RE)  Obtenir rapidement un nombre suffisant de questions afin d’alimenter une banque à exploiter dans les évaluations formatives et sommatives

La plateforme e-C&QCST: La rédaction des questions

Nécessité de préparer les étudiants à l’examen : Étape 4 : Information/entrainement des étudiants : Entraînement individuel - à la Matière évaluée - au dispositif d’évaluation (QCM, SGI, DC) Permettre à l’évaluateur un suivi qualitatif des apprentissages de son groupe d’étudiants Nécessité de préparer les étudiants à l’examen : TESTS FORMATIFS / D’ENTRAÎNEMENT

La plate-forme e-C&QCST : Les tests formatifs

Informer les étudiants : vers un « engagement docimologique »

La plate-forme e-C&QCST : Les tests formatifs

La plate-forme e-C&QCST: Un suivi des tests formatifs

 Assurer un maximum de qualité à l’examen sommatif Étape 5 : La construction de l’épreuve 35 questions dont 7 proviennent des tests d’entraînement (elles ont été validées sur base de leur r.bis) Équilibrer l’examen (SGI vs Réponses classiques) Impression des différentes formes (4)  Assurer un maximum de qualité à l’examen sommatif

Examen « papier – crayon » (250 étudiants) Feuilles de justification L’examen Examen « papier – crayon » (250 étudiants) Feuilles de justification

Obtenir de nouvelles informations sur la qualité des questions Étape 6 : La correction Obtenir de nouvelles informations sur la qualité des questions Obtenir différents résultats : - graphiques, moyennes, écart-type; - résultats spécifiques en cas de suppression de question (s) ou de changement degré de sévérité

La plateforme e-C&QCST: La correction Résultats et Statistiques :

La plate-forme e-C&QCST: La correction Gestion Qualité du test :

La plateforme e-C&QCST: La correction Gestion Qualité de l’évalué :

Gain de temps au niveau de la création des questions (Impression) Conclusion Travail collaboratif Gain de temps au niveau de la création des questions (Impression) Temps élevé de préparation mais gain de temps gagné pour les années prochaines Feuilles de justification

Perspectives Vers un outil AMS…