htp://www.smart.ulg.ac.be 8 novembre 2006

Présentation au sujet: "htp://www.smart.ulg.ac.be 8 novembre 2006"— Transcription de la présentation:

1 htp:// 8 novembre 2006 Le modèle CGQTS en action : le cas d'un examen certificatif standardisé créé à l'aide de la plateforme « electronic Construction & Quality Control in Standardized Testing » Mainferme R. Crahay V.

2 229 étudiants : quelle(s) modalité(s) d’examens ?
Cours de Psychologie Éducationnelle 229 étudiants : quelle(s) modalité(s) d’examens ?

3 Un exemple d’utilisation : l’examen du cours de Psychologie Éducationnelle (ULg)
Travail de groupe « présentation en octuor » = 50% Cote finale Test standardisé « papier crayon » = 50% Questionnaire à choix multiple Avec degrés de certitude Avec solutions générales implicites Avec possibilité de justifications écrites

4  Besoin d’une structure de travail collectif
Testing standardisé dans le cadre du cours de Psychologie Éducationnelle : Un travail collaboratif Coordonner le travail en équipe Assurer un suivi collectif des tâches réalisées Centraliser le travail  Besoin d’une structure de travail collectif

5 La plateforme e-C&QCST :
Un outil en ligne pour construire et gérer les évaluations

6 La plateforme e-C&QCST : Un identifiant et un type d’accès pour chacun
Acteur 1 Acteur 2 Acteur 4 Acteur 5 Acteur 3  Répartition des tâches

7 Testing standardisé dans le cadre du cours de Psychologie Éducationnelle : une volonté de qualité
Faire le point sur les objets du cours à évaluer Adoption de la démarche CGQTS Assurer une cohérence et une vision partagée et centralisée de ces objets au niveau de l’équipe Communiquer ces objets aux étudiants  Besoin d’un outil de communication central permettant de formaliser la matière à évaluer

8 La plateforme e-C&QCST :
Étape 1 : Création d’une table de spécification Priorités CP PE Relier les Points Enseignés et les Catégories de Performance [PE x CP] Construction du binôme [PE x CP]  Validité

9 Étape 2 : Les Modalités des Questionnement (MQ)
Définir les modalités de questionnement (MQ) Choisir les modalités de questionnement selon les objectifs de l'évaluation Les Modalités de questionnement sont composées de : - Un Format de Questionnement [FQ] : QCM, VF, VFG, QCL - Une série d’Options de Questionnement [OQ] SGI 6, SGI 7, SGI 8, SGI 9, DC, LO

10 CP x MQ PE x CP x MQ

11 Répartir les tâches et les objets (ciblés et priorisés) à évaluer
Étape 3 : La rédaction des questions Répartir les tâches et les objets (ciblés et priorisés) à évaluer Sept tests formatifs de 10 questions (1 par chap.) Un test certificatif Une nécessaire validation par le Responsable de l’Évaluation (RE)  Obtenir rapidement un nombre suffisant de questions afin d’alimenter une banque à exploiter dans les évaluations formatives et sommatives

12 La plateforme e-C&QCST: La rédaction des questions

13

14 Nécessité de préparer les étudiants à l’examen :
Étape 4 : Information/entrainement des étudiants : Entraînement individuel - à la Matière évaluée - au dispositif d’évaluation (QCM, SGI, DC) Permettre à l’évaluateur un suivi qualitatif des apprentissages de son groupe d’étudiants Nécessité de préparer les étudiants à l’examen : TESTS FORMATIFS / D’ENTRAÎNEMENT

15 La plate-forme e-C&QCST :
Les tests formatifs

16 Informer les étudiants :
vers un « engagement docimologique »

17 La plate-forme e-C&QCST :
Les tests formatifs

18 La plate-forme e-C&QCST: Un suivi des tests formatifs

19  Assurer un maximum de qualité à l’examen sommatif
Étape 5 : La construction de l’épreuve 35 questions dont 7 proviennent des tests d’entraînement (elles ont été validées sur base de leur r.bis) Équilibrer l’examen (SGI vs Réponses classiques) Impression des différentes formes (4)  Assurer un maximum de qualité à l’examen sommatif

20

21 Examen « papier – crayon » (250 étudiants) Feuilles de justification
L’examen Examen « papier – crayon » (250 étudiants) Feuilles de justification

22 Obtenir de nouvelles informations sur la qualité des questions
Étape 6 : La correction Obtenir de nouvelles informations sur la qualité des questions Obtenir différents résultats : - graphiques, moyennes, écart-type; - résultats spécifiques en cas de suppression de question (s) ou de changement degré de sévérité

23 La plateforme e-C&QCST:
La correction Résultats et Statistiques :

24 La plate-forme e-C&QCST:
La correction Gestion Qualité du test :

25 La plateforme e-C&QCST:
La correction Gestion Qualité de l’évalué :

26 Gain de temps au niveau de la création des questions (Impression)
Conclusion Travail collaboratif Gain de temps au niveau de la création des questions (Impression) Temps élevé de préparation mais gain de temps gagné pour les années prochaines Feuilles de justification

27 Perspectives Vers un outil AMS…