La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07.

Présentations similaires


Présentation au sujet: "ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07."— Transcription de la présentation:

1 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 1 Activité CDS #7 Construire et gérer des examens standardisés de qualité : témoignages et réflexions Mardi 30 janvier 2007 Enjeux et facteurs-clés d'une approche qualité en évaluation standardisée : focus sur le modèle de Construction et de Gestion de la Qualité des Tests Standardisés (CGQTS) Jean-Luc GILLES Université de Liège Système Méthodologique dAide à la Réalisation de Tests (SMART) Service de Didactique générale et intervention éducative Spin off Assess-Group S.A.

2 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 2 « Il est frappant de constater que dans la plupart des universités, les enseignants parlent volontiers de leurs recherches, peu de leurs enseignements et quasiment jamais de leurs examens… » Jean-Louis Ricci (2006)

3 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 3 Blais & al. (1997) Debry & al. (1999) Rege Colet et Romainville, Eds. (2006)

4 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 4 Vrai ou faux QCM Phrase ou tableau à compléter Réponse courte Développement court (moins d'une 1/2 page) Solution de problème Démonstration Développement long (plus d'une 1/2 page) Autres Tâches d'examen au 1er et aux 2e & 3e cycles à l'Université de Montréal (d'après BLAIS & al., 1997, pp ) 25% 34% 16% 32% 66% 49% 14% 57% 7% 4% 5% 1% 3% 33% 36% 17% 30% 7% 0% 10% 20% 30% 40% 50% 60% 70% 1er cycle (n=270) 2e & 3e cycle (n=76) VF / QCM QROC QROM QROL Le besoin : des examens universitaires de qualité Fréquences des modalités de questionnement utilisées dans les examens universitaires (enquête du GRIPU à lUniv. de Montréal) 1er cycle = 36% 2e & 3e cycle = 12% 1er cycle = 64% 2e & 3e cycle = 88% (Blais & al. 1997)

5 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 5 Enquête à la FAPSE-ULg (DEBRY & al, 1999) : 32 examens avec questions à réponses ouvertes (53%) 25 examens avec questions à réponses fermées (42%) 1er cycle FAPSE-ULg ( ) Fréquences des modalités de questionnement utilisées dans les examens universitaires Le besoin : des examens universitaires de qualité

6 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 6 Principaux avantages potentiels et inconvénients des questions fermées -Automatisation questions validité - problèmes de concor- dances intra et inter- correcteurs fidélité -Automatisation praticabilité - … -Piège des questions portant sur des détails -Conception binaire des réponses (sauf si utilisation DC) -Impuissance à mesurer certaines catégories de performances Le besoin : des examens universitaires de qualité

7 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 7 Principaux avantages potentiels et inconvénients des questions ouvertes -Permettent lévaluation de performances complexes -Permettent dévaluer les objectifs dexpression -Sollicitations plus proches de celles de la vie quotidienne -En général peu de questions pour éviter daugmenter le temps de correction -Biais concordance intra et inter-correcteurs -Ne sont pas socialement neutres Le besoin : des examens universitaires de qualité

8 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 8 Culture dévaluation Taille du groupe Règlement pédagogique La lutte contre une « dissonance pédagogico-docimologique » La contrainte des disciplines Quelles contingences orientent les examinateurs vers le choix de questions fermées ou ouvertes ? (BLAIS & al., 1997) Fréquences des modalités de questionnement utilisées dans les examens universitaires Le besoin : des examens universitaires de qualité

9 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 9 Besoins des acteurs des évalu- ations Critères de qualité validité fidélité sensibilité diagnosticité praticabilité équité communicabilité authenticité Modèles & procédures dévaluation Ressources en personnel et en maté- riel (Gilles, 2002 ; Gilles, Piette, Detroz, Tinnirello, Pirson, Dabo et Lê, 2005) Quatre facteurs clés pour une approche qualité en docimologie :

10 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 10 Quels avantages des examens standardisés de qualité peuvent-ils offrir ? Le besoin : des examens universitaires de qualité

11 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/ Le besoin : des examens universitaires de qualité Quels avantages des examens standardisés de qualité peuvent-ils offrir ?

12 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 12

13 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 13

14 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 14 Système Méthodologique dAide à la Réalisation de Tests (ULg) Assess- Group S.A. R&D en ingénierie docimologique : electronic Construction & Quality Control in Standardized Testing (Gilles, 2002 ; Gilles & al., 2005)

15 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/ Analyse préalable de lépreuve -Lister les points à évaluer (PE) -Associer des priorités liées aux PE -Définir les catégories de performances (CP) Produit de cette 1ère étape : une table de spécifications où les PE sont croisés avec les CP : (PE x CP) Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)

16 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 16

17 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/ Design de lexamen standardisé -Définir les modalités de questionnement (MQ) en rapport avec les cat. de performances (CP) -Créer le test et déterminer la portion de la table de spécification quil est sensé couvrir Produit de cette 2 ème étape : une table de spécifications où les trinômes (PE x CP x MQ) du test sont identifiés Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)

18 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 18 CP x MQ PE x CP x MQ

19 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/ Création des questions -Alimenter la banque de question -Valider les questions qui pourraient être utilisées pour lexamen Produit de cette 3 ème étape : une banque de questions caractérisées par leurs trinômes (PE x CP x MQ) Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)

20 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 20

21 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/ Information des évalués -Expliquer les procédures dévaluation et les conditions de lexamen -Proposer des entraînements Produit de cette 4 ème étape : des informations en ligne ainsi que des tests dentraînement Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)

22 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 22

23 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/ Questionnaire de lexamen -Sélectionner les questions validées qui seront proposées lors de lépreuve -Créer le questionnaire dexamen Produit de cette 5 ème étape : un questionnaire dexamen « papier crayon » ou électronique Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)

24 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 24

25 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/ Acquisition, correction et contrôle qualité des résultats -Importer et traiter les résultats de lépreuve -Contrôler la qualité des questions -Etablir une version finale Produit de cette 6 ème étape : une version fiable des résultats des évalués Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)

26 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 26

27 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 27 (Gilles, 2002)

28 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 28 Version 1 : moyenne des moyennes = 9,8 Version 2 : moyenne des moyennes = 10,7 (Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)

29 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 29 Au niveau du professeur évaluateur : amélioration de la qualité de ses épreuves Changements de réponse correcte10 Suppressions dune question22 Valorisation dun distracteur39 TOTAL71 Pour les 34 tests rectifiés (71 rectifications au total) comprenant deux versions : Après ces rectifications, les épreuves mesurent mieux ce quelles étaient sensées mesurer ( validité) (Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)

30 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/ Feedbacks aux étudiants -Sélectionner les caractéristiques des feedbacks aux étudiants -Autoriser la mise en ligne des feedbacks Produit de cette 7 ème étape : des feedbacks individualisés, précis et diagnostiques pour chaque évalué Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)

31 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 31 pics de consultations à l'ULg pics de consultations hors l'ULg ULg hors ULg (Gilles, 2004)

32 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/ Macro-régulation -Sélectionner des critères de qualité et les croiser avec les produits finaux des différentes étapes -Proposer des améliorations Produit de cette 8 ème étape : Une série de pistes damélioration de la qualité pour le prochain examen Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)

33 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 33 Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000) [1.1] Le mode d'évaluation était adéquat [1.2] L'entraînement avant l'examen était suffisant [1.3] Les questions étaient claires [1.4] Questions bien adaptées à la matière [1.5] Le mode d'évaluation permet au prof. d'avoir une bonne représentation des... [1.6] L'évaluation est équitable et impartiale [2.1] Les exigences de l'enseignant sont clairement présentées [2.2] Les exigences de l'enseignant sont présentées en temps utiles [2.3] L'enseignant met l'étudiant à l'aise à l'examen oral [2.4] L'horaire fixé pour l'examen est respecté [3.1] Les réponses correctes sont communiquées aux étudiants après l'examen [3.2] L'analyse statistique de la qualité des questions (r.bis) est communiquée [3.3] Après l'examen, l'étudiant peut obtenir des explications sur la qualité de ses réponses au... Moyennes des avis 1ère candidature (n=227) 2ème candidature (n=163) 1ère candidature (n=150) 1ère candidature (n=250) 2ème candidature (n=134) (Gilles, 2002)

34 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 34 (Approche qualité en évaluation - Gilles, 2002)

35 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 35 Système Méthodologique dAide à la Réalisation de Tests (ULg) Solutions matérielles : Une chaîne complète de lecture optique de marques Un système de boîtiers de votes électroniques qui permettent danimer des séances de cours interactives et de fournir des feedbacks en direct aux étudiants Assess- Group S.A.

36 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 36 Système Méthodologique dAide à la Réalisation de Tests (ULg) Assess- Group S.A. Solutions logicielles : Testing Interactif Multimédias via Internet (TIMI) electronic Network for Global Evaluation of Learners Satisfaction (e-NGELS)

37 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 37 « Lévaluation des examens nest que très rarement à lordre du jour. Dordinaire, tout examen et sa qualité reste exclusivement du ressort du professeur concerné… » Ricci (2006) Blais & al. (1997) Consortium de recherche en ingénierie docimologique et didactique (CRIDD) En 2007 : réplication interuniversitaire coordonnée par le SMART et le Service de didactique générale et intervention éducative

38 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 38 Liens utiles : Sites web : Système Méthodologique dAide à la Réalisation de Tests (SMART – ULg) Spin off Assess-Group S.A. : testing standardisé et soutien logistique aux enseignants Plateforme e-C&QCST : hosting pour les enseignants du Service de didactique générale et intervention éducative (ULg) Articles en ligne : Electronic Construction and Quality Control in Standardized Testing: the e-C&QCST project (Gilles, J.-L., Piette, S.-A., Detroz, P., Tinnirello, S., Pirson, M., Dabo, M., Lê, H., 2005) Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte dune Haute Ecole : regard critique en terme de validité, fidélité, sensibilité des mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité (Gilles, J.-L. et Lovinfosse, V., 2004) De la recherche à la consultance : le choix stratégique dun transfert dactivité opéré par léquipe du Système Métho- dologique dAide à la Réalisation de Tests (SMART) de lUniversité de Liège. (Gilles, J.-L., Detroz, P., Tinnirello, S., 2006) Observations sur les études universitaires à la FAPSE-ULg. (Debry, M. & al., 1999)

39 ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 39 Merci pour votre attention, N hésitez pas à prendre contact si vous souhaitez de plus amples informations


Télécharger ppt "ULg – Activité CDS #7 – Enjeux et facteurs clés dune approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07."

Présentations similaires


Annonces Google