Activité CDS #7 Construire et gérer des examens standardisés de qualité : témoignages et réflexions Mardi 30 janvier 2007 Enjeux et facteurs-clés d'une approche qualité en évaluation standardisée : focus sur le modèle de Construction et de Gestion de la Qualité des Tests Standardisés (CGQTS) Jean-Luc GILLES Université de Liège Système Méthodologique d’Aide à la Réalisation de Tests (SMART) Service de Didactique générale et intervention éducative Spin off Assess-Group S.A. ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

« Il est frappant de constater que dans la plupart des universités, les enseignants parlent volontiers de leurs recherches, peu de leurs enseignements et quasiment jamais de leurs examens… » Jean-Louis Ricci (2006) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Rege Colet et Romainville, Eds. (2006) Blais & al. (1997) Rege Colet et Romainville, Eds. (2006) Debry & al. (1999) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Le besoin : des examens universitaires de qualité Fréquences des modalités de questionnement utilisées dans les examens universitaires (enquête du GRIPU à l’Univ. de Montréal) Tâches d'examen au 1er et aux 2e & 3e cycles à l'Université de Montréal (d'après BLAIS & al., 1997, pp. 48-49) 25% 34% 16% 32% 66% 49% 14% 57% 7% 4% 5% 1% 3% 33% 36% 17% 30% 0% 10% 20% 40% 50% 60% 70% 1er cycle (n=270) 2e & 3e cycle (n=76) 1er cycle = 36% 2e & 3e cycle = 12% 1er cycle = 64% 2e & 3e cycle = 88% VF / QCM QROC QROM QCM Autres Vrai ou faux Réponse courte Démonstration Solution de problème Phrase ou tableau à compléter Développement court (moins d'une 1/2 page) Développement long (plus d'une 1/2 page) QROL (Blais & al. 1997) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Le besoin : des examens universitaires de qualité Fréquences des modalités de questionnement utilisées dans les examens universitaires Enquête à la FAPSE-ULg (DEBRY & al, 1999) : 25 examens avec questions à réponses fermées (42%) 32 examens avec questions à réponses ouvertes (53%) 1er cycle FAPSE-ULg (1997-1998) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Le besoin : des examens universitaires de qualité Principaux avantages potentiels et inconvénients des questions fermées   - Automatisation   questions   validité -  problèmes de concor-dances intra et inter-correcteurs   fidélité - Automatisation   praticabilité - … - Piège des questions portant sur des détails - Conception binaire des réponses (sauf si utilisation DC) - Impuissance à mesurer certaines catégories de performances ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Le besoin : des examens universitaires de qualité Principaux avantages potentiels et inconvénients des questions ouvertes   - Permettent l’évaluation de performances complexes - Permettent d’évaluer les objectifs d’expression - Sollicitations plus proches de celles de la vie quotidienne - En général peu de questions pour éviter d’augmenter le temps de correction - Biais  concordance intra et inter-correcteurs - Ne sont pas socialement neutres ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

La lutte contre une « dissonance pédagogico-docimologique » Le besoin : des examens universitaires de qualité Fréquences des modalités de questionnement utilisées dans les examens universitaires Taille du groupe Culture d’évaluation Règlement pédagogique Quelles contingences orientent les examinateurs vers le choix de questions fermées ou ouvertes ? (BLAIS & al., 1997) La lutte contre une « dissonance pédagogico-docimologique » La contrainte des disciplines ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Quatre facteurs clés pour une approche qualité en docimologie : Critères de qualité validité  fidélité  sensibilité  diagnosticité  praticabilité  équité  communicabilité  authenticité Ressources en personnel et en maté- riel Besoins des acteurs des évalu- ations Modèles & procédures d’évaluation (Gilles, 2002 ; Gilles, Piette, Detroz, Tinnirello, Pirson, Dabo et Lê, 2005) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Le besoin : des examens universitaires de qualité Quels avantages des examens standardisés de qualité peuvent-ils offrir ? ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Le besoin : des examens universitaires de qualité Quels avantages des examens standardisés de qualité peuvent-ils offrir ? ... ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

R&D en ingénierie docimologique : Système Méthodologique d’Aide à la Réalisation de Tests (ULg) Assess- Group S.A. R&D en ingénierie docimologique : electronic Construction & Quality Control in Standardized Testing Test standardisé : « Test dont les procédures d'administration et de notation, de même que le procédé d'interprétation, sont uniformisés pour tous les sujets » Pigeon & Kellett (2000) (Gilles, 2002 ; Gilles & al., 2005) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

1. Analyse préalable de l’épreuve Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 1. Analyse préalable de l’épreuve - Lister les points à évaluer (PE) - Associer des priorités liées aux PE - Définir les catégories de performances (CP) Produit de cette 1ère étape : une table de spécifications où les PE sont croisés avec les CP : (PE x CP) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

2. Design de l’examen standardisé Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 2. Design de l’examen standardisé Définir les modalités de questionnement (MQ) en rapport avec les cat. de performances (CP) Créer le test et déterminer la portion de la table de spécification qu’il est sensé couvrir Produit de cette 2ème étape : une table de spécifications où les trinômes (PE x CP x MQ) du test sont identifiés ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

CP x MQ PE x CP x MQ ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

3. Création des questions Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 3. Création des questions Alimenter la banque de question Valider les questions qui pourraient être utilisées pour l’examen Produit de cette 3ème étape : une banque de questions caractérisées par leurs trinômes (PE x CP x MQ) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

4. Information des évalués Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 4. Information des évalués Expliquer les procédures d’évaluation et les conditions de l’examen Proposer des entraînements Produit de cette 4ème étape : des informations en ligne ainsi que des tests d’entraînement ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

5. Questionnaire de l’examen Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 5. Questionnaire de l’examen Sélectionner les questions validées qui seront proposées lors de l’épreuve Créer le questionnaire d’examen Produit de cette 5ème étape : un questionnaire d’examen « papier crayon » ou électronique ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

6. Acquisition, correction et contrôle qualité des résultats Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 6. Acquisition, correction et contrôle qualité des résultats Importer et traiter les résultats de l’épreuve Contrôler la qualité des questions Etablir une version finale Produit de cette 6ème étape : une version fiable des résultats des évalués ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

(Gilles, 2002) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Version 1 : moyenne des moyennes = 9,8 Version 2 : moyenne des moyennes = 10,7 (Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Au niveau du professeur évaluateur : amélioration de la qualité de ses épreuves Pour les 34 tests rectifiés (71 rectifications au total) comprenant deux versions : Changements de réponse correcte 10 Suppressions d’une question 22 Valorisation d’un distracteur 39 TOTAL 71 Après ces rectifications, les épreuves mesurent mieux ce qu’elles étaient sensées mesurer ( validité) (Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

7. Feedbacks aux étudiants Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 7. Feedbacks aux étudiants Sélectionner les caractéristiques des feedbacks aux étudiants Autoriser la mise en ligne des feedbacks Produit de cette 7ème étape : des feedbacks individualisés, précis et diagnostiques pour chaque évalué ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

pics de consultations hors l'ULg pics de consultations à l'ULg hors ULg Ce graphique montre les consultations par les étudiants des feedbacks via internet en fonction des heures du jour. La courbe bleue montre les consultations depuis les ordinateurs connectés à l’internet qui se trouvent sur le campus de l’université de Liège, les consultations depuis les ordinateurs qui se trouvent dans les différentes salles informatisées de l’université. La courbe rose montre les consultations en fonction des heures du jour depuis des machines connectées à l’internet qui se trouvent à l’extérieur de l’ULg, par exemple au domicile ou au kot de l’étudiant. On remarque deux pics de consultations à l’ULg aux alentours de midi et de 17h00 (+/- la fin des cours). Hors ULg, il y a aussi un pic aux alentours de midi et un second vers 21h00. On voit clairement que une baisse de consultation des feedbacks à l’ULg après 12h00 avec une augmentation des consultations à l’extérieur de l’ULg après midi jusqu’au environs de 21h00 après quoi le nombre de consultations diminue. (Gilles, 2004) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Proposer des améliorations Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 8. Macro-régulation Sélectionner des critères de qualité et les croiser avec les produits finaux des différentes étapes Proposer des améliorations Produit de cette 8ème étape : Une série de pistes d’amélioration de la qualité pour le prochain examen ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

[1.3] Les questions étaient claires Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000) 6 1ère candidature 1997-1998 (n=227) 2ème candidature 1997-1998 (n=163) 1ère candidature 1998-1999 (n=150) 5 1ère candidature 1999-2000 (n=250) 2ème candidature 1999-2000 (n=134) 4 Moyennes des avis 3 2 1 [3.3] Après l'examen, l'étudiant peut obtenir des explications sur la qualité de ses réponses au... [1.3] Les questions étaient claires [1.5] Le mode d'évaluation permet au prof. d'avoir une bonne représentation des... [1.1] Le mode d'évaluation était adéquat [3.1] Les réponses correctes sont communiquées aux étudiants après l'examen [1.4] Questions bien adaptées à la matière [3.2] L'analyse statistique de la qualité des questions (r.bis) est communiquée [1.6] L'évaluation est équitable et impartiale [2.4] L'horaire fixé pour l'examen est respecté [1.2] L'entraînement avant l'examen était suffisant [2.3] L'enseignant met l'étudiant à l'aise à l'examen oral [2.2] Les exigences de l'enseignant sont présentées en temps utiles [2.1] Les exigences de l'enseignant sont clairement présentées (Gilles, 2002) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

(Approche qualité en évaluation - Gilles, 2002) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Solutions matérielles : Système Méthodologique d’Aide à la Réalisation de Tests (ULg) Assess- Group S.A. Solutions matérielles : Une chaîne complète de lecture optique de marques Un système de boîtiers de votes électroniques qui permettent d’animer des séances de cours interactives et de fournir des feedbacks en direct aux étudiants ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Solutions logicielles : Système Méthodologique d’Aide à la Réalisation de Tests (ULg) Assess- Group S.A. Solutions logicielles : electronic Network for Global Evaluation of Learners’ Satisfaction (e-NGELS) Testing Interactif Multimédias via Internet (TIMI) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

« L’évaluation des examens n’est que très rarement à l’ordre du jour « L’évaluation des examens n’est que très rarement à l’ordre du jour. D’ordinaire, tout examen et sa qualité reste exclusivement du ressort du professeur concerné… » Ricci (2006) Consortium de recherche en ingénierie docimologique et didactique (CRIDD) En 2007 : réplication interuniversitaire coordonnée par le SMART et le Service de didactique générale et intervention éducative Blais & al. (1997) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Liens utiles : Sites web : Système Méthodologique d’Aide à la Réalisation de Tests (SMART – ULg) www.smart.ulg.ac.be Spin off Assess-Group S.A. : testing standardisé et soutien logistique aux enseignants www.assess-group.be Plateforme e-C&QCST : hosting pour les enseignants http://e-cqcst.assess-group.be/ Did@campus du Service de didactique générale et intervention éducative (ULg) www.sdg-ulg.net/didacampus/ Articles en ligne : Electronic Construction and Quality Control in Standardized Testing: the e-C&QCST project (Gilles, J.-L., Piette, S.-A., Detroz, P., Tinnirello, S., Pirson, M., Dabo, M., Lê, H., 2005) http://www.jlgilles.net/articles/e-cqcst-earli-2005.pdf Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en terme de validité, fidélité, sensibilité des mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité (Gilles, J.-L. et Lovinfosse, V., 2004) http://www.jlgilles.net/articles/Gilles_Lovinfosse_amse_2004.pdf De la recherche à la consultance : le choix stratégique d’un transfert d’activité opéré par l’équipe du Système Métho-dologique d’Aide à la Réalisation de Tests (SMART) de l’Université de Liège. (Gilles, J.-L., Detroz, P., Tinnirello, S., 2006) http://www.hec.ulg.ac.be/FR/lentic/pdf/Com_Gilles_Detroz_Tinnirello.pdf Observations sur les études universitaires à la FAPSE-ULg. (Debry, M. & al., 1999) http://www.jlgilles.net/articles/oeuf_1999.pdf ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

Merci pour votre attention, N ’hésitez pas à prendre contact si vous souhaitez de plus amples informations jl.gilles@ulg.ac.be ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07