Processus de macro-régulation : impact des modalités du recueil de données sur l’efficacité et l’équité Pascal Detroz Assistant de recherche p.detroz@ulg.ac.be Muriel Delforge Faculté Polytechnique de Mons muriel.delforge@fpms.ac.be Bonjour, mon nom est Jean-Luc Gilles, je suis chargé de recherches à l’Université de Liège où je dirige l’équipe du Système Méthodologique d’Aide à la réalisation de Tests, en abrégé le « SMART » dont vous voyez le logo en haut à droite sur l’écran. La communication que je vais avoir le plaisir de vous présenter est intitulée « Feedbacks diagnostiques via internet : un système individualisé de communication des niveaux de performances des étudiants dans le cadre d’évaluations standardisées ». XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004

Le fichier de cette présentation est téléchargeable sur le site web du SMART-ULg : http://www.smart.ulg.ac.be/congres/amse2004/ Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

Un cycle de réalisation des évaluations en 8 étapes : Méthodologie « SMART » Un cycle de réalisation des évaluations en 8 étapes : 1. Analyse des objectifs de l’enseignement - Points Ense ignés Catégories de Performances Priorités 2. Mise en forme de l’épreuve - Définition des Modalités de Questionnement Équilibrage de l’épreuve 3. Construction de l’épreuve - Rédaction des questions Barèmes et tarifs Contrôle qualité a priori 8. Macro régu- lation (recueil des avis des étudiants) 4. Entraîn e ment 5. Epreuve - préparation du matériel, des l o caux, consignes vérification du timing procédures anti- fraude 7. Feed-back aux exam i nés - FB « matières », « processus me n taux » et métacognitifs » infos sur l’analyse des questions 6. Correction et discussion - performances analyse des pr o positions, contrôle qualité a posteriori : r pbis, rectific tions Cycle SMART de réalisation des évaluations En ce qui concerne les modèles que nous utilisons, voici, très rapidement, et en version simplifiée, le cycle de réalisation des évaluations standardisées proposé par le SMART : La première étape consiste à analyser les objectifs de l’enseignements en vue de dégager les information nécessaires pour mettre en forme un schéma d’épreuve à la seconde étape. On définira que pour évaluer les objectifs identifiés à l’étape 1, il faudra envisager plusieurs modalités de questionnements, par exemple une série de questions à réponses ouvertes accompagnées de questions à choix multiples… La troisième étape consistera à créer les questions sur bases des modalités définies à l’étape précédente. Un entraînement à ces modalités de questionnement peut s’avérer utile avant l’examen, c’est l’objet de cette quatrième étape. L’étape cinq correspond à la mise en œuvre de l’évaluation avec les étudiants. L’étape six est l’étape de correction des épreuves, une série d’analyse de la qualité des questions sont proposées à cette étape. Vient ensuite l’étape des feedbacks aux examinés, c’est cette étape qui nous préoccupe plus particulièrement dans le cadre de cet exposé. Enfin, le cycle est bouclé avec cette dernière et huitième étape où nous recueillons les avis des étudiants sur la façon dont l’épreuve s’est déroulée et a été préparée en vue d’améliorer la prochaine évaluation. (Gilles & Leclercq, 1996)

L’évaluation des enseignements : Une stratégie gagnante L’exemple de la Faculté de Psychologie et des Sciences de l’Education : Les feedbacks En analysant les questions suivantes relatives aux feedbacks donnés aux étudiants après les examens … 2.11 L’étudiant peut obtenir des explications sur la qualité de ses réponses 2.12 Les résultats (points ou grades) sont affichés 2.13 Pour les écrits, les corrections ont été communiquées en temps utile … on constate qu’en 1997-1998, ces items constituaient les points faibles de l’évaluation des examens. Après de nombreux efforts conjoints de la Faculté et du SMART, une très nette amélioration a été constatée. Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

L’évaluation des enseignements : Une stratégie gagnante Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

L’évaluation des enseignements : Les jalons institutionnels L’évaluation de la qualité de l’enseignement dans les institutions universitaires de la communauté française de Belgique (11 mars 1997). La déclaration de Bologne « L’espace européen de l’enseignement supérieur » (19 juin 1999). Le décret créant l’agence pour l’évaluation de la qualité de l’enseignement supérieur organisé ou subventionné par la communauté française (14 novembre 2002). Le décret définissant l’enseignement supérieur, favorisant son intégration à l’espace européen de l’enseignement supérieur et refinancant les universités (23 mars 2004). Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

L’évaluation des enseignements : Analyse de cas - FMPs La FPMs : Institution monofacultaire de petite taille (1100 étudiants) Formation d’Ingénieur civil, forte composante « entreprise » Très influencé par la procédure qualité issue du monde industriel Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

L’évaluation des enseignements : Analyse de cas : FPMs La FPMs : Deux voies d’évaluation Le enquêtes pédagogiques (avis des étudiants, papier crayon). Elles existent depuis une quinzaine d‘années Elles sont annuelles Elles sont sanctionnantes L’échelle utilisée est sous la forme ++, +, N, -, -- La procédure qualité Existe depuis 1998 Formative Plus fouillée Analyse des « faits quantitatifs » (inscription, taux de réussite, flux, …) Comité de concertation (étudiants, Doyen, cellule qualité, …) Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

L’évaluation des enseignements : Analyse de cas : ULg L’ULg : Historique Avant 1990, apanage de volontés individuelles ou émanent des étudiants Première enquête pédagogique en mai 1991 En 1995-1996, acquisition d’un lecteur optique de marques En 1997, une commission interfacultaire d’Evaluation des Enseignements En 1997-1998, 400 cours sont évalués En 2000-2001, naissance du SMART et subsidiation de l’ULg En 2002-2003, première maquette du projet EEEVI (Evaluation des Enseignements par les Etudiants via Internet) En 2003-2004, finalisation d’EEEVI Aujourd’hui, environ 1.500 cours et 60.000 feuilles lues par an Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

L’évaluation des enseignements : Analyse de cas : ULg L’ULg : Description des structures Quatre types de structure régulent la procédure Evalens La commission interfacultaire « Evaluation des enseignements » Le SMART Les conseils des études facultaires Les secrétariats facultaires Sans oublier, évidemment, les étudiants et les enseignants Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

Ancrage institutionnel de l’évaluation des enseignements SMART Conseil général des études Huit facultés Commission permanente Evalens Rapports de la commission Conseil d’administration

L’évaluation des enseignements : Analyse de cas : ULg L’ULg : Méthodologie Régie par une circulaire émanant de la commission interfacultaire Evalens et votée au Conseil d’Administration du 20 mars 2002. Cette circulaire préconise : d’évaluer chaque enseignement au moins tous les quatre ans, de séparer l’évaluation des cours et des examens (calendrier => validité), d’utiliser un questionnaire commun à toutes les Facultés, de fournir les feedbacks aux étudiants concernés et au doyen, d’organiser une réunion spéciale du Conseil des Etudes pour analyser les résultats publics, d’autoriser le doyen à régler un problème éventuel avec les personnes impliquées, de veiller à la mise en place effective du Comité de Pilotage Interfacultaire ; d’assurer un retour des résultats de ces évaluations vers les étudiants Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

3. Les questionnaires d’évaluation des enseignements à L’université de Liège

3c. Les questionnaires d’évaluation des enseignements à L’université de Liège : Le questionnaire « évaluation des examens »

4. Les feedbacks confidentiels : Les données

4. Les feedbacks confidentiels : Les données (explication)

L’évaluation des enseignements : Perspectives D’une approche formaliste vers une approche naturaliste : Evaluation administrative et évaluation formative Importance de l’enjeu de l’évaluation Validité et fidélité Centra, 1993 -> L’évaluation régule l’enseignement si : L’information est nouvelle L’enseignant y apporte du poids Il doit savoir comment faire pour s’améliorer Il doit être motivé à faire des améliorations Apports des nouvelles technologies et de l’Internet : EEEVI Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

Démonstration du logiciel : mode étudiant et mode professeur quelques copies d’écran Présentation du logiciel d’Evaluation des Enseignements par les Etudiants Via Internet (EEEVI – version 1.0) - 18/11/02

L’évaluation des enseignements : Impact des TIC sur la qualité Module générale : évaluation administrative Modules à choisir ou non : évaluation formative Modules et Items validés par la recherche (fb uniquement enseignant) Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

L’évaluation des enseignements : Impact des TIC sur la qualité La charge de travail : En présentiel A distance Le taux de réponses : Taux de réponses et questionnaire électronique : (Rege Colet, 2002 ; Carini, 2003) Obligations ? Représentation des étudiants (Thivierge et Bernard, 1996) Vers une meilleure communication Le lien avec l’anonymat : Respect de l’anonymat en présentiel Respect de l’anonymat à distance Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.

L’évaluation des enseignements : Impact des TIC sur la qualité Variations des réponses en fonction de la modalité utilisée Carini et al. 2003 Réponses en moyenne légèrement plus favorables dans le cas de l’enquête électronique Forte différence quand le thème abordé a trait aux nouvelles technologies Sax et al. 2003 Pas de différences entre les filles et les garçons Différences importantes en fonction de l’origine ethnique Vigilance historiquement nécessaire en évaluation des enseignements Ainsi, Carson (2001) note que, à conditions égales, les filles sont plus enclines à produire des évaluations positives que les garçons Avant tout, permettez-moi de vous signaler que le fichier de cette présentation est téléchargeable sur le site web du SMART, à l’adresse qui est mentionnée en ce moment sur l’écran.