Enquête d’auto-évaluation du PEC Objectif: améliorer l’évaluation (l’enquête sur le PEC est conçue dans un but formatif)

Procédure de l’auto-évaluation Etape 1 - organiser une session d’introduction: pour expliquer les critères et les concepts du PEC et préciser quel type de preuves est nécessaire à l’enquête. Etape 2 – remplir le questionnaire en ligne: le questionnaire d’auto-évaluation du PEC est à remplir individuellement. Etape 3 - organiser un/des entretien(s) de groupe: en fonction de votre statut, vous pouvez organiser un entretien de groupe avec des étudiants et des enseignants sélectionnés (interviewés en même temps) ou deux interviews séparés avec un groupe d’étudiants et un groupe d’enseignants.

Pourquoi ai-je besoin d’organiser une session d'introduction? En tant qu'organisateur du PEC, vous voulez vous assurer que les participants à l'enquête: Comprennent le concept du PEC et décrivent clairement les objectifs et les modalités de cette auto-évaluation; Comprennent les critères de qualité et les indicateurs énoncés dans l’enquête; Recensent toutes les méthodes d’évaluation; Comprennent le type de preuve recherché; Comprennent comment remplir le questionnaire.

Qui dois-je inviter? Invitez toutes les parties concernées par le programme à évaluer Profil des participants: Divers statuts (étudiants, enseignants, coordonnateurs, évaluateurs externes, etc.) Ou Un groupe d’enseignants ayant des visions différentes sur le programme à évaluer Nombre de personnes: 8 - 12 (ou plus) par programme

Comprendre le PEC Consultez la présentation ppt ‘Guide d’appui pour la session d'introduction’ et le document Word ‘Guide d’organisation d’une enquête d’auto-évaluation’ pour présenter le concept PEC et expliquer les 12 critères de qualité

Etablir une liste d’évaluation (PEC) Le questionnaire en ligne demandera à chaque participant d’établir une liste de leur méthodes d’évaluation. Lors de la session d’introduction, veuillez consulter le tableau (page suivante) pour vous assurer que tous les participants comprennent comment remplir l’enquête

Une déscription du PEC Méthode d’évaluation L’objet de l’évaluation? Qui évalue? Quand/nombre de fois une évaluation est-elle effectuée? Pour des fins sommatives et/ou formatives? P.e. test des connaissances (QCM, T/F, etc.), projet, observations pendant le stage,… Quelles compétences/ tâche principale / flux de travail P.e. enseignant / experts sur le terrain / collègues P.e. à la fin de la séquence de cours/ plusieurs fois par séquence ☐ seuls les scores ☐ les réactions individuelles/du groupe ☐ ni commentaires/ni résultats

Quel type de preuve est nécessaire? Une série de preuves & exemples: Les participants peuvent se servir des ressources suivantes pour indiquer la qualité de l’évaluation: L’évaluation (écrite & orale, par bloc thématique et générale) des étudiants/des cours; Rapport des grades / résultats des examinateurs externes; Evaluation de stage; Commentaires des experts du terrain.

Quel genre de preuve est nécessaire? Donnez quelques exemples pour préciser les attentes : Exemple d’une conclusion non valide: “c’est évident”: Une preuve solide telle que “au début du cours nous avons reçu un document décrivant les sections (détaillant les critères qui permettront d’évaluer les étudiants) (consultez une autre présentation ppt pour plus d’exemples)??? (titre??) Leur opinion/ expérience peut servir comme preuve : vos collègues partagent-ils la même opinion ou la même expérience?

Etape 2: Remplir le questionnaire en ligne Remplir le questionnaire en ligne prendra environ 1 heure!  Les participants auront besoin d’au moins une semaine pour remplir le questionnaire. Demandez aux participants de créer un nom d’utilisateur et un mot de passe. Envoyez un rappel.

Etape 2: Remplir le questionnaire en ligne Demandez aux participants de visiter le site: http://fs10.formsite.com/formulierenITG/form296/index.html se connecter avec leur nom d’utilisateur et leur mot de passe; essayer de répondre à toutes les questions et de donner des preuves! cocher ‘Ne sais pas' uniquement s’ils ne savent vraiment pas quoi répondre; remplir le questionnaire dans les délais prévus!

Etape 3: L’entretien de groupe Les objectifs de l’entretien de groupe : Comprendre les différentes opinions; Obtenir des preuves; Corriger les “erreurs”; Améliorer spontanément L’objectif général: consensus sur la qualité: - “quelles sont les forces et les faiblesses de notre évaluation”

Préparer l’entretien de groupe Impression des résultats pour tous les participants (sauf si effectifs trop nombreux) Le cas échéant, préparer une présentation ppt Montrez pour chaque critère: - le score moyen des indicateurs; - la note la plus haute et la plus basse / l’écart type; - le résumé des preuves. Note: vous pouvez transférer l’échelle Likert en score allant de 1 à 6!

Le diapo suivant montre le genre de problèmes qu’un sondage en ligne pourrait détecter

Clarté Les critères d’évaluation et les normes sont communiqués et compréhensibles Problèmes: Si l’évaluation se rapporte par exemple au module “rédaction de rapports”, les critères d’évaluation utilisés pour attribuer un score à un rapport dépendront uniquement de l’enseignant et ne sont pas explicitement communiqués à l’étudiant. Les critères clés sont annotés. La façon dont ils sont utilisés pour attribuer un score est floue et difficile à interpréter.

Le diapo suivant donne un exemple de la façon dont on peut illustrer les problèmes que l’enquête en ligne pourrait détecter lors d’un entretien de groupe

Clarté Score moyen Score le plus bas Score le plus haute % de la preuve qualifiée 1. Les étudiants connaissent et comprennent quelle compétence est évaluée. 2. Les étudiants connaissent et comprennent les critères d’évaluation (propriété ou caractéristique par laquelle la qualité peut être déterminée) et normes (niveau déterminé de réalisation/qualité/performance désirée ou à atteindre)   3. L’enseignant connaît ou comprend le contenu de la tâche d’évaluation et les procédures utilisées par le PEC. Les compétences exigées sont bien décrites mais ne sont pas reflétées en classe. Il n’existe pas de lien étroit entre les compétences et l’évaluation.   Les étudiants ne comprennent pas ce qui est attendu d’eux dans leurs travaux.   Les critères exigés pour les présentations ne sont pas clairs.   Les évaluateurs externes ne comprennent pas toujours le contexte de l’évaluation.

Ce qu’il faut discuter? Suite à l’impression des résultats de l’enquête, les deux situations suivantes peuvent apparaître : Situation 1- Il y a un consensus: Score moyen relativement élevé + pas de scores bas (variations) (Presque) tous les participants le trouvent suffisant OU Score moyen relativement bas + pas de score élevé (variations) (Presque) tous les participants le trouvent insuffisant Questions éventuelles pour la discussion: 1. Est-ce vraiment la force / la faiblesse du PEC qui est en jeu? 2. L’ensemble des preuves est-il valable? Les indicateurs avec un score élevé sont-ils étayés par des preuves solides? 3. Dans le cas où il y a peu de preuves: existe-t-il des preuves pour étayer le score? 4. Pour les points faibles: quelles sont les possibilités d’amélioration?

Ce qu’il faut discuter? Situation 2- Il n’y a pas de consensus: Des scores très différents Grand écart entre les scores les plus hauts et les plus bas Quelques notes anormales Suggestions pour des questions de discussion: Le questionnement génère des scores différents. Demandez plus d’explications. Sur quelle base arrivez-vous à un jugement? Pour quelle partie du PEC? Les scores sont-ils étayés par des preuves valides ou s’agit-il plutôt d’un sentiment? Cherchez les preuves : existe-t-il une différence entre les meilleurs scores et les scores les plus bas pour la preuve fournie? Le résultat est-il différent à cause d’une différence de perspective? Affrontez l’opinion de l’autre: ces idées sont-elles nouvelles? Résumez les preuves: quels sont les éléments positifs et négatifs? Cherchez un consensus.

Des conseils pour réussir un entretien de groupe Expliquez bien que les différentes opinions sont les bienvenues. Les répondants sont invités à se corriger / à reformuler certains aspects particuliers. Interrogez explicitement les personnes qui expriment clairement leur désaccord. Gardez la discussion sur les rails (tenez-vous aux sujets clés). Les critères de qualité sont interdépendants. Il arrive dès lors que certains sujets reviennent dans les discussions. Assurez-vous de garder le contrôle de la discussion et de passer les critères un par un. Evitez les allées et venues entre les critères. Les discussions naissent presque naturellement, parce que les gens sont en désaccord.

Quelques conseils pratiques concernant la collecte de données Déterminez à l’avance la fourchette de temps consacrée à la discussion de chaque critère de qualité Dans un but de recherche: Vérifiez l’équipement d’enregistrement; Demandez la permission avant d’enregistrer une discussion de groupe; Envoyez le matériel préparé (par exemple les résultats de l’enquête et les points de discussion) à Lai; Envoyez le rapport de l’interview/de l’enregistrement à Lai.