Les grilles dévaluation, un outil au service de la rétroaction aux étudiant-e-s Amaury Daele – Université de Lausanne 22 mai 2012

Introduction Définir les grilles dévaluation critériées (ou échelles descriptives) Discuter des notions de validité et de fiabilité de lévaluation Présenter quelques usages de grilles critériées pour lévaluation formative et la rétroaction aux étudiant-e-s 2

Quelques références 3 Scallon, G. (2004). Lévaluation des apprentissages dans une approche par compétences. Bruxelles : De Boeck Supérieur. Stevens, D. D., & Levi, A. (2005). Introduction to rubrics. Sterling, VA: Stylus Publishing. Mueller, J. Authentic Assessment Toolbox

Définition (1/2) Trois types de grilles : 1.Echelles uniformes ou non descriptives Exemple : Dans sa compétence dexpression orale, létudiant-e progresse très facilement – facilement – difficilement – très difficilement 2.Grille dévaluation descriptive ou critériée Exemple : Compétence dexpression orale – critère de lélocution - Excellent : létudiant-e parle clairement et suffisamment fort. Il/elle met de lemphase dans sa voix pour insister sur les points importants. - Compétent : le discours de létudiant-e est compris mais il/elle parle parfois trop vite ou trop lentement, ou pas assez fort. Il/elle manque parfois demphase pour mettre en évidence les points importants. - A développer : létudiant-e parle parfois trop vite ou trop lentement, ou pas assez fort, au point que son discours devient difficile à comprendre. Il/elle utilise peu ou pas les techniques demphase. 4

Définition (2/2) 3.Echelle descriptive globale (ou rubric ou scoring guide) = « guide aidant à noter une production élaborée ou à lui attribuer un résultat (score) » (Scallon, 2004). 5 Expression orale Critère : élocution, capacité à sexprimer facilement, clairement et de façon élégante Létudiant-e parle clairement et suffisamment fort. Il/elle met de lemphase dans sa voix pour insister sur les points importants (2 points) Le discours de létudiant-e est compris mais il/elle parle parfois trop vite ou trop lentement, ou pas assez fort. Il/elle manque parfois demphase pour mettre en évidence les points importants (1 point) Létudiant-e parle parfois trop vite ou trop lentement, ou pas assez fort, au point que son discours devient difficile à comprendre. Il/elle utilise peu ou pas les techniques demphase (0 point)

6

77 Validité et fiabilité Validité (cohérence) –Compatibilité avec les objectifs (ce quon veut observer) –Tenir compte du poids relatif des objectifs –Sassurer dévaluer ce quon veut évaluer Fiabilité (constance) –Entre évaluateur-trice-s (inter) –Pour un-e évaluateur-trice (intra) –Sassurer dévaluer toujours de la même façon (deux fois la même copie ou deux copies différentes)

88 Lévaluation des apprentissages 2. OBSERVATION Comment obtenir une preuve de lapprentissage ? 3. INTERPRETATION Comment analyser cette preuve de lapprentissage ? 1. CLARIFICATION Quel apprentissage veut-on évaluer? Evaluation Adapté de Pellegrino, J. W., Chudowsky, N., & Glaser, R. (2001). Knowing what students know: The Science and Design of Educational Assessment. Washington, DC: National Academy Press.

99 Lévaluation des apprentissages 2. OBSERVATION Comment obtenir une preuve de lapprentissage ? 3. INTERPRETATION Comment analyser cette preuve de lapprentissage ? 1. CLARIFICATION Quel apprentissage veut-on évaluer? Evaluation Adapté de Pellegrino, J. W., Chudowsky, N., & Glaser, R. (2001). Knowing what students know: The Science and Design of Educational Assessment. Washington, DC: National Academy Press.

10 Réduire la subjectivité Processus dévaluation à mettre en parallèle avec la recherche qualitative Interprétation de la « preuve » dapprentissage = interprétation des faits observés Instruments et procédures visant à réduire la subjectivité de linterprétation Objectivité procédurale (Eisner, 1991) Grilles critériées = instruments pour faciliter lobservation des faits et lobjectivité procédurale

11 Caractéristiques dune grille critériée Détaille les critères servant à évaluer/interpréter Détaille les niveaux de performance (indicateurs) pour chaque critère Aide à accroître la fiabilité de linterprétation (inter et intra) Aide à accroître la quantité et la qualité du feed- back rendu aux étudiant-e-s

12 Les critères Servent de « première lentille » pour examiner la preuve dapprentissage Clarifient ce qui est important dévaluer Sont directement reliés aux objectifs pédagogiques (ce que lon cherche à faire apprendre) Fournissent une description relativement détaillée de ce qui doit être appris/acquis/maîtrisé/construit Peuvent être davantage spécifiques (micro) ou davantage généraux (macro)

13 Des exemples de critères Compétences rédactionnelles : être en mesure de rédiger un rapport à la fois informatif et concis Professionnalisme : se soucier ou sassurer de la qualité de la prestation offerte Exactitude des connaissances : utiliser des concepts selon le sens qui leur est communément donné Travail en équipe : collaborer avec des collègues dans le but daccroître lefficacité du groupe

14 Les niveaux/indicateurs de performance Servent de « seconde lentille » pour examiner la preuve dapprentissage Clarifient les performances possibles Sont directement reliés à des niveaux distincts de compétence Fournissent une description relativement détaillée du niveau de maîtrise/acquisition/apprentissage Peuvent comprendre de deux à plusieurs niveaux Peuvent être quantitativement ou qualitativement différents

15 Exemples de niveaux de performance Succès :rencontre toutes les exigences Echec :ne rencontre pas toutes les exigences Excellent :dépasse les exigences minimales Acceptable :rencontre les exigences minimales Inacceptable :ne rencontre pas les exigences minimales Maîtrise complète :peut poser plus de 25 gestes Maîtrise partielle :peut poser entre 10 et 25 gestes Maîtrise insuffisante:peut poser moins de 10 gestes

16 Les échelles descriptives ExcellentAcceptableInacceptable Professionnalisme Se soucier ou sassurer de la qualité des soins offerts Va au-delà des attentes minimales en sassurant, de façon constante, du bien-être du/de la patient-e (2 pts) Rencontre les attentes minimales en sassurant, la majeure partie du temps, du bien-être du/de la patient-e (1 pt) Ne rencontre pas les attentes minimales en ne sassurant pas, la majeure partie du temps, du bien-être du/de la patient-e (0 pt) Travail en équipe Collaborer avec des collègues dans le but daccroître lefficacité du groupe Dépasse les attentes minimales en recherchant les occasions de collaboration (2 pts) Rencontre les attentes minimales en collaborant lorsque nécessaire (1 pt) Ne rencontre pas les attentes minimales en évitant les situations de collaboration (0 pt)

17 Les échelles descriptives Performance viséeObservationsNote Professionnalisme Se soucier ou sassurer de la qualité des soins offerts Rencontre les attentes minimales en sassurant, la majeure partie du temps, du bien-être du patient Travail en équipe Collaborer avec des collègues dans le but daccroître lefficacité du groupe Recontre les attentes minimales en collaborant de façon acceptable lorsque nécessaire

Quelques exemples de grilles dévaluation et déchelles descriptives 18

19 Exemples dusages (1/2) Travaux ou examens écrits –Présentation de la grille aux étudiant-e-s au début du cours –Présentation et discussion des critères avec les étudiant-e-s –Exercice dévaluation dun travail Exposé ou examen oral –Exercice dévaluation dun exposé (vidéo) –Evaluation entre pairs Discussion en classe ou à distance –Explication de ce qui est attendu en qualité et en quantité –Auto-évaluation et exercice réflexif sur lexpérience dapprentissage

Exemples dusages (2/2) (Auto-)Observation en situation –Auto-évaluation sur le lieu de travail –Evaluation par les pairs/collègues Rétroaction écrite ou orale sur un travail en cours 20

Rétroaction aux étudiant-e-s Sept stratégies (Nicol & McFarlane-Dick, 2006) : Clarifier en quoi consiste une bonne performance de la part des étudiant- e-s ; Proposer aux étudiant-e-s des occasions de saméliorer pour réduire lécart entre performance actuelle et performance attendue ; Délivrer des informations de qualité aux étudiant-e-s ; Encourager le dialogue avec lenseignant-e et les autres étudiant-e-s à propos de lapprentissage ; Soutenir la motivation et lestime de soi chez les étudiant-e-s ; Faciliter le développement de pratiques dauto-évaluation chez les étudiant-e-s ; Tirer parti de sa pratique de la rétroaction pour améliorer son enseignement. 21

Quelques références 22 Nicol, D., & Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning: A model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199–218. Scallon, G. (2004). Lévaluation des apprentissages dans une approche par compétences. Bruxelles : De Boeck Supérieur. Stevens, D. D., & Levi, A. (2005). Introduction to rubrics. Sterling, VA: Stylus Publishing. Mueller, J. Authentic Assessment Toolbox

Merci !