Mettre l’évaluation au service des apprentissages Les apports de la recherche Apports de la recherche - économie : mesure Psychologie sociale liaison (socio )cognition régulation sociale Sociologie didactique??? Travaux qui dissertent sur l’évaluation : Types d’évaluation (nationales, internationales etc) et leurs effets Les formes d’évaluation des élèves (ou des apprentissages) Les effets de l’évaluation Les travaux qui testent, observent, comparent, promeuvent Olivier Rey – Annie Feyfant IFÉ – 4 mars 2015

Ministère, CNESCO, CSP, conférence nationale : Le principe de réalité Plan Comment l’évaluation est devenu un problème pour l’école la question des notes ne résume pas tous les problèmes Comment remettre l’apprentissage au premier plan l’évaluation formative pour mieux apprendre Polysémie de l’évaluation Contrôle en classe Examen national Évaluation d’un établissement Contrôle des pratiques enseignantes Du système scolaire (sans parler de l’usage hors de l’EN) En anglais : testing, evaluation, assessment, measure Toutes les acceptations du terme ont des effets Sur l’élève Sur les usagers Sur les enseignants Sur les politiques éducatives Ministère, CNESCO, CSP, conférence nationale : Le principe de réalité

Comment l’évaluation est devenue un problème pour l’école

Un constat L’obsession du contrôle Le mythe de la mesure objective Une confusion des fonctions de l’évaluation Des résultats d’évaluation qui occultent les enjeux d’apprentissage Évaluer pour contrôler Historiquement jusqu’au Moyen-âge, accès à l’instruction pour une petite élite : évaluation et mesure pas importants XVIe siècle : élargissement instruction, jésuites = idéologie, conquérir les esprits + uniformisation éducative , évaluation notée / idéologie plutôt que niveau XVIIe siècle, début d’une transmission de masse avec idée d’une émulation saine entre élèves. Jésuites : discipline répétition et concurrence Hiérarchie de la société, jugement de l’élève/ sa place (classe, groupe, établissement) XVIIIe : création des premières grandes écoles en France : formation d’une élite performante pour diriger

L’obsession du contrôle Moins on a confiance dans une institution, plus on cherche des indicateurs d’évaluation L’évaluation est utilisée pour que l’école « rende des comptes » à la société Les comparaisons considérées comme un moyen d’améliorer les performances Évaluer le système n’est pas évaluer les élèves : des enquêtes nationales et internationales parfois mal comprises Obsession de l’évaluation : Hadji Charles (2012). Faut-il avoir peur de l’évaluation ? Bruxelles : De Boeck. Butera Fabrizio, Buchs Céline & Darnon Céline (dir.) (2011). L’évaluation, une menace ? Paris : Presses universitaires de France. HADJI : laboratoire des SE Grenoble 2 Pierre Mendès France BUTERA : laboratoire psychologie sociale, Lausanne BUCHS : université Genève, faculté de psychologie et des sciences sociales, processus sociocognitifs et interactions sociales DARNON : clermont ferrand, LAPSCO régulation sociale des cognitions et des comportements Sur les évaluations standardisées : Les enquêtes PISA et la performance, la compétitivité Mons Nathalie (2009). « Effets théoriques et réels des politiques d’évaluation standardisée ». Revue française de pédagogie, n° 169, p. 99-140. Mons Nathalie (2009). Les effets théoriques et réels de l’évaluation standardisée. Complément à l’étude « Les évaluations standardisées des élèves en Europe: objectifs, organisation et utilisation. Bruxelles : EACEA; Eurydice. Sur le rendre compte : envisager la lecture de chercheurs anglais: Broadfoot Patricia (2007). An Introduction to assessment. Londres : Continuum. Broadfoot Patricia & Pollard Andrew (2006). « The changing discourse of assessment policy: The case of english primary education ». In Lauder Hugh, Brown Phillip, Dillabough Jo-Anne & Halsey Albert Henry (dir.). Education, Globalization & Social Change. New-York : Oxford University Press. Patricia Broadfoot : professeur émérite université Bristol Graduat school of education (étude logitudinale sur l’impact du national curriculum and assessment au primaire; comparaison France, Angleterre, Danemark).

Le mythe de la mesure objective Des parties prenantes qui ont intérêt à croire au « thermomètre » Fascination pour le raccourci technique ou statistique (le nombre, l’outil, la procédure…) Fiction de la modélisation et de l’évaluation extrinsèque, qui s’impose aux élèves et aux enseignants La mesure adaptée aux grands nombres n’est pas pertinente pour l’évaluation Recherche de la bonne mesure : modélisation (début Xxe) Approche psychométrique (Cronbach, Binet) : mesure de la performance - par rapport à la moyenne (mesure relative) Par rapport à l’écart au seuil de la maîtrise (absolue) Approche édumétrique Ajoute notion de progrès , de marge d’erreur Nécessité de prendre n compte diversité des élèves, du biais induit par le processus d’évaluation lui-même Conditions, niveaux d’apprentissages, objectifs, etc. SCALLON : échelles descriptives, grilles d’évaluation des compétences Quantophrénie dénoncée par Hadji 2012, Del Rey 2013

Confusions dans l’évaluation Sommative, diagnostique, pronostique, formative… des fonctions à distinguer L’emprise de l’évaluation certificative Résultats, appréciations et décisions Élèves et enseignants : une évaluation qui empoisonne la vie pédagogique Confusion entre la fonction de l’évaluation (pour quoi?) et la démarche évaluative (comment?) De ketele : Démarche sommative : faire la somme des points acquis (ne pas appliquer en cours d’apprentissage) Démarche descriptive : identification et description des acquis et des processus positifs Démarche interprétative : donner du sens à un ensemble d’indices quantitatifs ou qualitatifs De Ketele Jean-Marie (2013). « L’évaluation de la production écrite ». Revue française de linguistique appliquée, vol. XVIII, n° 1, p. 59-74. Pour les enseignants, l’évaluation pour motiver ou pour « tenir » les élèves (la menace des mauvaises notes) + malentendu sur les objectifs de l’évaluation, entre élèves et enseignants.

Des résultats d’évaluation qui occultent les enjeux d’apprentissage Travailler pour l’examen plutôt que pour apprendre : logique de rentabilité immédiate Tests qui favorisent la mémorisation superficielle sur d’autres appropriations plus difficiles à mesurer Les résultats d’évaluation comme seul message de l’école vers les familles Absurdité des moyennes et des notes Évaluations nationales, tests et évaluation en classe : c’est pas la même chose (exemple aux Etats-Unis : beaucoup de tests, des manuels payants pour préparer ces tests. En Pennsylvanie, par exemple : 7 batteries d’évaluations ou rapports d’évaluation). On travaille pour la note Idée de curriculum implicite (mais réel) plus étroit que le curriculum officiel (Nutsche et al = OCDE, 2013) Évaluation façonne les apprentissages La note La constante macabre : Antibi André (2003). La constante macabre ou comment a-t-on découragé des générations d’élèves ? [s.l.] : Math’Adore. - solution : le contrat de confiance 2. De nombreuses travaux montrent les effets contre-productifs (parce que souvent axés sur les bénéfices de l’évaluation formative , voir plus loin) souffrance et humiliation : Pierre Merle Réception de l’abandon des notes : ça ne date pas d’hier : 1968 Peyrefitte, 1969 Edgard Faure, 1971 retour aux notes sous la pression des enseignants (Guichard)

« On donne de la valeur a ce qu’on mesure au lieu de mesurer ce qui a de la valeur » «On évalue ce qui est facilement mesurable plutôt que d’évaluer ce qui a de la valeur » On devrait évaluer la partie cachée du curriculum : incorporation des règles, représentations, savoirs et habiletés implicites (cf sociologie du curriculum, Forquin, 2008)

Une évaluation formative pour remettre l’apprentissage au premier plan évaluer ce qui a été appris (évaluation des apprentissages) mais surtout évaluer pour étayer l’apprentissage

Une évaluation formative pour remettre l’apprentissage au premier plan Évaluer n’est pas forcément classer et trier Aligner curriculum et évaluation Viser clairement la compréhension ou la réalisation des objectifs d’apprentissage Donner tout son temps au retour vers l’élève Développer une culture professionnelle de l’évaluation Aller au –delà d’une modélisation Dépasser l’idée de contrôle de conformité Envisager un parcours de réussite de l’élève , qui n’est pas (plus) un élément quelconque de la classe Challenge : ajuster ses apprentissages (côté élève) mais surtout ajuster ses enseignements

Évaluer n’est pas forcément synonyme de classer et trier Donner une valeur éducative à l’évaluation transformer le moment de sanction en moment de construction ex. comprendre les exigences de travail quand on entre en collège Partager les informations plutôt que comparer les individus Évaluer l’apprentissage plutôt que la personne Distinguer l’erreur de la faute Introduire des processus collectifs et coopératifs interactions en groupes Qu’est-ce que l’évaluation formative? Réponse de Dylan Wiliam et Paul Black dès la fin des années 1990. - Black Paul et Wiliam Dylan (1998). Inside the black box : Raising standards through classroom assessment. Londres : NFER Nelson. Black Paul et Wiliam Dylan (2010). « Inside the black box : raising standards through classroom assessment ». Kappan Magazine, vol. 92, n° 1, p. 81-90. WILIAM : anglais, fut directeur de l’Institute of education de Londres (a essentiellement travaillé au King’s college de Londres. BLACK : également émérite, King’s college (plutôt sciences physiques et cristallographie) Décliné à de nombreuses occasions . Wiliam impliqué dans l’implantation (embedding) (dans les esprits) de l’évaluation formative Remarque : Wiliam, depuis 2 ans travaille plus sur une approche de l’acte d’enseigner des enseignants et de leur évaluation.

Aligner curriculum et évaluation On ne peut séparer l’évaluation des objectifs curriculaires du système exemple de l’échec du LCP et enjeux des propositions du CSP Enseignement, apprentissage et évaluation forment un continuum Pas de plus-value sans adéquation entre construction des apprentissages et modes d’évaluation Distinguer l’évaluation pour apprendre de l’évaluation pour vérifier Eviter d’évaluer par exemple les items des compétences au lieu d’évaluer la compétence elle-même, ne pas négliger la hiérarchie des items (copier un texte sans faute n’a pas la même importance que rédiger un texte cohérent). Shepard (2005) comme Shavelson (2008) estiment d’ailleurs qu’une condition nécessaire de réussite de l’évaluation formative réside dans son intégration au cœur des curricula d’enseignement, pour être déclinée en termes spécifiques adaptés aux différentes disciplines. il est difficile d’évaluer les effets propres de l’évaluation formative « à système éducatif égal par ailleurs », l’efficacité d’une approche en termes d’évaluation formative réside dans sa diffusion au sein des différents enseignements disciplinaires qui la rend forcément moins visible et isolable.

Viser clairement la compréhension ou la réalisation des objectifs d’apprentissage Concevoir des évaluations qui centrent l’attention des élèves sur la compétence à acquérir plutôt que sur l’indicateur d’évaluation (note ?) Distinguer l’évaluation de la performance cognitive de la récompense de l’effort Ne pas nourrir les malentendus sur les buts d’apprentissage (la tâche qui escamote les savoirs) Voir travaux de Géry Marcoux (intervention à la conférence CNESCO sur le redoublement) - Marcoux, G., Fagnant, A, Loye, N., & Ndinga, P. (2014). L’évaluation diagnostique des compétences à l’école obligatoire. In Ch. Dierendonck, E. Loarer et B. Rey(Eds), L'évaluation descompétences en milieu scolaire et en milieu professionnel. Bruxelles: De Boeck, p. 117-125 - Fagnant, A, Demonty, I., Dierendonck, Ch., Dupont, V. & Marcoux, G. (2014). Résolution de tâches complexes, évaluation «en phases» et compétences en mathématiques. In Ch. Dierendonck, E. Loarer et B. Rey (dir.), L'évaluation des compétences en milieu scolaire et en milieu professionnel. Bruxelles : De Boeck, p. 179-189.

L’évaluation sanctionne plus souvent le rythme d’apprentissage que l’acquisition des apprentissages pour une même notion La moyenne des notes favorise les élèves qui accumulent les réussites partielles plus que les élèves qui réussissent « à la fin » Crahay 2007

Donner tout son temps au retour vers l’élève (1) Permettre la compréhension des objectifs pédagogiques et des critères d’évaluation impliquer les élèves, co-évaluation, restitutions collectives : évaluation formatrice Rétroaction ou feedback circonstancié Les temps de l’évaluation : en cours d’enseignement pas forcément à la fin d’une phase/séquence Ouvrir vers une correction ou une adaptation de l’enseignement

Donner tout son temps au retour vers l’élève (2) Différencier ex. sujets d’évaluation différents par grands profils de difficultés constatées, coups de pouce non évalués, évaluation choisie, remédiation par pairs ou groupes de besoin… Assurer un suivi des progressions livrets de compétences précis Assurer une restitution claire des progrès à réaliser conseils de classe, messages aux parents Passer des recommandations vagues et générales (doit plus travailler) à une focalisation explicite sur les points de difficultés et les progrès précis à réaliser.

Développer une culture professionnelle de l’évaluation Diversifier ses sources d’information diversifier les formes d’évaluation, alterner les situations Concevoir des dispositifs adaptés ex. pas trop d’items car impossible à évaluer souvent , nombre limité de vraies compétences S’accorder entre professionnels sur ses pratiques d’évaluation échanges collectifs, envoyer un message simple et cohérent aux élèves et aux familles Certains types de compétences appellent plus facilement la note (critères quantifiables en grilles et points), alors que d’autres nécessitent plutôt une appréciation générale et qualitative (compétence complexe fruit de mobilisation originale de ressources). Jugement non mécanique : envisager les conséquences pratiques et morales Mottier lopez et allal 2009: - confronter les résultats de plusieurs contrôles ; - comparer les résultats de différentes modalités d’évaluation (contrôle écrit, productions, traces d’activités, observations, etc.) ; - prendre l’avis de collègues connaissant l’élève ; se référer à des savoirs théoriques. Diversifier, anticiper, interpréter, mettre en relation

Les principes de l’évaluation POUR les apprentissages elle est constitutive d’une planification efficace pour l’enseignant elle se centre sur la manière dont les élèves apprennent elle est centrale à la pratique pédagogique c’est une compétence professionnelle essentielle de l’enseignant elle est progressive et constructive elle renforce la motivation des élèves elle sert la compréhension des objectifs pédagogiques et des critères d’évaluation par les élèves elle aide les élèves à améliorer leurs compétences elle développe la capacité chez l’élève à s’auto-évaluer elle reconnaît toutes les formes de réussite scolaire Le propos de Crahay n’est pas de décliner les résultats de recherche mais d’émettre des réserves quant à la scientificité des conclusions émises. La pertinence des réactions observées ne les rend pas généralisables pour autant. Le contexte peut induire d’autres effets bénéfiques ou non : situations d’apprentissage, type de tâches, personnalité de l’élève, progressivité des apprentissages. Black & Wiliam, 2002

Les principes du CERI/OCDE instauration d’une culture de classe qui encourage l’interaction et l’utilisation d’outils d’évaluation définition d’objectifs d’apprentissage et suivi des progrès individuels des élèves vers ces objectifs utilisation de méthodes d’enseignement variées pour répondre aux besoins diversifiés des élèves recours à des méthodes diversifiées pour évaluer les acquis des élèves feedback sur les performances de l’élève et adaptation de l’enseignement pour répondre aux besoins identifiés implication active des élèves dans le processus d’apprentissage

Ressources Association for achievement and improvement through assessment www.aaia.org.uk Conference on better assessment and evaluation to improve teaching and learning (2012) http://www.eu2013.ie/events/event- items/betterlearningandteaching-20121201/

Et le principe de réalité… Conférence nationale sur l’évaluation des élèves Les objectifs et questionnements Les recommandations du jury de la conférence nationale sur l’évaluation Contribution du CNESCO (comparaison internationale) (déc. 2014) Conseil supérieur des programmes neuf principes et 4 propositions énoncés en novembre 2014 Objectifs : - L’évaluation doit devenir un véritable outil de réussite qui permette à tous les élèves de mieux mesurer les progrès qu’ils réalisent dans leurs apprentissages, de prendre confiance dans leurs capacités et d’identifier leurs difficultés pour y remédier. Recueillir une série de propositions émanant de la société civile. Le CSP : E = collecte d’informations E = instrument de dialogue avec les familles E = boite à outils, ressources pour l’élève et l’enseignant Le sens de l’erreur S’appuyer sur l’expertise individuelle et collective des enseignants et des différents professionnels en Ets CSP CNESCO Conférence

Les questions (Conf. nat.) Comment l’évaluation peut-elle être au service des apprentissages des élèves et participer à leurs progrès? Comment rendre compte aux familles des progrès des élèves? Quelle place et quelle forme de la notation dans l’évaluation des élèves? Quels doivent être les moments de l’évaluation dans les parcours des élèves? Comment mobiliser les évaluations dans la détermination des parcours des élèves, leurs choix d’orientation et les procédures d’affectation?

Le rapport du jury La formation des enseignants Les modes d’évaluation en phase d’apprentissage La place et le rôle de la notation chiffrée La communication avec les familles Politique d’évaluation dans les écoles et Ets scolaires L’orientation des élèves Le diplôme national du brevet

CSP, socle et évaluation La validation du socle vaut attribution du DNB Non compensation entre blocs de compétences Evaluations bilans régulières Dans l’année et en fin de cycle Modalités de validation du socle (fin cycle 4) Projets (4e et 3e) Épreuve terminale définie nationalement Situations d’évaluation certificative Cycles : 2 : des apprentissages fondamentaux (CP? CE1, CE2), 3: de consolidation (CE1, CM2, 6e), 4: des approfondissements (5e, 4e, 3e) Évaluation bilan = Maîtres mots : prévention, accompagnement, progression cycles évaluation positive curriculum

Merci de votre attention ! Pour tout contact : olivier.rey@ens-lyon.fr annie.feyfant@ens-lyon.fr Dossier de l’IFÉ « Évaluer pour (mieux) apprendre » : http://edupass.hypotheses.org/569 Pour recevoir nos actualités, renseignez la feuille qui circule ou rendez vous sur : http://ife.ens-lyon.fr/vst/abonnement.php

Bibliographie (p. 5) Hadji Charles (2012). Faut-il avoir peur de l’évaluation ? Bruxelles : De Boeck. Butera Fabrizio, Buchs Céline & Darnon Céline (dir.) (2011). L’évaluation, une menace ? Paris : Presses universitaires de France Mons Nathalie (2009). « Effets théoriques et réels des politiques d’évaluation standardisée ». Revue française de pédagogie, n° 169, p. 99-140. Mons Nathalie (2009). Les effets théoriques et réels de l’évaluation standardisée. Complément à l’étude « Les évaluations standardisées des élèves en Europe: objectifs, organisation et utilisation. Bruxelles : EACEA; Eurydice. Broadfoot Patricia (2007). An Introduction to assessment. Londres : Continuum. Broadfoot Patricia & Pollard Andrew (2006). « The changing discourse of assessment policy: The case of english primary education ». In Lauder Hugh, Brown Phillip, Dillabough Jo-Anne & Halsey Albert Henry (dir.). Education, Globalization & Social Change. New-York : Oxford University Press.

Bibliographie (p.12) Black Paul et Wiliam Dylan (1998). Inside the black box : Raising standards through classroom assessment. Londres : NFER Nelson. Black Paul et Wiliam Dylan (2010). « Inside the black box : raising standards through classroom assessment ». Kappan Magazine, vol. 92, n° 1, p. 81-90.

Bibliographie (p.14) Marcoux, G., Fagnant, A, Loye, N., & Ndinga, P. (2014). L’évaluation diagnostique des compétences à l’école obligatoire. In Ch. Dierendonck, E. Loarer et B. Rey(Eds), L'évaluation descompétences en milieu scolaire et en milieu professionnel. Bruxelles: De Boeck, p. 117-125. Fagnant, A, Demonty, I., Dierendonck, Ch., Dupont, V. & Marcoux, G. (2014). Résolution de tâches complexes, évaluation «en phases» et compétences en mathématiques. In Ch. Dierendonck, E. Loarer et B. Rey (dir.), L'évaluation des compétences en milieu scolaire et en milieu professionnel. Bruxelles : De Boeck, p. 179-189.