Romuald Normand Institut National de Recherche Pédagogique L'évaluation des compétences : quels enjeux pour les politiques d'éducation ? Romuald Normand Institut National de Recherche Pédagogique

L’évaluation des compétences des élèves : l’internationalisation d’une politique américaine

Une politique américaine A Nation at Risk et ses conséquences (1983) Un mot d’ordre : « Back to basics » et «Raising standards » Une responsabilisation des acteurs : les principes de l’école efficace et de l’obligation de résultats

Les effets de l’obligation de résultats aux USA Des standards à atteindre par les enseignants Le NAEP : National Assessment of Educational Progress High Stake Testing : Le poids du testing dans la classe et ses effets Entre sanctions et récompenses : La loi No Child Left Behind (2001)

Les comparaisons internationales de résultats : l’extension de la politique américaine Le développement des comparaisons internationales de résultats et le rôle de l’OCDE (de FIMS à PISA en passant par IAEP) La conception des indicateurs pour l’éducation et pilotage des systèmes éducatifs (le projet INES) Un modèle repris par la Commission Européenne : les indicateurs et benchmarks de la Méthode Ouverte de Coordination

Derrière PISA : une mesure du capital humain

Les comparaisons internationales de résultats : un business                                      About the IEA-ETS Research Institute (IERI) The IERI is a collaborative effort between the Research & Developement Division at ETS and the IEA Data Processing and Research Center that focuses on improving the science of large-scale assessments.  The IERI undertakes activities around three broad areas of work that include research studies related to the development and implementation of large-scale assessments (research area); professional development and training (training area); and dissemination of research findings and information gathered through large-scale assessments (dissemination area). The IERI undertakes research activities that address issues surrounding large-scale assessments such as IEA-TIMSS, IEA-PIRLS, OECD-PISA, US-NAEP, IALS, ALL, etc. The label “virtual” is attached to the research area to emphasize that the research projects are hosted in the funding institutions, but are facilitated by Web-based collaboration as well as by the shared joint expertise of researchers involved in work on large-scale assessments. The aim of this virtual research area is to contribute to the science of large-scale assessments so that the best available information is provided to policy makers and researchers from around the world.                                                                                                                                                                                 Les comparaisons internationales de résultats : un business

Problèmes posés par les comparaisons internationales de type PISA Problèmes de traduction des items Combinaison et format des questions Certains élèves sont habitués à être testés Des pays à forts taux de réussite à PISA comme les Pays-Bas ou le Japon possèdent plus de différences dans leurs pratiques éducatives que des pays comme le Royaume-Uni et les États-Unis, lesquels montrent pourtant des écarts plus importants Les différences entre les moyennes nationales sont moins importantes que les écarts à l’intérieur de chacun des pays les performances des élèves aux tests de mathématiques peuvent être affectées par les contenus enseignés et par le degré de familiarité de certains élèves avec les items. Les élèves apprennent au travers d’ « outils culturels » à la base de différences importantes en termes de curriculum, de procédures d’évaluation et de tests, de contextes de classe et de stratégies pédagogiques La motivation des élèves et leur attitude envers les tests a été identifiée comme l’un des facteurs explicatif important sur les différences de performance entre pays Performance des élèves japonais  : une attention et une aide parentale beaucoup plus soutenue, une forte motivation des élèves, des attentes élevées des enseignants en termes de réussite, la mise en œuvre de stratégies pédagogiques très volontaristes

Vers une intégration des système éducatifs européens La Méthode Ouverte de Coordination et la stratégie de Lisbonne Indicateurs et benchmarks Clusters, Peer Learning, Best Practices : un programme stratégique pour 2020

The Centre for Research on Lifelong Learning based on indicators and benchmarks (CRELL) was established in order to gather expertise in the field of indicator-based evaluation and monitoring of education and training systems. CRELL combines fields of economics, econometrics, education, social sciences and statistics in an interdisciplinary approach to research.CRELL became operational in August 2005. It is sponsored by the European Commission's Directorate General for Education and Culture (DG EAC) and co-ordinated by the Joint Research Centre of the European Commission (DG JRC). The Centre is hosted by the Unit for Econometrics and Applied Statistics of the Institute for the Protection and Security of the Citizen at the JRC in Ispra, northern Italy.more about CRELL...  http://crell.jrc.ec.europa.eu/

Domaines d’action Indicateurs Améliorer l’équité de l’éducation et de la formation Participation à l’éducation pré-scolaire (1) Education à besoins spécifiques (2) Abandons scolaires précoces (3) Stratification des systèmes d’éducation et de formation (13) Promouvoir l’efficacité de l’éducation et de la formation Investissement dans l’éducation et la formation (19) Faire de l’apprentissage tout au long de la vie une réalité Participation des adultes à la formation tout au long de la vie (16) Compétences des adultes (17) Taux d’achèvement des études secondaires des jeunes (9) Maîtriser des compétences clés pour les jeunes Compétences en lecture, mathématiques et sciences (4) Compétences en langues (5) Compétences dans les TIC (6) Compétences civiques (7) Compétences dans l’apprendre à apprendre (8) Moderniser l’école Abandons précoces (3) Management scolaire (10) Ecoles comme centres d’apprentissages locaux et multi-objectifs (11) Développement professionnel des enseignants et des formateurs (12) Moderniser l’éducation et la formation professionnelle Moderniser l’enseignement supérieur Taux de diplômés de l’enseignement supérieur (14) Mobilité entre pays des étudiants de l’enseignement supérieur (15) Développer l’employabilité Niveau d’éducation atteint par la population (18) Rendements de l’éducation et de la formation (20)

Key competences for Lifelong Learning : an official definition Source : European Commission, Working group B, « Key competences », Key competences for Lifelong learning. A European Reference Framework, november 2004

5 benchmarks

L’évaluation des compétences des enseignants : la politique anglaise de la performance

L’évaluation au centre : la politique anglaise 1988-1997 L’Education Reform Act (1988) Le renforcement de l’inspection des établissements scolaires (création de l’OFSTED en 1992) L’introduction des évaluations nationales à différents niveaux de scolarité La création de la Teacher Training Agency

La politique de la Troisième Voie (depuis 1997) Le School Standards and Framework Act (1998) Un renforcement de la spécialisation et une diversification du statut des écoles La prise en charge de l’exclusion des élèves et de la pauvreté Une stratégie nationale pour la litteracy et la numeracy

Une nouvelle forme de régulation du système éducatif Technologies politiques Marché Management Obligation de résultats Une nouvelle forme de régulation du système éducatif

La nouvelle régulation du marché scolaire Libre choix de l’école Concurrence entre établissements Diversification de l’offre Comportements stratégiques des familles La nouvelle régulation du marché scolaire

L’obligation de résultats (indicateurs, taux de réussite, palmarès) Comparer les performances Informer (parents, profs, chef d’établissement) Piloter (établissement, région, système éducatif ) Rendre compte (collectivités, inspection, ministère) L’obligation de résultats

Le Nouveau Management Public Evaluation Objectifs et cibles à atteindre Travail en équipes Performance, qualité, excellence Surveillance et contrôle Flexibilité et mobilité Réseaux et partenariats Entretien des compétences

Des critiques formulées par certains sociologues de l’éducation Schizophrénie en salle des profs Excès de zèle ou résistance Teaching to the test Diminution de la collégialité NUT anglais (National Union of Teachers : Syndicat National des Enseignants) à propos du Livre Vert : « «  les propositions du gouvernement…risquent d’endommager profondément la culture professionnelle de coopération et de travail en équipe qui fait le succès des écoles bien gérées. Les pressions engendrées par le management de la performance et les tensions entre les évaluateurs et les évalués vont générer une crise de confiance et une concurrence contre-productive entre les collègues. En particulier, de profondes divisions risquent de naître entre ceux qui obtiendront des « succès » et ceux qui seront relégués dans l’ « échec ». Ces différences seront exacerbées devant les élèves et les parents d’élèves qui accentueront leur pression sur les examens. De l’anxiété et des objections ne manqueront pas de naître à l’encontre des enseignants qui n’arrivent pas, pour différentes raisons à atteindre les objectifs fixés ». Des critiques formulées par certains sociologues de l’éducation

Les changements apportés par la Performance-Related Pay Evaluation Structure hiérarchique Preuves de l’efficacité Progression de carrière liée à la performance Objectifs chaque année Les changements apportés par la Performance-Related Pay

Rémunérer différemment les enseignants Enseignant dans sa classe Service minimum Echelle normale et supérieure (au dessus du seuil) 1584 à 2698 euros/mois Enseignant prenant des responsabilités pédagogiques Engagement dans la discipline, travail en équipes, auto-développement des compétences Allocations spécifiques TLR 1 & 2 Prime de 2222 à 10 868 euros/ an Enseignant exerçant des fonctions de leader Prise en charge d’une équipe, démonstration des bonnes pratiques, coaching et tutorat, formation 2749 à 7717 euros/mois Enseignant aux compétences avancées Haut niveau d’expertise et de performance 2749 à 4180 euros/mois

Les critères de la PRP pour évaluer les enseignants Le progrès des élèves Les savoirs professionnels Les pratiques d’enseignement et d’évaluation L’efficacité professionnelle Les critères de la PRP pour évaluer les enseignants

Conclusion : et la France ? Socle commun : basic skills & Key-competencies Standards : programmes nationaux Marché scolaire : dérégulation de la carte scolaire Obligation de résultats : Thélot, loi de 2005, indicateurs LOLF, PISA NPM : conseil pédagogique, contrat d’objectifs, expérimentations, axes de progrès, audit