Évaluation dimpact du potentiel damélioration des résultats des mesures incitatives destinées aux enseignants Deon Filmer Development Research Group, La Banque mondiale Séminaire sur la prise de décision fondée sur lexpérience dans le domaine de léducation Programme dévaluation dimpact de léducation en Afrique (APEIE) Accra, Ghana mai 2010

Mesures incitatives destinées aux enseignants Comment sassurer que les enseignants font le plus deffort possibles ?

Absentéisme des enseignants Pourcentage des enseignants absents le jour dune visite non annoncée dans lécole

Mesures incitatives destinées aux enseignants Motivation intrinsèque Motivation extrinsèque Modèles damélioration des mesures incitatives : – Normes plus élevée à lentrée, moyenne et gradients des paiements plus élevés, progression de carrière liée aux compétences et aux performances – « Enseignants contractuels » – engagement local, pas de titularisation, performances évaluées directement par la communauté scolaire – « Payer pour les performances » – paiement de bonus liés aux efforts et/ou aux résultats

Comment les mesures incitatives peuvent- elles conduire à de meilleurs résultats ? Qualité du personnel – À lentrée : Laccréditation et les mesures incitatives basées sur le mérite encouragent les bons professionnels de lenseignement à rejoindre le système éducatif – Dans les régions éloignées : Des mesures incitatives financières liées à la localisation améliorent léquité dans laffectation géographique des enseignants Une présence et des efforts accrus – Lengagement et le suivi des performances décentralisés des enseignants améliorent les taux de présence et à les efforts des enseignants – Les systèmes de paiement pour les performances stimulent lamélioration globale de la qualité ainsi que la qualité de lenseignement (au moins à cours terme) et améliorent donc les scores réalisés aux tests par les élèves Des efforts soutenus – Les incitations liées à la carrière des enseignants encouragent le maintien des efforts des enseignants et améliorent donc les performances des élèves Lhypothèse (testable de manière empirique) est quune meilleure qualité et des efforts accrus augmentent lapprentissage

Sujet du jour : Les systèmes de paiement pour les performance des enseignants Relient les paiement aux performances – Mesurées par des tests Note : peuvent aussi être liés aux efforts Exemple : présence en salle de classe au début et à la fin de la journée

Systèmes de paiement pour les performance des enseignants : inconvénients potentiels Supposent que lenseignant sait comment améliorer sa façon de donner cours Il est difficile de comptabiliser les caractéristiques du corps estudiantin Effets pervers au niveau des élèves : – Enseignement en fonction des tests – Manipulations dans le choix de ceux qui passent les tests Effets pervers au niveau des enseignants: – Démoralisation – Diminution de la motivation intrinsèque Lévaluation dimpact aidera à comprendre les compromis entre les avantages et les inconvénients potentiels des mesures incitatives

Étude de cas 1: Mesures incitatives en Inde Paiement pour les performances des enseignants : constat expérimental réalisé en Inde Par Karthik Muralidharan (University of California San Diego) et Venkatesh Sundararaman (Banque mondiale)

9 Localisation de létude État indien de lAndhra Pradesh (AP) -5 e État le plus peuplé de lInde Population de 80 millions -23 districts (2 à 4 millions chacun) Proche des moyennes pour la totalité de lInde pour beaucoup de mesures du développement humain IndeAP Scolarisation (6-11) (%)95,995,3 Alphabétisation (%)64,860,5 Absentéisme des enseignants (%)25,225,3 Mortalité infantile (pour 1000)6362

Conception des mesures incitatives Les enseignants ont reçu des bonus en plus de leur salaire normal, sur la base de lamélioration moyenne des scores au test de tous les élèves de lannée/de lécole par rapport aux références – Matières considérées : mathématiques et langue – Documents de lévaluation conçus par une agence de test indépendante (EI) – Évaluations conduites par une ONG indépendante (APF) Formule pour le bonus – 500 roupies de bonus par point de pourcentage damélioration des scores moyens – Calibrée pour atteindre 3 % du paiement annuel (et égale aux traitements à lentrée) Basé sur lamélioration absolue (taux par contrat ou unitaire) au lieu dune compétition pour un prix fixe (tournoi) – Les contrats dominent pour les agents prudents – Plus grande transparence du système incitatif avec les contrats – Chocs ordinaires petits par rapport aux chocs au niveau de lécole/de la classe – Mêmes coûts dinformation – Plus facile de participer dynamiquement à des tournoi récompensant lajout de valeur À la fois les mesures incitatives de groupes et individuelles ont été étudiées – resquillage/suivi par les pairs/bénéfices pour la coopération

11 Vue densemble de la conception MESURES INCITATIVES (fonction de lamélioration de lapprentissage des élèves) INTRANTS (non conditionnels) AUCUN BONUS DE GROUPE BONUS INDIVIDUEL AUCUN CONTRÔLE (100 écoles) 100 écoles ENSEIGNANT CONTRACTUEL SUPPLÉMENT. 100 écoles SUBVENTION GLOBALE SUPPLÉMENT. 100 écoles

Résumé de la conception expérimentale Étude menée sur un échantillon représentatif de 500 écoles primaires dans 5 districts de lAP Tests de référence dans ces écoles (juin/juillet 2005) Attribution stratifié aléatoire des 100 écoles à chaque traitement (2 écoles par mandal pour chaque traitement) (août 2005) Suivi des variables du processus tout au long de lannée à travers des enquêtes mensuelles non annoncées (septembre 05 – février 06) Deux cycles de tests de suivi pour évaluer limpact des différentes interventions sur les résultats de lapprentissage (mars/avril 2006) Entretiens avec les enseignants après le programme et avant que les résultats leur soient communiqués (août 2006) Payer les bonus et faire connaître la poursuite du programme (septembre 20 06)

Résultats Note : impact plus petit également observé sur des matières ne bénéficiant pas de mesures incitatives (sciences ; études sociales) Année 1 sur Année 0 Année 2 sur Année 1 Année 2 sur Année 0 Année 1 sur Année 0 Année 2 sur Année 0 Année 1 sur Année 0 Année 2 sur Année 0 [1][2][3][4][5][6][7] Score normalisé ultérieur0,50,5530,45 0,490,4180,5160,484 (0,013)***(0,016)***(0,015)*** (0,017)***(0,022)***(0,014)*** Mesure incitative pour lécole 0,1530,1430,217 0,1880,2770,1190,158 (0,042)***(0,035)***(0,047)*** (0,049)***(0,055)***(0,038)***(0,043)*** Observations R au carré 0,29 0,230,280,220,320,25 CombinéMathsTelugu Variable dépendante = Score normalisé au test final

Mesures incitatives de groupe vs individuelles Variable dépendante = Score normalisé au test final A1 sur A0A2 sur A1A2 sur A0 Combiné MathsTelugu [1][4][7][8][9] Score normalisé ultérieur 0,50,5540,4510,4180,485 (0,013)***(0,016)***(0,015)***(0,022)***(0,014)*** Mesure incitative individuelle pour lécole (II) 0,1600,198 0,271 0,3210,223 (0,049)***(0,044)*** (0,058)*** (0,068)***(0,053)*** Mesure incitative de groupe pour lécole (GI) 0,1460,087 0,162 0,2320,092 (0,050)***(0,045)* (0,058)*** (0,071)***(0,052)* Observations Valeur p stat F (test GI = II) 0,780,050,120,290,03 R au carré0,290,30,23 0,25 Notes: * Significatif à 10 %; ** Significatif à 5 %; *** Significatif à 1 %

Comment le comportement des enseignants a-t-il changé? -0,110 ** 0,124 *** 0,102 *** 0,085** 0,091*** 0,181*** 0,111*** 0,017 Comportement de lenseignant Écoles avec incitations Écoles avec contrôle Valeur p de la différence Mesures incitatives comparées au contrôle (tous les chiffres sont en%) Quelle sorte de préparation avez-vous faite? (spontané) (% ayant répondu) Avez-vous préparé quelque chose de spécial pour les test de fin dannée ? (% de oui) 0,000*** Cours donnés activement au moment de lobservation (%) 0,57 0,24 0,10 Coefficient de lindicateur de comportement dans le score au test Travail à domicile supplémentaire0,000*** Absentéisme (%)0,82 Cours/enseignement supplémentaires en plus des heures de classe 0,000*** 0,42 0,25 0,15 0,17 0,04 Travail en classe supplémentaire0,000*** Ont fait subir des tests pratiques0,000*** 0,24 0,44 0,63 0,42 0,46 0,16 0,31 Accordent une attention particulière aux élèves plus faibles 0,000***0,210,05

Résumé des résultats Les écoles bénéficiaires des mesures incitatives font nettement mieux (0,22 SD) Les améliorations sont systématiques (au niveau de toutes les années, tous les districts, tous les scores de référence) Preuves limitées deffets hétérogènes du traitement Les élèves des écoles bénéficiaires réussissent mieux dans les composants mécaniques et conceptuels des tests mais aussi dans les matières ne bénéficiant pas des mesures incitatives Aucune différence entre les mesures incitatives de groupe et individuelles la première année – mais la deuxième année, les mesures individuelles commencent à savérer plus performantes que celles de groupe Pas de changement au niveau de labsentéisme, mais les enseignants des écoles bénéficiaires atteignent de meilleurs niveaux pour les activités pédagogiques liées à la présence dans la classe Les différences de comportement sont corrélées avec les résultats de lapprentissage Beaucoup plus rentable que les intrants de même valeur Les enseignants ont réellement apprécié le programme – cette appréciation ex ante se retrouve dans les performances ex post

Étude de cas 2: Mesures incitatives au Brésil Encourager la qualité : évaluer les effets dun bonus sur les performances éducatives au Brésil Par Claudio Ferraz (PUC Rio) et Barbara Bruns (Banque mondiale)

Brésil : Létude cherche à comprendre… Les effets sur les performances des élèves de lintroduction dun système de bonus basé sur des tests normalisés Les variations de limpact des bonus en fonction des caractéristiques des écoles (ex. : cohésion sociale ; profils des enseignants), Les stratégies utilisées pour améliorer les performances

Région de létude : État de Pernambouc, Brésil

Caractéristiques de létude de cas du Brésil Le Programme de bonus pour les performances éducationnelles au Pernambouc a été créé par une loi de 2008 Son but est de mettre en place des mesures incitatives pour améliorer la qualité de lenseignement et de récompenser les employés des écoles qui atteignent les objectifs de performance spécifiques aux écoles La première année, les objectifs étaient basés sur les performance de 2005 (dernières informations disponibles) Trois groupes décoles : – Performances élevées – Performances moyennes – Performances élevées

Caractéristiques de létude de cas du Brésil Mise en œuvre au niveau de lentièreté du système (pas par expérimentation) Analyse causale des impacts utilisant : – La différence dans la différence – Une conception de la régression par discontinuité exploitant les objectifs annuels et les règles pour les bonus

Méthodologie dévaluation dimpact Différence dans la différence – Compare les performances des écoles dÉtat du Pernambouc avec celles des écoles dÉtat des États voisins, avant le programme de bonus ( ) et après (2009) Régression par discontinuité (RD) – Objectifs fixés suivant le groupe de performances (élevées, moyennes, faibles) auquel appartient lécole

Meta 2008 Langue portugaise 8a 1234 IDEPE 2005 Langue portugaise 8a Illustration de la conception RD Objectifs pour 2008 (pour le portugais) pour chaque école (en fonction des niveaux 2005) Comment les résultats dans ces écoles… … diffèrent de résultats dans ces écoles

Variations exogènes La proportion des objectifs atteints par lécole est calculée par : (progrès réels) / (progrès attendus) Les écoles ayant atteint au moins 50 % reçoivent un bonus Le bonus est déterminé par le salaire initial et le pourcentage dobjectifs atteints

Brésil : Mesure des résultats Apprentissage et redoublement des élèves, présence des enseignants, activités de planification au niveau de lécole ; mais aussi Capital fiduciaire et social au niveau de lécole Comportement des enseignants « à lintérieur de la boîte noire » à travers des observations standardisées en salle de classe Effets dynamiques de loctroi ou non des bonus aux écoles sur la stratégie et les efforts des années suivantes… et les écoles savent-elles quoi faire ??

Résultats préliminaires pour les scores aux tests de portugais

Brésil : Méthode de Stalling pour lobservation en salle de classe Utilisée dans toutes les écoles étudiées pour mesurer les changements potentiels dans le comportement en salle de classe

Brésil: Exemple de données générées

Merci