AMELIORATION DE LA GESTION DE LEDUCATION (AGEMAD) ACCRA, GHANA Mai 11, 2010 Résultats dune évaluation dimpact Préparée par Jee Peng et Cornelia Paul RANDRIANIRINA Présentée par

Education Primaire a Madagascar: Beaucoup de progrès, mais plus a faire Signes de progrès: Taux dachèvement au primaire double de 35% en1999 a 71% en 2008 Indicateurs de performance faible: ½ de chaque cohorte de 1 ere année ne finissent pas le primaire; Redoublement est a 18% en 2005 (30% in 2000) Faible qualité: en PASEC, moyenne au test 50% en Maths et Malgache et 32% en Français; détérioration depuis Causes multiples dans le système: Inconsistances au niveau de la répartition des enseignants; Gestion inefficace des processus pédagogique au niveau de lécole et de la classe

Les défis de lAGEMAD Améliorer lallocation des ressources entre les écoles. Assurer que les ressources allouées sont transformées en résultats au niveau des élèves. Identifier des interventions qui permettent de renforcer la gestion du système. Tester les interventions et évaluer leur impact afin déclairer les choix sur des généralisations possibles

Une démarche en 4 étapes : 1. Identifier acteurs du système éducatif = ceux qui ont des responsabilités à assurer 2. Déterminer quelles tâches ils ont à accomplir 3. Elaborer des outils de travail pour quils accomplissent ces tâches: outils (procédures, tableaux de bord, statistiques) rationalisés, adaptés, conçus et testés en collaboration avec les utilisateurs 4. Clarifier les conditions incontournables pour la bonne exécution du système de gestion.

Gestion plus serrée pour rendre compte de son travail Concept de lintervention & Design IE : Outils de gestion pour clarifier les activités et mieux rendre compte; Organisation de rencontres entre lécole et la communauté; Meilleure circulation de linformation a lécole et entre lécole et la communauté; Formation pour les enseignants et les directeurs décole Doit amener: Amélioration des activités pédagogiques depuis le haut et le bas de la hiérarchie Écoles mieux gérées Plus grande qualité a lécole Meilleur apprentissage des élèves

Questions pour les décideurs politiques Quel est limpact de processus de gestion plus stricts sur la performance des élèves et le fonctionnement des écoles? A quel niveau de la hiérarchie administrative est-ce que les interventions de gestions sont les plus efficaces (école, district ou inspection)?

Impact Evaluation Design (1) Méthode: Randomisation sur deux années scolaires Interventions: Préciser les responsabilités des acteurs et les chaines de suivi a travers: Outils de Gestion et Guides pour les activités les plus importantes (pédagogique, administrative) Formations Faire attention aux résultats en clarifiants les objectifs a travers: Tableau de Bord: Ecoles, District et Région Rencontre aux écoles: Organisation de rencontres et développement de plans daction écoles sur la base des tableaux de bord

Tableau de bord école et District pour une meilleure circulation de linformation Tableau de bord pour les directeurs décoles, fonctionnaires au niveau du district et de la région : Complémentarité des outils et des processus Porter lattention sur les résultats scolaires Inclure des données comparatives pour permettre aux écoles de comparer ses résultats aux autres Servir de base pour créer un dialogue et rendre compte

Impact Evaluation Design (2) Ecoles AGEMAD TREATMENT Ecoles ZAP AGEMAD TREATMENT 2 15 CISCO AGEMAD 89 ZAP AGEMAD 80 ZAP CONTROL 303 Ecoles CONTROL 15 CISCO CONTROL 84 ZAP NON-AGEMAD 303 Ecoles CISCO AGEMAD TREATMENT 1

Collecte de données Comportement des acteurs (effets directs): Questionnaires provenant dune visiste inopinée à 1,200 écoles, avec des informations pour 4,000 enseignants Questionnaires Régions et Communautaires Collecte et analyse des instruments utilisés dans 40 écoles (850 instruments) Variables de résultat portant sur la scolarisation (effets indirects): Test scores provenant de tests standartisés dans 3 disciplines; Données du recensement (national) de fin dannée scolaire: redoublement, taux de succès à lexamen de 6ème. Chronogramme: 2 années scolaires, Enquête de base/test et enquête post-intervention/test

Quelles tâches sont essentielles? Enseignant: Faire lappel quotidien Préparer quotidiennement le plan de la leçon Préparer les plans de leçons par quinzaine Suivis des apprentissages des élèves Avoir testé les élèves les 2 mois précédents Aider à maintenir le niveau des élèves Discuter les questions liées à lapprentissage avec le directeur Directeur: Garder un registre des admissions Signer la fiche des appels quotidiens Analyser les absences par mois et par quinzaine Passer en revue les résultats des élèves aux tests Faire linventaire des absences des enseignants Informer les autorités régionales ou communautaires de labsence des enseignants Faire le suivi des plans de leçons avec les enseignants

Résultats: Effets du comportement des acteurs Ecoles AGEMAD Ecoles contrôle Absence des enseignants (%) Réalisation de toutes les actions essentielles par lenseignant (%) 63.0*42.4 Réalisation de toutes les actions principales par tous les enseignants de lécole (%) 42.9**22.1 Ecoles bien gérées (%)36.5**15.2 *significatif à 5%; **significatif à 1%

13 Résultats: Effets sur les variables mesurant la scolarisation Ecoles AGEMAD Ecoles Contrôle Participation des élèves (%)90.7*86.6 Redoublement (%)17.5*22.6 Abandon (%) Taux de succès à lexamen de 6ème Résultats des élèves au post-test Math Malagasy Français Toutes disciplines *Significatif at 5% level

Implications pour les politiques Donner la priorité aux acteurs de lécole La formation en cascade seule ne marche pas dans son état actuel Malgré les résultats positifs, une meilleure gestion passe par un changement de comportement, ce qui prend du temps et des efforts Généraliser les évaluations dimpact dans les activités du MEN Besoin dun leader des le début Besoin de limplication dune équipe nationale avec le soutien technique nécessaire Nécessaire de pérenniser le changement de comportement Utiliser les structures et mécanismes en place pour la généralisation: Outils, guides et modules de formation intégrés dans la formation des enseignants Distribution des outils, formation et rencontres des écoles financées pas les fonds catalytique locaux sur la base des plans dactions et besoins des régions, districts et écoles Développer des leaders pour changer les pratiques de gestion Discussion en cours pour une collaboration entre le MEN et une organisation partenaire pour une formation de leadership

Publications a venir Africa Human Development Working Paper Series «Améliorer la gestion de l'enseignement primaire à Madagascar - Résultats d'une expérimentation randomisée » Publication en cours de revue «Managing for results in primary education in Madagascar: Evaluating the impact of selected workflow interventions »

Il faut un village… Implication du Gouvernement: Stabilité de l équipe (15 membres du Ministères avec un coordonnateur) Implication des partenaires: Assistance technique et financière de lAFD a travers 2 agents Equipe de la BM dirigée par Jee-Peng Tan and Cornelia Jesse, avec Gérard Lassibille and Trang van Nguyen (et coordonateurs terrain) ONG Aide et Action pour aider a la formation Financement: BM, AFD, MEN, EPT-IMOA (EPDF), Irish Aid, Ministère des Affaires étrangères de la Norvège Timeline: 2004 – 2007 Nombre de personnes impliquées: 50

Les perils de la collecte de données …