Évaluation dImpact Subventions aux COGES Niger Atelier APEIE – Accra, Mai 2010

Sommaire Contexte et JustificationContexte et Justification Motivation pour lévaluationMotivation pour lévaluation Interventions: Subventions aux COGESInterventions: Subventions aux COGES Questions pour informer la politique éducativeQuestions pour informer la politique éducative Stratégies dévaluationStratégies dévaluation Durée et ÉquipesDurée et Équipes Résultats préliminairesRésultats préliminaires Difficultés et Limites de létudeDifficultés et Limites de létude Étapes subséquentesÉtapes subséquentes

Contexte et Justification Programme Décennal de Développement de lÉducation au Niger (PDDE):Programme Décennal de Développement de lÉducation au Niger (PDDE): –Meilleure gestion du système éducatif –Plus grande participation des communautés –Décentralisation AGEPA:AGEPA: –Resserrer le lien entre moyens et résultats Création de COGESCréation de COGES Projet Pilote de Subventions aux COGES

Motivation pour l'évaluation Informer les politiques du gouvernement pour une extension éventuelle du programme au niveau national.Informer les politiques du gouvernement pour une extension éventuelle du programme au niveau national. Évaluer limpact de la mise à disposition de ressources aux communautés sur la qualité des services éducatifsÉvaluer limpact de la mise à disposition de ressources aux communautés sur la qualité des services éducatifs Renforcer la capacité du MEN en vue de mettre en place des évaluations dimpact (formations théoriques et application pratique)Renforcer la capacité du MEN en vue de mettre en place des évaluations dimpact (formations théoriques et application pratique)

Subvention à 500 COGES dans 2 régionsSubvention à 500 COGES dans 2 régions –Minimum 50,000 FCFA (approx. US$100) –Moyenne 100,000 FCFA (approx. US$200) –Soutenir les plans dactions de COGES 3 Groupes3 Groupes –Subvention seule –Subvention avec liste de dépenses interdites –Subvention avec annonce de contrôle financier probable Interventions

Quelles type décole bénéficie de subventions?Quelles type décole bénéficie de subventions? Rurales ou Urbaines? Grandes ou Petites? Etc. Quels type délève en bénéficie ?Quels type délève en bénéficie ? Filles ou Garçons ? CI ou CM2 ? Etc. Quelles dépenses ont un plus grand impact?Quelles dépenses ont un plus grand impact? Construction de salle ou achat de matériel? Etc. Le COGES fonctionne-t-il de la ma même manière?Le COGES fonctionne-t-il de la ma même manière? Participation de la communauté; Composition des comités; Etc. Questions pour informer la politique éducative

Stratégie dévaluation MéthodologieMéthodologie Randomisation des écoles situées à moins de 100km des Inspections – 2 régionsRandomisation des écoles situées à moins de 100km des Inspections – 2 régions Stratification au niveau des IEB, milieu rural/urbain et soutien par projetStratification au niveau des IEB, milieu rural/urbain et soutien par projet 1000 écoles représentatives des régions de Tahoua et Zinder Échantillon 1000 COGES 500 COGES subventionnés 500 COGES témoins

Questionnaires écoles – COGESQuestionnaires écoles – COGES Observations dans les écolesObservations dans les écoles Tests de niveau des acquis scolairesTests de niveau des acquis scolaires Contrôle Financiers dans 84 écolesContrôle Financiers dans 84 écoles Données collectées par la DSIDonnées collectées par la DSI Présence des élèves – enseignantsPrésence des élèves – enseignants Mobilisation de fonds et dépenses par COGESMobilisation de fonds et dépenses par COGES Activités réalisées dans les plans dactionsActivités réalisées dans les plans dactions Niveau des élèvesNiveau des élèves Collecte de Données - Indicateurs

Subventions prévues en Octobre 2007 et Octobre 2008Subventions prévues en Octobre 2007 et Octobre 2008 –Réalité : Évaluation dune seul subvention, fin 2007/début 2008 Questionnaires et Tests élèves prévus en Avril/Mai 2008 et Avril/Mai 2009Questionnaires et Tests élèves prévus en Avril/Mai 2008 et Avril/Mai 2009 –Réalité : Avril/Mai 2008 Contrôle Financier Janvier/Février 2009Contrôle Financier Janvier/Février 2009 ÉquipeÉquipe –Ministère de lÉducation (MEN) - AGEPA –Banque Mondiale –2 agences de collecte de données Durée et Équipes

Subventions arrivéesSubventions arrivées –Très peu derreur de montant ou décole Gestion par les COGES:Gestion par les COGES: –Projets réalisés sont dans le plan daction –Diversité des projets réalisés Constructions, « investissements », manuels scolairesConstructions, « investissements », manuels scolaires Plus de constructions de salles de classes et clôturesPlus de constructions de salles de classes et clôtures –Plus grande utilisation des fonds par COGES ayant reçu une formation sur la gestion financière Résultats Préliminaires

Distribution des dépenses

Retard de mise en place des subventionsRetard de mise en place des subventions Intervention interrompue après 1 anIntervention interrompue après 1 an Comité de pilotage peu opérationnel (stabilisation des membres)Comité de pilotage peu opérationnel (stabilisation des membres) Une seul collecte des donnéesUne seul collecte des données –Importance des données administrative dans lanalyse Validité interne: pas décoles a plus de 100km des IEBValidité interne: pas décoles a plus de 100km des IEB Validité externe: seulement 2 régions du paysValidité externe: seulement 2 régions du pays Difficultés et Limites de létude

Comité de pilotage peu opérationnel (stabilisation des personnes);Comité de pilotage peu opérationnel (stabilisation des personnes); Intervention interrompue après 1 anIntervention interrompue après 1 an Une seul collecte des donnéesUne seul collecte des données –Importance des données administrative dans lanalyse Validité interne: pas décoles a plus de 100km des IEBValidité interne: pas décoles a plus de 100km des IEB Validité externe: seulement 2 régions du paysValidité externe: seulement 2 régions du pays Difficultés et Limites de létude

Analyse des données – en coursAnalyse des données – en cours Rapport dévaluation dimpact – en coursRapport dévaluation dimpact – en cours Note sur la Gestion des écoles par les COGESNote sur la Gestion des écoles par les COGES Dissémination des rapports et résultatsDissémination des rapports et résultats Étapes subséquentes

Quen est-il de la suite? BM/MEN Suspension des subventions (il est nécessaire de clarifier les responsabilités de chacun des partenaires); Mais lobjectif initial de développer des compétences en évaluation dimpact de léducation demeure Reste à définir des nouveaux créneaux opérationnels (TBE et TBA à recentrer dans le cadre du suivi pédagogique/gestion de lécole)

Merci à vous! Questions & Contributions

Stratégie dévaluation (2/2) Calcul de Puissance : SubventionsCalcul de Puissance : Subventions Puissance: 80%, Niveau de Confiance: 95%Puissance: 80%, Niveau de Confiance: 95% Rétention et Acquis ScolaireRétention et Acquis Scolaire Considérations:Considérations: Corrélation Intra-clusterCorrélation Intra-cluster Possibilité que les subventions narrivent pas dans toutes les écolesPossibilité que les subventions narrivent pas dans toutes les écoles Calcul de Puissance : Interventions dinformation au sein du groupe du traitementCalcul de Puissance : Interventions dinformation au sein du groupe du traitement Suffisamment pour détecter un effet « moyen »Suffisamment pour détecter un effet « moyen » Pas possible délargir léchantillonPas possible délargir léchantillon Contrôles financiers sont cher, donc pour justifier généralisation il faut un grand effetContrôles financiers sont cher, donc pour justifier généralisation il faut un grand effet