1 Evaluer la qualité des plans nationaux Préparée dans le cadre du 2ème Atelier de Développement des Capacités de l’Education en Afrique “Leadership des pays pour une mise en œuvre réussie dans le cadre du partenariat EPT-FTI” Tunis, Tunisie Le 3 décembre 2007 Rosemary Bellew

2 Plan de la présentation Evaluation de la qualité des plans nationaux approuvés par la FTI  Questions guidant l’évaluation  Critères et méthodes  Points fort des plans nationaux  Points à améliorer Approches et outils  Attribution des priorités  Contrôle, évaluation et responsabilisation

3 Evaluation de la qualité des plans approuvés par la FTI Domaine d’évaluationQuestions guidant l’évaluation 1.Qualité technique Le plan est-il crédible et soutenable ? Aborde-t-il les questions prioritaires ? 2.Leadership du pays et ampleur de l’appropriation Existe-t-il des preuves du leadership du pays, d’une large appropriation et d’un engagement politique à l’égard du plan ? 3.S&E/ Mécanismes de responsabilisation Existe-t-il un cadre crédible de contrôle, d’évaluation et de responsabilisation ? 4.Aspects financiers Le plan financier est-il crédible ? 5.Sauvegardes fiduciaires Les systèmes de passation des marchés et de gestion financière sont-ils appropriés ? 6.Dispositifs institutionnels et de mise en œuvre Le plan est-il prêt à être mis en œuvre ?

4 Evaluation de la qualité des plans approuvés par la FTI Critères d’évaluation (Total = 44) 1.Qualité technique (25) 2.Leadership et appropriation (4) 3.Mécanismes de S&E/responsabilisation (3) 4.Aspects financiers (3) 5.Sauvegardes fiduciaires (5) 6.Aspects institutionnels et de mise en œuvre ( 4) Objectif  Identifier les forces et faiblesses systématiques. NE PAS attribuer de notes ni établir un classement des pays Couverture  25 plans – toutes les régions  Evaluation des bailleurs de fonds locaux Méthode  Couvert ou non (0,1)  Pas d’avis concernant l’adéquation, sauf si évaluation des bailleurs de fonds locaux

5 Résultats

6 Principales conclusions Conclusions générales  Forte amélioration depuis dix ans et par rapport aux approches projet  Mouvement uniforme vers une approches sectorielle ou sous- sectorielle  Les pays sont à des stades différents  L’équilibre entre technique, appropriation et capacité est très lié au contexte Forces Aspects techniques  Analyse sectorielle et données minimales  Attention accordée à la qualité de l’éducation – ressources, mesure des résultats de l’apprentissage Leadership et appropriation  Preuves de soutien politique (budgétaire, par exemple) Aspects financiers  Cadre financier complet, incluant les ressources nationales et extérieures

7 Points à améliorer Aspects techniques  Enfants pauvres et vulnérables  Estimer coûts et politiques grâce à un modèle de simulation  Attribuer des priorités aux interventions Leadership et appropriation  Consultation des intervenants  Participation de la société civile à l’élaboration du plan  Mécanismes de coordination des bailleurs de fonds S&E/ Responsabilisati on (si pas entièrement omis)  Dépendance exclusive à l’égard des données de recensement scolaire  Nombreuses stratégies mais peu d’évaluations d’impact  Responsabilité à l’égard des bénéficiaires, pas seulement des bailleurs de fonds Aspects financiers  Incorporation dans le budget et le CDMT national Aspects fiduciaires  Gestion financière et passation des marchés

8 Options Attribution de priorité  Attribution de facto  Attribution proactive conditionnée par :  Un climat de réforme incertain  Une faible capacité de mise en œuvre  Attribution proactive sur base de l’impact et du coût probables

Attribution des priorités A. Climat de réformes incertain  Résultats visibles (Etats fragiles)  (Possibles) décisions stratégiques progressives --le plus courant Risque : décisions clés ne seront jamais prises, mais seule option possible. B. Faible capacité de mise en œuvre  Quelques interventions clés + renforcement des capacités et systèmes de gestion financière, passation de marchés, S&E et analyse politique (Timor Leste, Pakistan) Avantages : Renforcement des bases & capacités à gérer plus de ressources  Phasage géographique (ex.: si capacités de gestion plus solides ou si besoins plus importants) Avantages : comme ci-dessus, améliore aussi la conception des programmes Risques : acceptation politique et éthique

10 Outils d’attribution des priorités 1. Modèles de simulation financière  Identifier et évaluer les choix politiques à fort impact financier en fonction d’hypothèses de disponibilité des ressources. 2. Modèles budgétaires et CDMT  Aide à déterminer les priorités entre sous-secteurs et composantes de programme sur la base des plafonds budgétaires réels  Combiner les deux pour faciliter le lien entre le budget et le CDMT 3. Evaluation de l’impact – Faisons-nous les bonnes choses ? Ex. Kenya : Coût d’une augmentation d’un an de la fréquentation scolaire primaire :  Traitement de vermifugation biannuel$3,50  Repas scolaire enfants âge préscolaire$36  Uniformes gratuits$99

11 Evaluation de l’impact Exigences  Groupe de contrôle identique non exposé à l’intervention  La norme d’or -- Sélection aléatoire de groupes de traitement et de contrôle avec données de base et post- traitement  Randomisation pas toujours possible (programmes ciblés, participation volontaire, dilemmes éthiques), d’autres méthodes existent  Quantité substantielle d’informations, de temps et de ressources.  Sélectivité fondée sur l’importance stratégique et l’ampleur de l’effet de coût

12 Faisons-nous les bonnes choses ? Utilisations  Vérification des données administratives  Diagnostique– données quantitatives et qualitatives sur la prestation des services et les variations critiques  Responsabilisation – identifier où les institutions manquent à leurs obligations  Évaluation comparative – suivi de la qualité des services au cours du temps Enquêtes quantitatives multi-objectifs pour le S&E et la responsabilisation

13 1.Enquêtes sur la qualité de la prestation des services (QSDS)  Enquêtes scolaires  Performances non mesurées par les données administratives  Question exhaustive ou ciblée (ex.: absentéisme des enseignants)

14 2.Enquêtes par « Citizen Report Card » (CRCS) Vérification de l’accès et du coût pour les familles Mesure de la perception des citoyens de la qualité et de l’efficacité des services Recherche de suggestions d’amélioration Exemple : Résultats recueillis à Zanzibar Haute satisfaction pour comportement des enseignants (à l’opposé de l’Ethiopie) Fort mécontentement pour disponibilité et qualité du matériel pédagogique La plupart paie des frais de scolarité, 61% sur demande des autorités scolaires AvantagesExigences  Simplicité  Faible coût  Reproductible  Compétence technique  Implication des prestataires et usagers dans la conception de l’enquête  Suivi de la défense des intérêts, souvent par ONG

15 3.Enquêtes de suivi des dépenses publiques (PETS) Contrôlent si les ressources atteignent leur destination Point de vue sur les systèmes de gestion financière et de responsabilisation Exemples : Ghana, Rwanda, Tanzanie, Zambie, Cambodge, Ouganda Leçons clés Champ limité – plus il y a de catégories, plus l’enquête est astreignante L’impact dépend de l’action du gouvernement OugandaTanzanie Constat87% de la dotation par élève détournés 57% des dépenses non- salariales indirectes détournés Réponse gouverneme ntale Allocations budgétaires publiées Informations affichées au district et dans écoles Communautés formées Administrative –transferts aux conseils publiés Résultat90% de la dotation reçue Plus de PETS

16  Les enquêtes doivent être exécutées par des tiers  Éliminer les intervenants du MdE comme source potentielle de distorsion  Renforcer les capacités locales que le MdE pourrait difficilement, ou ne trouverait pas nécessaire, de développer en interne  Les accompagner par des actions et des enquêtes complémentaires Principales leçons tirées des différentes méthodes

17 Questions à discuter  Quels sont les forces et les points à améliorer de votre propre plan pour l’éducation ?  Quels outils et processus avez-vous utilisés pour : Attribuer les priorités Attribuer les priorités Améliorer les informations sur les contraintes imposées par la demande et la qualité des services Améliorer les informations sur les contraintes imposées par la demande et la qualité des services Impliquer la société civile Impliquer la société civile  Quelles contraintes avez-vous rencontrées ? Comment les avez-vous abordées ?