Africa Program for Education Impact Evaluation Dakar, Senegal December 15-19, 2008 Evaluation dimpact pour lamélioration des politiques publiques Moussa P. Blimpo Africa Impact Evaluation Initiative

2 Pourquoi évaluer ? Bonne gestion budgétaire Allouer les financements aux projets qui marchent très bien …impact le plus important Savoir leffectivité des programme Gestion axée sur les résultats Améliorer les programme en sinformant sur les aspects qui ne marchent pas. Caractère soutenable des politiques publiques Négociations budgétaires Informer la population et la presse

3 S&E Traditionnel et Evaluation dImpacte Efficacité du Suivi de la mise en œuvre (intrant- extrant) INTRANT VARIABLE DE RESULTAT EXTRANT Suivi efficacité Evaluer leffectivité $$$ Comportment évaluation dimpact de leffectivité des politiques (extrant-resultat)

4 Questions types et méthodes S&E: suivi & évaluation du processus Analyse descriptive Analyse causale Quel a été leffet du programme sur les indicateurs? Comment aurait évoluer les indicateurs en présence dun programme alternative? Est ce que le programme vaut le cout? Est ce que le programme est délivré a temps? Est ce que le programme a bien cible les bénéficiaires? Est ce que les indicateurs dimpact vont dans la bonne direction? Evaluation dImpact:

5 S&E ou Evaluation dimpact? Est ce que les subventions aux écoles sont délivrées comme prévue? Est ce que la formation des enseignants augmente le score des enfants? Quelles sont les tendances de la prévalence du VIH? Quel est leffet du test de Sida sur le comportement? S&E EI S&E EI

6 Se servir de lévaluation dimpact pour…. Tester les programmes pilotes Mettre à niveau les interventions/programmes pilotes Réajuster ce qui ne marche pas Mesurer lefficacité des programmes Trouver la meilleur approche pour changer le comportement des personnes Gérer les objectifs de développement

7 IE & imputabilité Politique intérieur & extérieur Informer les populations Autorité Budgétaire: Alloue le budget Les structures délivrent les programmes et négocient le budget. Imputabilité budgétaire gouvernabilité politique Budget Délivrer Les services Promesses De Campagne Imputabilité Effectivité des programmes

8 Question opérationnelle: Gestion axée sur les résultats Choix du design de lopération Utiliser les expériences aléatoires pour tester les alternatives Se focaliser sur les résultats de court terme comme lusage, ladoption etc. Collecter et analyser des données de suivi 6 – 12 mois après lintervention. Identifier la meilleur alternative en mesurant limpact des différents traitements sur les variables de résultât de court terme. Changer de programme et adopter la meilleur si besoin Réitérer

9 Questions de politiques publiques: imputabilité budgétaire Est ce que le programme atteint ses objectifs? Est ce efficace en terme de cout? Utilise la meilleur méthode étant donne le contexte opérationnel Se concentrer sur les résultats de premier ordre Résultats scolaires, statut de sante, revenu Mesurer limpact sur les objectifs prédéfinis et dautres indicateurs. Etablir le cout de lintervention Comparer le résultât avec ceux dautres programmes Allouer plus de ressources vers les programmes avec les meilleurs résultats.

10 Changement de Paradigme I Dun programme comme une un nombre dactivités prédéfinies et sensées délivrer des résultats espérés. Le programme a t-il délivrer les résultats ou pas? A un programme comme un menu dalternatifs, avec une stratégie de choisir les meilleurs. Le Programme change au file du temps pour donner de meilleurs résultats.

11 Changement de Paradigme II Dune évaluation externe et indépendante Du haut vers le bas de léchelle de hiérarchie Questions de politiques publiques Déterminer si un programme a marche ou pas? A une évaluation interne et opérationnel. Les priorités du bas vers le haut de la hiérarchie Questions opérationnelles –Arrangement institutionnels –Mécanismes dimplémentation –Incitations Utilise pour améliorer les programmes au fil du temps

12 Changement de Paradigme III Des Evaluations Rétrospectives Conçu et évalué ex-post Les questions sont limites Méthodologie difficile a défendre Trop tard pour faire la différence A des évaluations prospectives Conçu ex-ante et évalué ex-post Répondre a des question importantes Utilise la meilleur méthode et obtenir des résultats convaincants Leçons a apprendre a temps Rationalise a collecte habituelle des données

13 Changement de Paradigme IV Preuve deffectivité: Preuve du Concept Opération pilote dans des conditions idéales Effectivité : Impact à une échelle supérieure sera différent Circonstances et capacités normales Impact sera moindre ou élève? Coûts seront différents

14 Evaluation dimpact au niveau interne Nécessité dun développement de capacité dans les structures qui implémentent afin de: Davoir une vision critique de leur programmes Etablir les priorité dévaluation Participer a limplémentation Etre un consommateur éduqué/ comprendre EI Agir sur la base des évidences et enclencher le processus de feedback Lobjectif est détablir une structure capable duser de lévaluation dimpact comme une outil intégré de gestion. Pour assurer la crédibilité dune évaluation interne, il y a besoin de partenariat externe ou de validation.

15 En résumé: Lévaluation dimpacte est crucial pour leffectivité Savoir ce a quoi le budget a servi effectivement Mesurer le cout Apprendre a obtenir de meilleurs résultats Doit être fait comme part intégrante de la conception des programmes. Toujours nécessaire comme outil de gestion.

16 Pour la suite… Quelques obstacle a lévaluation de limpact dun programme. Dans la deux jours suivant: Examiner différentes méthodes et leurs avantages et inconvenants. Mercredi et Jeudi: Les défis pratiques a lévaluation dimpact et leur solutions.

17 MERCI