Evaluation de limpact pour une prise de décision en temps réel Arianna Legovini Responsable, Initiative pour l'évaluation de l'impact au plan du développement (DIME), Banque mondiale

Dabord, quest-ce quune chaîne de résultats ? Intrants Ressources financières et humaines Activités Actions pour convertir les intrants en extrants Extrants Produits matériels, Campagnes dinformatio n formations études Réalisations intermédiaire s Utilisation des extrants par la population cible Adoption Utilisation Réalisati ons finales Objectif du program me Croissanc e Cohésion sociale Emploi 2 Mise en œuvre (COTE DE LOFFRE)Résultats (REPONSE DE LA DEMANDE)

Exemple dune chaîne de résultats Intrants Ressources financières et humaines pour mettre en place les institutions locales Activités Développer la communicatio n Mettre en place des mécanismes de dons Fournir une assistance technique aux communautés Extrants Programme de communicatio n Propositions de dons Visites dassistance technique Réalisations intermédiair es Dons accordés et décaissés Projets réalisés Rassembleme nts communautair es Réalisations finales Diminution des conflits Meilleure intégration des anciens combattants Croissance de lemploi 3 Vérifier que le programme est mis en œuvre comme prévuEvaluer lefficacité du programme ?

La chaîne de résultats Hypothèse de développement qui vous aide à définir : ce que vous faites et pourquoi vous le faites ce qui doit faire lobjet dun suivi et ce qui doit être évalué 4

Quest-ce que le suivi ? Le suivi retrace lévolution des indicateurs (dans le groupe de traitement) Il est descriptif avant-après analyse Le suivi nous indique si les choses évoluent dans la bonne direction 5

Lévaluation de limpact suit les réalisations dans le temps du groupe de traitement par rapport à un groupe de contrôle Elle mesure leffet dune intervention sur les réalisations par rapport à lhypothèse dabsence de cette intervention Que se serait-il passé sans cette intervention ? Elle détermine le lien causal extrants-réalisations Séparément de leffet des autres facteurs évoluant dans le temps

Utiliser le suivi pour retracer lefficacité de la mise en œuvre (intrants-extrants) 7 INTRANTSREALISATIONSEXTRANTS SUIVRE LEFFICACITE EVALUER LEFFICACITE OFFRE réponse demande Utiliser lévaluation de limpact pour mesurer lefficacité (extrants- réalisations)

Choisissez la bonne méthode pour répondre à vos questions Analyse descriptive Suivi (et évaluation du processus) Le programme est-il mis en œuvre efficacement? Le programme cible- t-il la population voulue ? Les réalisations vont- elles dans la bonne direction ? Analyse causale Evaluation de limpact Quel effet le programme a-t-il eu sur les réalisations ? Quelle est la valeur comparée des modalités de mises en œuvre alternatives ? Le programme est-il dun bon rapport coût-efficacité ? 8

Discussion entre vous (5 m) Que se passe-t-il si vous utilisez le suivi pour évaluer limpact ? 9

Discussion entre vous (5m) Que se passe-t-il si vous utilisez le suivi pour évaluer limpact? Vous obtenez la mauvaise réponse… …100 % du temps 10 aprèsavant B A t0t0 t1t1 B Intervention Change ment C Impact

ENSUITE : Savons-nous par avance… pour le développement impulsé par les communautés à quelles informations les communautés vont réagir ? si la facilitation débouchera sur des propositions de grande qualité ? si des règles amélioreront lintégration des parties prenantes dans le processus de prise de décisions ? si les mécanismes de suivi et de co-paiements amélioreront les projets locaux et leur utilisation des fonds ? pour le désarmement, la démobilisation et la réintégration, si les méthodes ciblées ou axées sur les communautés sont les plus efficaces ? si lon devrait tenter de séparer les combattants de leurs unités ou tabler sur la cohésion des unités? laquelle de linclusion ou de lexclusion des structures de commande est la plus efficace ? 11

Nous nous fions à notre intuition et nous choisissons une campagne dinformation, un ensemble de services, un programme de mesures incitatives. Existe-t-il une autre campagne, un autre ensemble de mesures, un mécanisme dincitations permettant dobtenir de meilleurs résultats ? 12

Le processus de décision est complexe Quelques grandes décisions sont prises lors de la conception mais de nombreuses autres décisions sont prises lors du déploiement et de la mise en œuvre 13

Quest-ce quune arborescence de résultats ? Une arborescence de résultats représente lensemble des chaînes de résultats considérées comme viables au stade de la conception ou de la restructuration du programme. Cest un ensemble dalternatives concurrentes en matière de principes et de pratiques visant un objectif spécifique. 14

Réinsertion Campagne de communication publique pour la réinsertion des anciens combattants Utiliser les structures de cohésion des unités de combattants Inclure les structures de commande Exclure les structures de commande Séparer les combattants de leurs unités et démanteler les structures Formation proposée à lintéressé Formation sur demande de lintéressé Campagne basée sur la communauté Utiliser les structures de cohésion des unités de combattants Inclure les structures de commande Exclure les structures de commande Séparer les combattants de leurs unités et démanteler les structures Formation proposée à lintéressé Formation sur demande de lintéressé 15

Déterminez celles des décisions qui seront prises au début et celles qui seront testées pendant le déploiement du programme Testez expérimentalement les points critiques : mesurez limpact dune option par rapport à une autre ou à labsence dintervention Choisissez la meilleure et éliminez la pire pendant la mise en œuvre On ne peut pas tout apprendre à la fois Choisissez soigneusement ce que vous voulez tester en associant tous les partenaires concernés 16

17 Take-up MAX Use of services MAX Benefits from services MAX Réinsertion Campagne de communicati on publique pour la réinsertion des anciens combattants Utiliser les structures de cohésion des unités de combattants Inclure les structures de commandeExclure les structures de commande Séparer les combattants de leurs unités et démanteler les structures Formation proposée à lintéresséFormation sur demande de lintéressé Campagne basée sur la communauté Utiliser les structures de cohésion des combattants Inclure les structures de commandeExclure les structures de commande Séparer les combattants de leurs unités et démanteler les structures Formation proposée à lintéresséFormation sur demande de lintéressé

Comment lamélioration de lefficacité peut vous aider 18

Discussion entre vous (5 m) Combien de fois modifiez-vous votre programme parce que vous sentez que quelque chose ne va pas ? Quelle utilité cela aurait-il pour vous de connaître avec certitude les meilleures approches ? 19

Lévaluation, pourquoi? Améliorer la qualité des programmes Expérimenter dautres options et guider en temps réel la conception du programme Accroître lefficacité du programme Répondre aux questions du type « Et ensuite ?» Mettre en place des institutions publiques pour une action politique fondée sur des faits concrets Prévoir lapplication doptions, et non de solutions Trouver les meilleures options Adopter de meilleurs modes de fonctionnement et de prises de décisions 20

Les faits concrets 21 1 er ministre /Présidence : Communiquer avec les partenaires Trésor/ Finances : Affecter le budget Ministères dexécution : Réaliser les programmes et négocier le budget Rentabilité des différents programmes par rapport aux coûts Effets du programme gouvernemental BUDGET PRESTATION DE SERVICE PROMESSES DE CAMPAGNE Responsabilisation Efficacité des options par rapport au coût et effet des programmes sectoriels

Modification du paradigme du programme On passe du programme en tant : quensemble dactivités destinées à produire les résultats attendus Le programme produira ou non les résultats attendus au programme en tant que : menus doptions alternatives avec une stratégie dapprentissage pour trouver ce qui fonctionne le mieux Modification des programmes dans le temps pour donner davantage de résultats 22

Passage dune évaluation rétrospective, externe, indépendante du sommet à la base déterminer si le programme a fonctionné ou non à une évaluation dimpact prospective, interne, et opérationnelle/validée en externe déterminer le programme dapprentissage de la base au sommet envisager des options de mise en œuvre plausibles tester scientifiquement et adopter la meilleure option avis opportun pour améliorer lefficacité du programme dans le temps 23

Rétrospective (conçue et évaluée ex-post) vs. Prospective (conçue ex-ante et évaluée ex-post) Evaluation rétrospective de limpact : Si vous recueillez les données après lévénement, vous ne pouvez pas comparer les participants et les non-participants avant le début du programme Vous devez tenter de déterminer, après lévénement, pour quelles raisons le projet a été mis en œuvre à lendroit et au moment où il a été exécuté Evaluation prospective de limpact : Concevoir lévaluation pour répondre à la question voulue Recueillir les données dont on aura besoin plus tard Valider lévaluation au niveau analytique 24

Le processus dévaluation doit donner des informations utiles (permettant dagir) à chaque stade de lévaluation dimpact 25

Discussion entre vous (5 m) Quels sont certains des points de départ au sein des cycles délaboration des politiques ? Quelles sont certaines des réponses que vous voudriez avoir ? 26

Considérations éthiques Il nest pas éthique de ne pas vouloir tirer des avantages de ce qui est disponible et dont le fonctionnement est avéré Il est prouvé que la médication VIH prolonge la vie Il est éthique de tester les interventions avant leur application en dimension réelle si nous ignorons si elles fonctionnent et si elles ont des conséquences imprévisibles Laide alimentaire peut détruire les marchés locaux et créer des incitations perverses La plupart du temps, nous nous servons du déploiement des interventions et des contraintes budgétaires pour évaluer, ce qui minimiser les considérations éthiques ET Nous pouvons toujours et devrions tester dautres options pour maximiser les résultats 27

Questions ? Commentaires? 28