Introduction à l’évaluation d’impact Préparé par : SAADI AYOUB Master : EEPP

Plan : Introduction I – Pourquoi évaluer? 1. L’évaluation 2. Evaluation d’impact 3. Quand peut-on évaluer l’impact? 4. L’analyse coût-bénéfice et coût-efficacité 5. L’évaluation prospective et l’évaluation rétrospective II – Formulation des questions d’évaluation 1. Le déroulement d’une évaluation 2. La théorie De changement 3. Programme et projet 4. Chaine de résultats 5. Indicateur de performance Conclusion

Introduction L’évaluation d’impact permet aux décideurs publics de savoir le changement dû au programme …Une évaluation d’impact efficace est capable d’analyser les mécanismes par lesquels les bénéficiaires interagissent avec l’intervention. Quelle est La différence entre l’évaluation d’impact et l’évaluation ? Qu’entend-on par « d’impact » et théorie de changement ? Qu’est-ce qui caractérise un programme de changement et un projet ?

I - Pourquoi évaluer ?

1 ) L’évaluation  L’évaluation est une analyse et un jugement systématique d’une activité visant à informer les décideurs sur : - la réalisation des objectifs et d’autres résultats, - la pertinence et l’efficacité de l’activité  Les conclusions permettent de développer une politique et une stratégie.

 Une appréciation, aussi systématique et objective que possible, d’un projet, programme ou d’une politique en cours ou finalisé(e) : - de sa conception - de sa mise en oeuvre - de ses résultats

L’objectif de l’évaluation est de déterminer : - la pertinence -l’efficience -l’efficacité - l’impact -la viabilité

2) Evaluation d’impact Les évaluations d’impact sont un type particulier d’évaluation qui porte sur les questions de cause à effets. (Imas et Rist, 2009). Contrairement aux évaluations générales qui peuvent répondre à plusieurs type de questions, les évaluations d’impact sont structurés autour d’un type particulier de question : - Quel est l’impact (ou l’effet causal) d’un programme sur un résultat donné (outcome) ?

L'impact d'un projet est l’ensemble des changements :  Significatifs  Durables  Positifs et négatifs  Prévus et imprévus  Sur les personnes, les groupes et l’environnement

3) Quand peut-on évaluer l’impact? L’impact, c’est ce qui reste quand le projet est fini. Une évaluation de l’impact deux, trois ou cinq ans après la fin du projet permet à l’évidence de repérer les changements durables. Avec le temps cependant, les liens de causalité entre l’action et les changements peuvent devenir plus difficiles à établir.

4) L’analyse coût-bénéfice et coût-efficacité Lorsque les résultats de l’évaluation d’impact sont disponibles, il est intéressant d’aborder la pertinence financière de la politique évaluée. L’analyse coût-bénéfice permet de comparer les bénéfices monétaires engendrés par la politique évaluée et les coûts de sa mise en place/conception. L’analyse coût-efficacité compare le rapport le résultat-coût de différentes interventions. Cette analyse compare l’efficacité de deux ou plusieurs programmes pour atteindre un même objectif.

5) L’évaluation prospective et l’évaluation rétrospective Les évaluations prospectives sont prévues dès la conception du programme et font parties intégrantes de sa mise en œuvre. Les données sont collectées avant la mise en place du programme tant pour le groupe de traitement que pour le groupe de comparaison. Les évaluations rétrospectives portent, quant à elles, sur l’impact du programme après la mise en œuvre de celui-ci, les groupes de traitement et de comparaison étant définis ex- post.

II - Formulation des questions d’évaluation 1 ) Le déroulement d’une évaluation Analyse des besoins : Quel est le problème ? Effets théoriques du programme : Comment, en théorie, le programme résout-il le problème ? L’évaluation du processus : Est-ce que le programme fonctionne comme prévu ? La réponse apportée sert à améliorer la mise en œuvre de la politique. L’évaluation d’impact : Est-ce que ses objectifs ont été atteints ? L’analyse coût-efficacité : Vu son impact et son coût, que vaut ce programme par rapport aux autres ? Est-il rentable ?

2 )La théorie De changement Une théorie du changement explique comment les activités sont censées produire un ensemble de résultats qui contribuent à la réalisation des impacts finaux prévus. Elle peut être élaborée pour tous les niveaux d’intervention : événement, projet, programme, politique, stratégie ou organisation.

3) Programme et projet

Programme de Changement : L’ensemble des interventions prises par les décideurs et les ingénieurs de la décision dans le but de faire changer la structure sociale ou économique d’une population visée.

4) Chaine de résultats La chaîne de résultats établit la séquence d’intrants, d’activités et d’extrants contribuant à la réalisation des résultats intermédiaires et finaux espérés.

Logique de court terme contre logique de long terme (Théorie du changement contre logique du programme )

Les chaînes de résultats sont utiles pour tous les projets, qu’une évaluation d’impact soit prévue ou non. En effet, elles permettent aux décideurs et aux responsables de rendre explicites les objectifs du programme, de comprendre sa logique causale et de déterminer la séquence d’évènements sur laquelle repose son succès.

5) Indicateur de performance Un bon indicateur est spécifique, mesurable, attribuable, réaliste et ciblé. Spécifique : pour mesurer l’information nécessaire le plus précisément possible Mesurable : pour assurer que l’information puisse effectivement être obtenue Attribuable : pour pouvoir plausiblement attribuer chaque mesure effectuée aux efforts fournis dans le cadre du projet Réaliste : pour que les données puissent être obtenues à temps, à une fréquence et à un coût raisonnables Ciblé : pour que les indicateurs visent bien la population cible.

Conclusion Une évaluation d’impact devrait commencer par un plan qui précise ses objectifs prévus, avec l’identification des utilisateurs prévus, les questions clés auxquelles elle doit répondre et comment elle traitera les six aspects d’une évaluation d’impact : préciser quelles sont les valeurs, élaborer une théorie du changement, mesurer ou décrire les variables importantes, expliquer ce qui a produit les impacts, synthétiser les données probantes, rendre compte des résultats et en appuyer l’utilisation. Si ce plan est vérifié (y compris par les utilisateurs prévus), cela rendre plus probable la production d’une évaluation d’impact de grande qualité et qui sera réellement utilisée.

Bibliographie  Ouvrages: - « L’Evaluation d’Impact en Pratique », P. J. Gertler, S. Martinez, P. Premand, L. B. Rawlings, C. M. J. Vermeersch, 2011, Banque Mondiale. - « HANDBOOK OF PRACTICAL PROGRAM EVALUATION », Kathryn E. Newcomer, Harry P. Hatry, Joseph S. Wholey, FOURTH EDITION, Hoboken, New Jersey,  Article - «ÉVALUATION DES POLITIQUES PUBLIQUES », Les membres du Conseil d’analyse économique, n° 1, février 2013  Webographie : - : Fonds pour la promotion des études préalables études transversales évaluationshttps://f3e.asso.fr