Principe de l’ Evaluation d’ Impact et Randomization Eric Mvukiyehe, PhD Banque Mondiale /DIME Lisbon, Mars 2014

Est-ce que nous connaissons…

Comment Motiver cet Enseignant…

A Devenir cet Enseignant?

Comment Transformer Ces Sols Dégradés…

A Ces Sols Régénérés?

Comment S’assurer Que Cet Enfant…

Grandit Comme Cet Lui-ci?

Comment changer les methodes dictatorial de cet homme fort…

Et l’ amener a gouverner d’ une facon democratique?

Comment assurer que cet couple…

Devient comme cet couple?

Comment aider ces jeunes gens abandoner les activites armees…

Et a s’ engager d’avantage dans les traveaux de development?

Deux Types de Gens Ceux qui pretendent connaître Ceux qui savent que leur connaissance et limittée et cherchent a l’ approfondir

Mais Comment Pouvons Nous Savoir? Suivi et Evaluation Evaluation d’Impact

Objectifs de la Session Comprendre le principe de l’ «évaluation d’impact» et son application en pratique Comprendre la différence entre le suivi et évaluation (S& E) et l’ évaluation d’impact Comprendre comment mettre en œuvre une évaluation d’impact sur base des techniques d’ assignation alleatoire

Suivi et Evaluation Suivi: La collecte et l’analyse de données sur la bonne exécution du projet Nous permet de déterminer si le projet est « sur le bon chemin » (intrants, exécution) Evaluation : Mesurer les changements dans les résultats et évaluer l’impact d’interventions spécifiques sur ces résultats Elle répond la question: Est-ce que ce programme a atteint ces objectifs?

Etapes de Suivi et Evaluation IMPACT EXTRANTS RESULTATS INTRANTS Effect sur le niveau de vie des menages - Rendements agricoles Revenus & consommation Resources materielles et financieres - Dépenses en programmes de formation - Embauche de formateurs Biens et services produits Nombre d’agents formés Nombre des formations offertes Accès et usage des bénéficiaires Nombre d’agriculteurs servis, % agriculteurs qui adoptent la nouvelle pratique

Suivi et Causalite Les impacts du programmes se confondent avec des effets locaux, nationaux et globaux IMPACT RESULTATS Le service atteints des bénéficiaires Difficulte de demontrer la causalité EXTRANTS Paramètres sous contrôle du programme INTRANTS

Inférence causale et Evaluation d’impact Le mot « impact » a plusieurs significations dans le domaine du S&E Souvent, il est utilisé comme un synonyme pour « un objectif ou un résultat à haut niveau » Effet causal de l’intervention sur un résultat: L’impact c’est la difference entre les resultats avec ou sans le programme L’ objectif est de mesurer cette difference et de pouvoir l’attribuer seulement au programme, plutôt qu’à d’autres facteurs

L’évaluation d’impact: pourquoi c’est important? D’abord, nous voulons savoir si le programme a eu un impact et quelle est la taille moyenne de cet effet Justification des cout du programme Expansion/généralisation du programme ou pas? Ensuite, nous voulons pouvoir comparer les différentes options au sein d’un programme Opportunité de tester ou expérimenter dans les sous-composantes

Ce Dont Nous Avons Besoin: La difference en resultats avec le programme et sans le programme On seulement une existence; soit on observe le resultat avec le program (Y | P=1), mais pas le resultat sans program (Y | P=0) ou vice versa. Donc on a un problème de manque de données: α= (Y | P=1)-(Y | P=0)

Solution au problem: Estimer ce qui serait arriver à Y en l’absence de P. Cela s’appelle le scénario contrefactuel: un group virtuelement identique au group cible qui nous permet de faire la comparaison entre le resultat avec programme et le resultat sans programme. L’ inference causale: La clé d’une bonne évaluation d’impact est un scénario contrefactuel valide!

Critères d’ un bon contrefactuel Les groupes de traitement et de comparaison Ont les mêmes caractéristiques moyennes (observées et non observées) La seule différence est le traitement Par conséquent, la seule raison de la différence dans les résultats est le traitement Question clé: A quoi ressemblerait le benefici-aire s’il n'avait pas reçu le programme?

Contrefactuel Naif #1: Avant – Après Représente la partie du changement du résultat causé par notre intervention Quel est une mesure de l’impact? B-A est le changement (jaune) B’-A est la tendance B-B’ est l’impact Pas que le programme qui est a l ouevre AVANT APRES B B’ A A INTERVENTION

Example Intervention: Distribution d’engrais aux agriculteurs (region A) Les agriculteurs doivent se presenter au guichet de services agricoles pour recevoir les kits Debut en 2008, fin en 2010 Nous avons des données sur la production de cette region A et dans une region voisine B Nous constatons que les rendements des agriculteurs ayant reçu des kits d’engrais ont diminué entre 2008 et 2010 Est-ce que le programme a eu un effect negatif? Des études supplémentaires révèlent qu’il y a eu une sécheresse nationale, et les rendements ont baissé partout.

Contrefactuel Naif #2: Participants vs. Non-participants Comparons maintenant la production des agriculteurs dans la region du programme (A) à ceux d’une région voisine (B). On constate que les rendements des agriculteurs “traités” ont connu une grande diminution que ceux de la région B Est-ce que le programme a eu un effect negatif? Pas forcement (localisation du programme) Les agriculteurs de la region B ont des systèmes d’irrigations plus développés, crucial en période de sécheresse (observable) Les agriculteurs de la region B peuvent avoir un sol de meilleure qualité (non-observable)

Le programme n’a-t-il pas fonctionné?.. Comparons maintenant la production des agriculteurs “traités” dans la région A à leurs voisins (de la région A) non traités. La qualité du sol est la même. On observe que le rendements du groupe traité a moins diminué que celui du groupe de comparaison. Le programme était donc efficace? Pas forcement! Les agriculteurs qui se sont rendu au comptoir de services agricoles sont peut-être plus motivés et compétents, et ainsi mieux à même de gérer les effets de la secheresse que leur voisins, mais les engrais n’ont joué aucun rôle (facteurs non-observables individuels)

Synthese Ces examples ne remplissent pas les criteres d’ un bon contrefactuel. Finalement avec ces comparaisons naïves, on ne peut pas conclure si le programme a eu un impact ou non. Rappel: 2 problèmes majeurs: Les programmes sont généralement ciblés La participation est généralement volontaire On a besoin d’ un group de comparaison qui est le plus identique possible à la fois dans ses caractéristiques observables et inobservables Il n’est pas toujours facile de trouver un bon contrefactuel. Mais comment y-parvenir?

Comment construire un groupe de comparaison valid? Assignement aléatoire --> méthode expérimentale Autres méthodes: Discontinuité de la regression Appariement Double différence

Methode experimentale La randomisation c’ est une technique qui assigner les participants du programme (individus, ménages, villages, associations) d’une façon aléatoire Tous les individus ont la même probabilité d’être assignés au programme/intervention Le contre-factuel c’ est le group qui n’ a pas été choisit de participer au programme

Méthode expérimentale… Par construction, les groupes de traitement et de comparaison ont les mêmes caractéristiques (observées et non-observées) La seule différence est le programme Cette méthode permet d’obtenir un bon contrefactuel et donc une mesure d’impact non biaisée

Procédure de randomisation Population Cible Les ménages ruraux Population éligible Membres des organisations de producteurs Assignation aléatoire Groupe de traitement Groupe de contrôle 34

Procédure de randomisation… Population cible: tout le monde est eligible Groupe de contrôle Groupe de traitement 3. Measurement Resultats moyens = 8 Resultats moyens = 5 Impact Moyen: 8 - 5 = 3

Remarques Importants La randomisation ne signifie pas refuser les avantages du projet aux gens. Mais ils y a des situations qui permettent la randomization: Des contraintes budgétaires limitent la couverture du programme La randomisation est la façon la plus équitable de répartir le traitement Les capacités de mise en œuvre sont limitées Le phasage aléatoire donne à tous la même chance d’être sélectionné en premier Il n’y a pas d’évidence quant à l’efficacité des diverses interventions possibles L’assignation aléatoire aux diverses interventions procure à tous des chances de succès a priori égales et piloter des nouveaux approches 36

Opportunités de Selection Alleatoire: Échelonner le déploiement du programme Randomiser l'ordre dans lequel les cliniques reçoivent le programme (phasage alleatoire) Varier le traitement Varier l’intensité d’ un traitement (e.g., campagne d’ information a intensité differente) Varier different traitements (e.g., campagne d’ information ou campagne presse)

Problemes Potentiels de la Methode Experimentale Constrainte d’ ethiques et de politiques Assumptions de la validite interne: Que ce passe-il si les participants ne respectent pas leur status de traitement? Validite externe (generalisabilite): Comment s’ assurer que les resultants peuvent etre generalizes? Ca peut couter extrement cher

ET MAINTENANT ?

Les étapes pour développer une évaluation d’impact I. Conception de l’évaluation d’impact 1. Identifier les questions prioritaires 2. Examiner tous les aspects du projet 3. Concevoir une approche méthodologique II. Enquête de base & mise en œuvre du projet 4. Rédiger les questionnaires 5. Mener la collecte des données de base 6. Mise en œuvre du projet III. Enquête de suivi 7. Enquête de suivi et analyse 8. Informer et disséminer les resultats finaux

Conclusion Inférence causale sur base du raisonnement contrefactuel permet evaluation d’impact La randomisation est une meilleure methode de construire un bon contrefactuel Elle simple, direct et conduit a une estimation non biaisée de l'impact Beaucoup de possibilités pour la randomisation Déploiement Échelonné Traitement varié D'autres méthodes existent, mains elles reposent sur plus ​​d’hypothèses and des techniques plus sophistiquées

Merci! Questions ou Commentaires?