Introduction to Impact Evaluation Training Dakar, December 15-18, 2008 Méthodes Expérimentales Harounan Kazianga Oklahoma State University

Motivation Exemple: Quel est l’effet d’un Objectif: estimer l’effet CAUSAL (impact) d’une intervention X (programme ou traitement) sur un résultat Y (e.g. indicateur, mesure de succès) Exemple: Quel est l’effet d’un Programme de transferts monétaires (X) Sur la Consommation des ménages Pour l’inférence causale, nous avons besoin de comprendre comment les bénéfices sont distribués

Motivation Groupe exposé au traitement Effet incrémentiel du au programme Groupe contrôle L’effet d’autres influences est identique entre groupe de contrôle et groupe de traitement

Causatilé versus Correlation Correlation n’est pas Causalité Condition nécessaire mais pas suffisante Correlation: Il y a une relation entre X et Y X change quand Y change Et…. Y change quand X change Exemples: croissance economique d’une region et migration; revenu et santé Causalité – Si nous varions X, de combien X change Un changement de X entraîne un changement de Y L’inverse n’est pas necessairement vrai.

Causalité versus Correlation Trois critères de causalité La variable indépendante précède la variable dépendante. Il existe une relation entre la variable indépendante et la variable dépendante. Il n’existe pas un troisième groupe de variables qui puissent expliquer la relation entre la variable indépendante et la variable dépendante. Even information about a future program can be the “treatment”

Analyse Statistique et Evaluation d’Impact Analyse Statistique: Inférer une relation causale entre X et Y, a partir de données observées. Difficultés & techniques statistiques complexes On n’est jamais sur si on mesure le vrai impact Evaluation d’Impact: Approche rétrospective: Mêmes difficultés que dans l’analyse statistique Approche prospective: Le chercheur génère les données Cette approche rend les choses plus simples

Comment Mesurer l’Impact Quel est l’effet de transferts monétaires (Y) sur la consommation des ménages (X)? Idéalement: Maintenir le temps constant comparer le même individu avec & sans le programme

Comment Mesurer l’Impact Problème: On ne peut pas observer le même individu avec et sans le programme, et en même temps. Nécessité de construire un scénario contrefactuel: Ce qui serait arrivé à un individu ayant reçu le programme si celui-ci n’avait pas reçu le programme.

Etude de Cas: Transferts monétaires Programme national de lutte contre la pauvreté au Mexique (Progresa) Lancé en 1997 Transferts monétaires conditionnés sur la fréquentation scolaire Question: quel est l’effet du programme sur les performances scolaires et la consommation des ménages?

Etalon Standard: Méthode Expérimentale La seule méthode qui puisse garantir: l’équilibrage entre caractéristiques inobservées et observées la seule différence est le traitement Chaque individu est assigné au traitement ou au contrôle, à chances égales Si grand échantillon, les caractéristiques sont identiques en moyenne. Méthode expérimentale= Evaluation randomisée

“Randomisation” Quelle est le sens du terme “randomisation” dans ce contexte? Chances de participation au programme égales pour tous les individus Dans le cas des transferts monétaires Options Loterie Loterie parmi les individus éligibles Phasage Encouragement Randomisation des traitements Across treatments that we think ex ante are equally likely to work

Types de Randomisation Sélection aléatoire: validité externe Les résultats obtenus a partir de l’ échantillon sont représentatifs de toute la population Quelles leçons du programme sont applicables a tout le pays Assignement aléatoire: validité interne Effet observe entièrement du au traitement et pas a d’autres facteurs En général, les résultats ne sont pas extrapolables sans des présuppositions Exemple: programme des transferts dans une région vs un échantillon national

Externe vs Interne Validité externe Randomisation (échantillon) Validité interne (identification)

Exemples: Distribution de livres Quel est l’impact d’une dotation gratuite de livres sur les performances scolaires des élèves? Assigner aléatoirement chaque groupe d’élèves a un: : - Groupe de Traitement – reçoit les livres - Groupe de Contrôle – ne reçoit pas les livres What are some examples could be used in the context of an educaiton ie Analogy is how a new drug is tested. Big difference between medical experiments and social experiments: In medical experiments can do double-blind. What does that mean : flip a coin

Exemples: Distibution de livres Allocation aléatoire

Exemples: nutrition scolaire au Burkina Faso Impact de deux types de nutrition scolaire sur les performances scolaires et la nutrition des enfants au Burkina Faso Trois groupes de villages après un tirage au sort : Un groupe ou les élèves reçoivent un déjeuner a l’école Un groupe ou les élèves reçoivent une ration sèche a emporter chaque mois, sous la condition de 90% de fréquentation Un groupe contrôle (ne reçoit rien) What are some examples could be used in the context of an educaiton ie Analogy is how a new drug is tested. Big difference between medical experiments and social experiments: In medical experiments can do double-blind. What does that mean : flip a coin

Exemples: nutrition scolaire au Burkina Faso Calendrier des interventions et de l’EI: Enquête de base dans tous les villages éligibles Tirage au sort en présence des représentant de toutes les écoles Interventions (distribution des repas et des rations sèches) toute l’année scolaire par le PAM Enquête de suivi What are some examples could be used in the context of an educaiton ie Analogy is how a new drug is tested. Big difference between medical experiments and social experiments: In medical experiments can do double-blind. What does that mean : flip a coin

Exemples: nutrition scolaire au Burkina Faso Quelques résultats préliminaires Augmentation entre 6 et 7 % des nouvelles inscriptions pour les filles par les deux types de nutrition scolaire Amélioration de la nutrition infantile (enfants de 6-60 mois) par la distribution de ration sèche. Une fois finalisées, ces résultats vont servir de base a décision dans le passage d’ échelle. What are some examples could be used in the context of an educaiton ie Analogy is how a new drug is tested. Big difference between medical experiments and social experiments: In medical experiments can do double-blind. What does that mean : flip a coin

Comment randomizer? A quel niveau? Individuel Groupe Ecole Communauté/village District/département/province/préfecture

Quand utiliser la randomisation? Les ressources disponibles a un moment précis sont insuffisantes pour satisfaire la population éligible a un programme Une approche équitable et transparente Chances égales a tout le monde dans l’ échantillon Périodes appropriées a la randomisation Programmes pilotes Programmes avec des contraintes budgétaires/humaines Programmes en phases

Eléments de base d’une Evaluation Expérimentale Population Cible Participants Potentiels Echantillon d’Evaluation Allocation Aleatoire Groupe Traitement Controle Participants Desistants Toute la population pauvre Les communautes dans lesquelles le programme sera executé Choisir l’echantillon avec lequel on veut travailler dans l’immédiat Women, particularly poor Based on Orr (1999)

Au-delà de la simple allocation aléatoire Plusieurs Traitements Traitement 1, Traitement 2, Contrôle Transferts monétaires conditionnels, Transferts monétaires non conditionnels, control Quelles leçons pouvons nous tirer? Unites autres que l’individu ou le ménage Centres de sante (distribution de moustiquaires) Ecoles (projets de nutrition scolaire) Administrations locales (corruption/gouvernance locale) Villages (développent-a-base communautaire)

Unité de randomisation Randomisation a l’ échelle de l’individu ou du ménage: meilleure option en termes de couts Randomisation a des niveaux plus agrégés nécessite de grands échantillons Certains programmes sont implémentés a un niveau agrégé e.g., renforcements des comites de gestion des écoles

Efficacité & Effectivité Crédibilité du Concept Pilot sous des conditions idéales Effectivité A l’ échelle Circonstances normales et capacités Impact plus ou moins élevé? Couts plus ou moins élevés? Impacts: lower e.g. deworming, malaria etc things that need critical mass to be eradicated | higher: ideal conditions costs: ecomies of scale vs inefficient scale up (from ngo to inefficient gov systems for example

Avantages de la méthode expérimentale Impact causal clair Comparée a d’autres approches: Facile a analyser Peu cher (échantillons en plus petits) Facile a communiquer Plus convaincant pour les décideurs Pas de controverses sur la méthodologie

Que faire quand la randomisation semble impossible? Contraintes budgétaires: randomiser parmi ceux qui ont besoin du programme Capacité d’exécution: randomiser qui reçoit le programme premièrement Promouvoir le programme a certains groupes choisis de manière aléatoire

Quand la randomization est impossible? Le programme a déjà été alloué et annoncé et le programme ne sera pas étendu Le programme est achevé (rétrospective) Eligibilité et accès pour tout le monde Exemple: éducation gratuite pour tous, régime du taux de change