La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Introduction to Impact Evaluation Training Dakar, December 15-18, 2008 Méthodes Expérimentales Harounan Kazianga Oklahoma State University.

Présentations similaires


Présentation au sujet: "1 Introduction to Impact Evaluation Training Dakar, December 15-18, 2008 Méthodes Expérimentales Harounan Kazianga Oklahoma State University."— Transcription de la présentation:

1 1 Introduction to Impact Evaluation Training Dakar, December 15-18, 2008 Méthodes Expérimentales Harounan Kazianga Oklahoma State University

2 2 Motivation Objectif: estimer leffet CAUSAL (impact) dune intervention X (programme ou traitement) sur un résultat Y (e.g. indicateur, mesure de succès) Exemple: Quel est leffet dun –Programme de transferts monétaires (X) –Sur la Consommation des ménages Pour linférence causale, nous avons besoin de comprendre comment les bénéfices sont distribués

3 3 Motivation Effet incrémentiel du au programme Leffet dautres influences est identique entre groupe de contrôle et groupe de traitement Groupe contrôle Groupe exposé au traitement

4 4 Causatilé versus Correlation Correlation nest pas Causalité –Condition nécessaire mais pas suffisante –Correlation: Il y a une relation entre X et Y X change quand Y change Et…. Y change quand X change –Exemples: croissance economique dune region et migration; revenu et santé –Causalité – Si nous varions X, de combien X change Un changement de X entraîne un changement de Y Linverse nest pas necessairement vrai.

5 5 Causalité versus Correlation Trois critères de causalité –La variable indépendante précède la variable dépendante. –Il existe une relation entre la variable indépendante et la variable dépendante. –Il nexiste pas un troisième groupe de variables qui puissent expliquer la relation entre la variable indépendante et la variable dépendante.

6 6 Analyse Statistique: Inférer une relation causale entre X et Y, a partir de données observées. –Difficultés & techniques statistiques complexes –On nest jamais sur si on mesure le vrai impact Evaluation dImpact: –Approche rétrospective: Mêmes difficultés que dans lanalyse statistique –Approche prospective: Le chercheur génère les données Cette approche rend les choses plus simples Analyse Statistique et Evaluation dImpact

7 7 Comment Mesurer lImpact Quel est leffet de transferts monétaires (Y) sur la consommation des ménages (X)? Idéalement: –Maintenir le temps constant –comparer le même individu avec & sans le programme

8 8 Comment Mesurer lImpact Problème: On ne peut pas observer le même individu avec et sans le programme, et en même temps. Nécessité de construire un scénario contrefactuel: –Ce qui serait arrivé à un individu ayant reçu le programme si celui-ci navait pas reçu le programme.

9 9 Etude de Cas: Transferts monétaires Programme national de lutte contre la pauvreté au Mexique (Progresa) –Lancé en 1997 –Transferts monétaires conditionnés sur la fréquentation scolaire Question: quel est leffet du programme sur les performances scolaires et la consommation des ménages?

10 10 Etalon Standard: Méthode Expérimentale La seule méthode qui puisse garantir: –léquilibrage entre caractéristiques inobservées et observées –la seule différence est le traitement Chaque individu est assigné au traitement ou au contrôle, à chances égales Si grand échantillon, les caractéristiques sont identiques en moyenne. Méthode expérimentale= Evaluation randomisée

11 11 Randomisation Quelle est le sens du terme randomisation dans ce contexte? –Chances de participation au programme égales pour tous les individus Dans le cas des transferts monétaires Options –Loterie –Loterie parmi les individus éligibles –Phasage –Encouragement –Randomisation des traitements

12 12 Types de Randomisation Sélection aléatoire: validité externe –Les résultats obtenus a partir de l échantillon sont représentatifs de toute la population –Quelles leçons du programme sont applicables a tout le pays Assignement aléatoire: validité interne –Effet observe entièrement du au traitement et pas a dautres facteurs –En général, les résultats ne sont pas extrapolables sans des présuppositions Exemple: programme des transferts dans une région vs un échantillon national

13 13 Randomisation Validité externe (échantillon) Validité interne (identification) Externe vs Interne

14 14 Exemples: Distribution de livres Quel est limpact dune dotation gratuite de livres sur les performances scolaires des élèves? Assigner aléatoirement chaque groupe délèves a un: : - Groupe de Traitement – reçoit les livres - Groupe de Contrôle – ne reçoit pas les livres

15 15 Exemples: Distibution de livres Allocation aléatoire

16 16 Exemples: nutrition scolaire au Burkina Faso Impact de deux types de nutrition scolaire sur les performances scolaires et la nutrition des enfants au Burkina Faso Trois groupes de villages après un tirage au sort : –Un groupe ou les élèves reçoivent un déjeuner a lécole – Un groupe ou les élèves reçoivent une ration sèche a emporter chaque mois, sous la condition de 90% de fréquentation –Un groupe contrôle (ne reçoit rien)

17 17 Exemples: nutrition scolaire au Burkina Faso Calendrier des interventions et de lEI: –Enquête de base dans tous les villages éligibles –Tirage au sort en présence des représentant de toutes les écoles –Interventions (distribution des repas et des rations sèches) toute lannée scolaire par le PAM –Enquête de suivi

18 18 Exemples: nutrition scolaire au Burkina Faso Quelques résultats préliminaires –Augmentation entre 6 et 7 % des nouvelles inscriptions pour les filles par les deux types de nutrition scolaire –Amélioration de la nutrition infantile (enfants de mois) par la distribution de ration sèche. Une fois finalisées, ces résultats vont servir de base a décision dans le passage d échelle.

19 19 Comment randomizer? 1) A quel niveau? –Individuel –Groupe Ecole Communauté/village District/département/province/préfecture

20 20 Quand utiliser la randomisation? Les ressources disponibles a un moment précis sont insuffisantes pour satisfaire la population éligible a un programme –Une approche équitable et transparente –Chances égales a tout le monde dans l échantillon Périodes appropriées a la randomisation –Programmes pilotes –Programmes avec des contraintes budgétaires/humaines –Programmes en phases

21 21 Eléments de base dune Evaluation Expérimentale Population Cible Participants Potentiels Echantillon dEvaluation Allocation Aleatoire Groupe Traitement Groupe Controle ParticipantsDesistants Based on Orr (1999) Toute la population pauvre Les communautes dans lesquelles le programme sera executé Choisir lechantillon avec lequel on veut travailler dans limmédiat

22 22 Au-delà de la simple allocation aléatoire Plusieurs Traitements –Traitement 1, Traitement 2, Contrôle –Transferts monétaires conditionnels, Transferts monétaires non conditionnels, control –Quelles leçons pouvons nous tirer? Unites autres que lindividu ou le ménage –Centres de sante (distribution de moustiquaires) –Ecoles (projets de nutrition scolaire) –Administrations locales (corruption/gouvernance locale) –Villages (développent-a-base communautaire)

23 23 Unité de randomisation Randomisation a l échelle de lindividu ou du ménage: meilleure option en termes de couts Randomisation a des niveaux plus agrégés nécessite de grands échantillons Certains programmes sont implémentés a un niveau agrégé –e.g., renforcements des comites de gestion des écoles

24 24 Efficacité & Effectivité Efficacité –Crédibilité du Concept –Pilot sous des conditions idéales Effectivité –A l échelle –Circonstances normales et capacités –Impact plus ou moins élevé? –Couts plus ou moins élevés?

25 25 Avantages de la méthode expérimentale Impact causal clair Comparée a dautres approches: –Facile a analyser –Peu cher (échantillons en plus petits) –Facile a communiquer –Plus convaincant pour les décideurs –Pas de controverses sur la méthodologie

26 26 Que faire quand la randomisation semble impossible? Contraintes budgétaires: randomiser parmi ceux qui ont besoin du programme Capacité dexécution: randomiser qui reçoit le programme premièrement Promouvoir le programme a certains groupes choisis de manière aléatoire

27 27 Quand la randomization est impossible? Le programme a déjà été alloué et annoncé et le programme ne sera pas étendu Le programme est achevé (rétrospective) Eligibilité et accès pour tout le monde – Exemple: éducation gratuite pour tous, régime du taux de change


Télécharger ppt "1 Introduction to Impact Evaluation Training Dakar, December 15-18, 2008 Méthodes Expérimentales Harounan Kazianga Oklahoma State University."

Présentations similaires


Annonces Google