La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

La méthode expérimentale au service des politiques publiques Reena Badiani Economic Growth Center, Yale University. DIME Workshop June 1st.

Présentations similaires


Présentation au sujet: "La méthode expérimentale au service des politiques publiques Reena Badiani Economic Growth Center, Yale University. DIME Workshop June 1st."— Transcription de la présentation:

1 La méthode expérimentale au service des politiques publiques Reena Badiani Economic Growth Center, Yale University. DIME Workshop June 1st

2 Quest-ce que cest lévaluation dimpact? Limpact est la différence entre les résultats avec un programme et sans ce même programme Objectif : mesurer cette différence de manière fine afin de pouvoir attribuer la différence au programme lui-même (et pas à dautres facteurs!)

3 Objectif: Trouver un Bon Contrefactuel Il nous faut établir ce qui se serait passé en labsence du programme >> Il nous faut trouver un bon contrefactuel Contrefactuel: quel auraient été les résultats sans le programme? Ex: stabilité et sécurité dans labsence de DDR. >> Or, nous ne pouvons pas simultanément observer le même individu avec et sans le programme. Id é al: Le programme est la seule différence entre les participants et le contrefactuel. 3

4 2) Utilisation des semences améliorées OR 1) Production et profits plus élevés Informations sur les nouvelles technologies agricoles Utilisation des semences améliorées Sans contrefactuel, que apprenons nous? Corrélation ne permet pas dattribuer un effet causal! Production et profits plus élevés

5 5 (-4) Mesure biaisée de limpact du programme Ex: Programme daccès aux semences (Avant-Après)

6 6 (-6) Impact dautres facteurs externes (+2) Impact du programme Ex: Programme daccès aux semences (contrefactuel convenable)

7 Motivation pour la méthode dévaluation expérimentale Il est difficile de distinguer leffet causal de la corrélation à partir de lanalyse statistique: Nous nobservons que X se déplace avec Y Les caractéristiques que lon nobserve pas sont parfois plus importantes que celles que lon observe! Ex: la motivation, la situation politique etc. 7

8 Motivation (suite) Le biais de sélection est un problème important pour la mesure dimpact Un projet débute dans un certain endroit pour des raisons particulières Les participants sont choisis sur la base de critères, ou se présentent eux-mêmes! Ex: Les agriculteurs qui utilisent des semences améliorées se distinguent de lagriculteur moyen! Utiliser les agriculteurs qui utilisent les semences pour établir leffet des semences améliorées sur les profits risque de nous induire en erreur!

9 Propriétés de la méthode dévaluation expérimentale Au sein de létude, tous les individus ont la même probabilité dêtre assignés au traitement Par construction, groupes de traitement et de comparaison ont, en moyenne, les mêmes caractéristiques (observées et non-observées). La seule différence est le traitement Avec un grand échantillon, les caractéristiques séquilibrent Cette méthode permet dobtenir une mesure dimpact non-biaisée 9

10 Menu doptions pour lassignation randomisée Loterie (couverture partielle) Loterie pour laccès aux semences améliorées Phasage aléatoire (couverture totale, entrée retardée) Quelques villages peuvent acheter des semences améliorées Assignation aléatoire à divers traitements Certains villages reçoivent une démonstration des semences, dautres villages reçoivent des brochures dinformation. Assignation aléatoire à une stratégie dencouragement Certains cultivateurs reçoivent une invitation qui leur encouragent de participer à la démonstration. 10

11 Menu doptions pour lassignation randomisée Loterie (couverture partielle) Loterie pour laccès aux semences améliorées Phasage aléatoire (couverture totale, entrée retardée) Quelques villages peuvent acheter des semences améliorées Assignation aléatoire à divers traitements Certains villages reçoivent une démonstration des semences, dautres villages reçoivent des brochures dinformation. Assignation aléatoire à une stratégie dencouragement Certains cultivateurs reçoivent une invitation qui leur encouragent de participer à la démonstration. 11

12 Loterie parmi les individus/groupes éligibles Doivent recevoir le programme Pas éligibles Randomiser lassignation au programme

13 Opportunités Des contraintes budgétaires limitent la couverture Une assignation aléatoire (loterie) est juste et transparente Les capacités de mise en œuvre sont limitées La même chance dêtre sélectionné en premier Il ny a pas dévidence quant à lefficacité des diverses interventions possibles 13

14 Opportunités pour la Randomisation Ladoption dun programme en cours nest pas totale (participation faible) Randomiser une stratégie dencouragement nous informe sur les types dincitations qui fonctionnent Pilote pour un nouveau programme Une bonne opportunité de tester avant le passage à grande échelle Changement dans la mise en œuvre dun programme en cours Une opportunité de tester le nouvel arrangement institutionnel avant le passage à grande échelle 14

15 Différents niveaux auxquels randomiser Cela dépend du niveau auquel on intervient: Individu/Ménage Communauté/Village Ex: Reconstruction Communautaire 15 Association de femmes Entité Juridique/ District administratif

16 Randomisation individuelle ou par groupes? Si un programme affecte un groupe entier, alors on randomise lassignation au traitement au groupe entier Il est plus facile dobtenir des échantillons suffisamment grands lorsque lon randomise de façon individuelle

17 Randomisation individuelle ou par groupes? Si un programme affecte un groupe entier, alors on randomise lassignation au traitement au groupe entier Il est plus facile dobtenir des échantillons suffisamment grands lorsque lon randomise de façon individuelle Randomisation individuelleRandomisation par groupes

18 Niveau de randomisation Randomiser à un niveau plus élevé est parfois nécessaire: Contraintes dordre politique/éthique à assigner le traitement uniquement à certains individus au sein dune même communauté Contraintes dordre pratique: mettre en œuvre divers traitements est parfois la source de confusions Les effets de contamination sont parfois trop importants Randomiser au niveau du groupe demande de nombreux groupes 18

19 Niveau de randomisation Randomiser à un niveau plus élevé est parfois nécessaire: Contraintes dordre politique/éthique à assigner le traitement uniquement à certains individus au sein dune même communauté Contraintes dordre pratique: mettre en œuvre divers traitements est parfois la source de confusions Les effets de contamination sont parfois trop importants Randomiser au niveau du groupe demande de nombreux groupes! 19

20 Validité Externe et Interne (1) Validité externe Léchantillon est représentatif de toute la population. Les résultats obtenus sont représentatifs de la population. Les leçons du programme sont applicables à tout le pays. Validité interne Leffet mesuré dune intervention sur la population qui est évaluée reflète le véritable impact sur cette population C.-à-d. les groupes de traitement et de contrôle sont comparables 20

21 Validité Interne et Externe (2) Une évaluation peut avoir de validité interne sans avoir de validité externe Ex: Une évaluation dune programme de consultations prénatales dans des zones urbaines ne nous informe pas sur leffet de cette même intervention sur les zones rurales Et vice-versa Une mesure dimpact biaisée souffrira du même biais quelle soit mesurée sur léchantillon dévaluation ou sur toute la population ! 21

22 Validité interne & externe 22 Randomisation Population Nationale Echantillons de la Population Nationale Echantillons de la Population Nationale Traitement

23 Validité interne 23 Stratification Randomisation Population Nationale Sous-population Echantillons de la sous-population Traitement

24 24 Validité externe uniquement Population Nationale Randomisation Traitement

25 25 Validité externe uniquement Population Nationale Assignation biaisée Résultat INUTILE! Assignation biaisée Résultat INUTILE! Randomisation Traitement

26 Avantages de la méthode expérimentale Mesure de limpact causal fiable et précise Comparée a dautres approches: Facile à analyser (comparaison de moyennes) Moins chère (plus petits échantillons) Facile à communiquer Plus convaincante pour les décideurs Evite les controverses dordre méthodologique 26

27 Que faire en présence de …? 1) Certaines interventions ne peuvent pas être assignées de façon aléatoire 2) Adoption partielle ou interventions basées sur la demande Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitement Promouvoir le programme de façon aléatoire Les participants choisissent de participer 27

28 Que faire en présence de …? 1) Certaines interventions ne peuvent pas être assignées de façon aléatoire 2) Adoption partielle ou interventions basées sur la demande 3) Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitement Promouvoir le programme de façon aléatoire 4) Les participants choisissent de participer 28

29 Ex: Reformes qui renforcent le système légal Les individus qui reçoivent lincitation sont plus susceptibles de participer Lincitation est distribuée de façon aléatoire, alors elle nest pas corrélée avec les caractéristiques des communautés. Compare les résultats des 2 groupes: ayant reçu lincitation / nayant pas reçu lincitation Leffet dû à lincitation (Intention-de-Traiter, ITT) Effet de lintervention sur la population qui adopte le traitement (Effet moyen local du traitement, LATE) LATE= ITT/proportion dindividus qui ont participé

30 Ex: Reformes qui renforcent le système légal Les individus qui reçoivent lincitation sont plus susceptibles de participer Lincitation est distribuée de façon aléatoire, alors elle nest pas corrélée avec les caractéristiques des communautés. Compare les résultats des 2 groupes: ayant reçu lincitation / nayant pas reçu lincitation Leffet dû à lincitation (Intention-de-Traiter, ITT) Effet de lintervention sur la population qui adopte le traitement (Effet moyen local du traitement, LATE) LATE= ITT/proportion dindividus qui ont participé

31 Erreurs communes à éviter Calculer la taille de léchantillon de manière incorrecte Randomiser le traitement dans un seul district, avec un seul contrôle, et calculer la taille de léchantillon à partir du nombre de personnes interviewées Échantillonnage par grappes nous donne une taille déchantillon de 1 ! Mener une collecte de données différente au sein de groupes de contrôle et de traitement Inclure les individus qui se sont désistés au groupe de contrôle Cela annule la randomisation! 31

32 Quand cette stratégie nest-elle vraiment pas possible? Le traitement est déjà assigné et annoncé et il ny a pas de possibilité dexpansion Le programme est achevé (rétrospective) présence dune expérience naturelle ? Eligibilité et accès universels Ex.: campagne dinformation universelle, éducation gratuite pour tous, régime du taux de change Parfois on peut randomiser certaines composantes… La taille de léchantillon est trop limitée pour permettre une analyse crédible 32

33 Merci! 33


Télécharger ppt "La méthode expérimentale au service des politiques publiques Reena Badiani Economic Growth Center, Yale University. DIME Workshop June 1st."

Présentations similaires


Annonces Google