DIME-FPD Dakar, February 1-4, 2010 Markus Goldstein 1

 Pour estimer l’effet causal d’une intervention, il nous faut  Séparer l’effet de ce programme d’autres facteurs externes  Il nous faut établir ce qui se serait passé en l’absence du programme  Or, nous ne pouvons pas simultanément observer le même individu avec et sans le programme >> Il nous faut trouver un bon contrefactuel 2

? 2) ? Profits plus élevés Obtention d’un crédit OR 1) Profits plus élevés Capacités entrepreuniales élevées Obtention d’un crédit

4 (+6) Mesure biaisée de l’impact du programme

5 (+4) Impact du programme (+2) Impact d’autres facteurs externes

 Il est difficile de distinguer l’effet causal de la corrélation simple à partir de l’analyse statistique  Nous pouvons seulement observer que X bouge avec Y  Nous ne pouvons pas contrôler l’influence des caractéristiques non-observables, telles que la motivation/les facultés intellectuelles, etc.  Or les caractéristiques que l’on n’observe pas sont parfois plus importantes que celles que l’on observe! 6

 Le biais de sélection est un problème important pour la mesure d’impact  Un projet débute dans un certain endroit, à un certain moment pour ces raisons particulières  Les participants sont choisis sur la base de critères, ou se présentent eux-mêmes!  Exemple: Les entrepreneurs qui ont accès au crédit se distinguent de l’entrepreneur moyen!  Utiliser un entrepreneur moyen pour établir l’effet du crédit sur les profits risque de nous induire en erreur!

 Au sein de l’étude, tous les individus ont la même probabilité d’être assignés au traitement  Par construction, groupes de traitement et de comparaison ont, en moyenne, les mêmes caractéristiques (observées et non-observées)  La seule différence est le traitement  Avec un grand échantillon, les caractéristiques s’équilibrent  Cette méthode permet d’obtenir une mesure d’impact non-biaisée 8

 Loterie (couverture partielle)  Loterie pour l’accès au crédit  Phasage aléatoire (couverture totale, entrée retardée)  Quelques individus/entreprises reçoivent un crédit chaque année  Assignation aléatoire à divers traitements  Certains reçoivent une subvention partielle, d’autres un crédit, d’autres des services de conseil entrepreneurial, etc  Assignation aléatoire à une stratégie d’encouragement  Un bureau de banque dans chaque district  Certains cultivateurs reçoivent la visite d’un représentant qui leur explique le produit financier offert 9

Doivent recevoir le programme Pas éligibles Randomiser l’assignation au programme

 Des contraintes budgétaires limitent la couverture du programme  Une assignation aléatoire (loterie) est juste et transparente  Les capacités de mise en œuvre sont limitées  Le phasage aléatoire donne à tous la même chance d’être sélectionné en premier  Il n’y a pas d’évidence quant à l’efficacité des diverses interventions possibles  L’assignation aléatoire aux diverses interventions procure à tous des chances de succès a priori égales 11

 L’adoption d’un programme en cours n’est pas totale (participation faible)  Randomiser une stratégie d’encouragement nous informe sur les types d’incitations qui fonctionnent  Pilote pour un nouveau programme  Présente une bonne opportunité de tester de façon rigoureuse avant le passage à grande échelle  Changement dans la mise en œuvre d’un programme en cours  Présente une bonne opportunité de tester le nouvel arrangement institutionnel avant le passage à grande échelle 12

Cela dépend du niveau auquel on intervient  Individu/Propriétaire /Entreprise  Groupe d’entreprises  Village 13  Association de femmes  Entité Juridique/ District administratif  École

 Si un programme affecte un groupe entier, alors on randomise l’assignation au traitement au groupe entier  Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelle Randomisation individuelleRandomisation par groupes

 Randomiser à un niveau plus élevé est parfois nécessaire:  Contraintes d’ordre politique/éthique à assigner le traitement uniquement à certains individus au sein d’une même communauté  Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions  Les effets de contamination sont parfois trop importants  Randomiser au niveau du groupe demande de nombreux groupes 15

16 Assignation aléatoire Groupe de traitementGroupe de contrôle Participants  Désistements Échantillon d’évaluation Participants Potentiels TailleursFabricants de meubles Population Cible Petites et Moyennes Entreprises

 Validité externe  L’échantillon est représentatif de toute la population.  Les résultats obtenus sont représentatifs de la population.  Les leçons du programme sont applicables à tout le pays.  Validité interne  L’effet mesure d’une intervention sur la population qui est évaluée reflète le véritable impact sur cette population  C.-à-d. les groupes de traitement et de contrôle sont comparables 17

 Une évaluation peut avoir validité interne sans avoir de validité externe  Exemple: Une évaluation rigoureuse d’une incitation aux entreprises informelles urbaines de se faire immatriculer ne nous informe pas sur l’effet de cette même intervention sur les zones rurales  Et vice-versa  Une mesure d’impact biaisée souffrira du même biais qu’elle soit mesurée sur l’échantillon d’évaluation ou sur toute la population ! 18

19 Randomisation Population Nationale Echantillons de la Population Nationale Echantillons de la Population Nationale

20 Stratification Randomisation Population Sous-population Echantillons de la sous-population

21 Population Nationale Assignation biaisée Résultat INUTILE! Assignation biaisée Résultat INUTILE! Randomisation

 Efficacité  Crédibilité du concept  Echelle réduite  Pilote sous des conditions idéales (ex. ONGs )  Effectivité  A grande échelle  Circonstances et capacité normales (ex. hôpitaux nationaux)  Impact plus ou moins élevé?  Coûts plus ou moins élevés? 22

 Impact causal fiable et précis  Comparée a d’autres approches:  Facile à analyser (comparaison de moyennes)  Moins chère (plus petits échantillons)  Facile à communiquer  Plus convaincante pour les décideurs  Evite les controverses d’ordre méthodologique 23

 L’assignation aléatoire aux machines ne soulève pas (encore) de questions d’ordre éthique/pratique Les Machines:  Ne vont pas se désister  Ne vont pas aller trouver un meilleur traitement  Ne vont pas se déplacer et changer d’usine de leur propre chef  Ne vont pas refuser de répondre à notre questionnaire  Les individus peuvent se montrer un peu plus difficiles et créatifs!

 Certaines interventions ne peuvent être assignées de façon aléatoire  Adoption partielle ou interventions basées sur la demande  Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitement  Promouvoir le programme de façon aléatoire  Les participants choisissent de participer ou non 25

 Les individus qui reçoivent l’incitation sont plus à-même de participer  Si l’incitation est distribuée de façon aléatoire, alors elle n’est pas corrélée avec les caractéristiques des individus  Compare les performances des 2 groupes: ayant reçu l’incitation / n’ayant pas reçu l’incitation  L’effet dû à l’incitation (Intention-de-Traiter, ITT)  Effet de l’intervention sur la population qui adopte le traitement (Effet moyen local du traitement,LATE) ▪ LATE= ITT/proportion d’individus qui ont participé

 Calculer la taille de l’échantillon de manière incorrecte  Randomiser le traitement dans un seul district, avec un seul contrôle, et calculer la taille de l’échantillon à partir du nombre de personnes interviewées ▪ Échantillonnage par grappes nous donne une taille d’échantillon de 1 !  Mener une collecte de données différente au sein de groupes de contrôle et de traitement  Inclure les individus qui se sont désistés au groupe de contrôle  Cela annule la randomisation! 27

 Le traitement est déjà assigné et annoncé et il n’y a pas de possibilité d’expansion  Le programme est achevé (rétrospective)  présence d’une expérience naturelle ?  Eligibilité et accès universels  Ex.: campagne d’information universelle, éducation gratuite pour tous, régime du taux de change  Parfois on peut randomiser certaines composantes…  Contraintes opérationnelles (irrigation…)  La taille de l’échantillon est trop limitée pour permettre une analyse crédible 28

29