La méthode expérimentale au service des politiques publiques Reena Badiani Economic Growth Center, Yale University. DIME Workshop June 1st La méthode expérimentale au service des politiques publiques This presentation draws on previous presentations by Muna Meky, Arianna Legovini, Jed Friedman, David Evans, Sebastian Martinez, Florence Kondylis, Stefano Bertozzi and Rachel Glennester. Je vous remercie d'être venus à ce séminaire d'aujourd'hui. Bous êtes invités à poser des questions à clarifier au cours de la presentation et les questions plus profondes apres la presentation.

Qu’est-ce que c’est l’évaluation d’impact? L’impact est la différence entre les résultats avec un programme et sans ce même programme Objectif : mesurer cette différence de manière fine afin de pouvoir attribuer la différence au programme lui-même (et pas à d’autres facteurs!) CLICK: Les techniques statistique et econometrique qui constituent les outils d’evaluation d’impact nous permettent d’identifier l’effet d’un programme. L’impact est la différence entre les résultats avec un programme et sans ce même programme. Par exemple, quelle est l’effet d’un programme des repas scolaires sur la malnutrition et sur l’inscription a l’ecole primaire? CLICK: L’objectif de l’évaluation d’impact est de mesurer cette différence et de pouvoir l’attribuer au programme lui-même, et de differencier l’impact du programme aux autres facteurs. Par exemple, imaginons qu’on avait deux programme lançaient en même temps : le programme des repas scolaires et une réduction dans les frais de scolarité. Dans une évaluation, on veut mesurer quelle est l’augmentation d’inscription attribuable seulement au programme des repas scolaires.

Objectif: Trouver un Bon Contrefactuel Il nous faut établir ce qui se serait passé en l’absence du programme >> Il nous faut trouver un bon contrefactuel Contrefactuel: quel auraient été les résultats sans le programme? Ex: stabilité et sécurité dans l’absence de DDR. >> Or, nous ne pouvons pas simultanément observer le même individu avec et sans le programme. Idéal: Le programme est la seule différence entre les participants et le contrefactuel. CLICK: Le point crucial de l'évaluation d'impact est d'identifier ce qui serait passé en l'absence du programme – c’est-à-dire la recherche ou la création d'un groupe valide contrefactuelle. CLICK: L’essence d’un bon contrefactuel est d’établir quel aurait été le résultat, si le programme n'avait pas été mis en place. Par exemple, quel serait la violence dans l’absence de DDR? Quel serait le taux de chômage sans les projet d'infrastructure communautaire? CLICK: Puisque nous n’observons jamais le même individu avec et sans un programme au même moment, par définition, on doit trouver une autre solution. L’analyse contrefactuelle nous permet de surmonter ce problème. La solution utilisé est qu’on compare le groupe d’individus qui ont été traité par le programme, a un autre qui lui rassemble mais qui n’a pas participé au programme. CLICK: L’idéale est que le programme est la seule distinction entre le groupe des participants, et le groupe de contrôle qui représente la situation contrefactuelle.

Pourquoi cette obsession avec le contrefactuel?! Sans contrefactuel, que apprenons nous? Utilisation des semences améliorées Production et profits plus élevés 1) OR Production et profits plus élevés 2) Informations sur les nouvelles technologies agricoles CLICK: Pourquoi mettons nous autant d’accent sur la recherche d'un contrefactuel? Pour répondre à cette question, nous devons nous poser une autre question d'abord: sans groupe de comparaison, peut-on attribuer les changements dans les résultats au programme? La reponse forte est, non! Si nous n'avons pas mis en place un contrefactuel, ce que nous observons sont des corrélations. CLICK: Par exemple, on essaie de mettre en place un marche des semences améliorées, ou un marché n’a jamais existé avant. On observe que les agriculteurs traités utilisent plus des semences améliorées et ont des rendements élevés. Peut-on attribuer l’augmentation dans la production aux semences améliorées? Est-ce que le programme a-t-il marché? CLICK: Pas forcement. Il peut être le cas, que les agriculteurs dans la zone du programme ont été exposés aux informations sur les nouvelles technologies, à la suite de laquelle ils ont une productivité plus élevée et ils utilisent plus de semences améliorées. CLICK: Donc la corrélation n'implique pas la causalité. Utilisation des semences améliorées Corrélation ne permet pas d’attribuer un effet causal!

Ex: Programme d’accès aux semences (Avant-Après) (-4) Mesure biaisée de l’impact du programme CLICK: Continuons avec cet exemple d’un programme qui augment l’accès aux semences améliorées. On a collectés des données sur les ménages agricoles dans 50 villages ou on a introduit la production des semences améliorées. Au départ, les rendements dans les villages traité étaient 14. Apres l’intervention, on constaté que les rendements ont diminués jusqu'à 10. CLICK: Si on prend la différence entre les rendements avant et âpres, on constate une mesure biaisée de l’impact du programme – on voit que les rendements ont diminués par 4. Pourquoi est cette mesure biaisée? Parce que elle ne prends pas en compte des changements entre les deux périodes dus aux autres facteurs non-liés au programme. Par exemple, il y avait une sécheresse au niveau nationale qui a diminué la productivité agricole. Donc la différence entre les rendements du groupe traité avant et apres est une mesure biaisée d’impact tel qu’elle confond l’impact d’engrais et l’impact de la sécheresse. 5

Ex: Programme d’accès aux semences (contrefactuel convenable) (-6) Impact d’autres facteurs externes (+2) Impact du programme CLICK: L’évaluation de l'impact nous aide à construire un contrefactuel valide ou d'un groupe de comparaison - un groupe qui est l'équivalent de notre groupe de traitement en termes de toutes les caractéristiques qui pourraient affecter nos résultats. Nous pouvons vérifier que ces deux groupes ont les mêmes résultats, en moyenne, avant notre intervention. Quand on compare leurs résultats après la mise en œuvre de l'intervention, nous pouvons être sûrs que la différence de résultats entre les deux groupes au fil du temps, est attribuable à notre intervention, en séparant l'impact d'autres facteurs. Dans ce cas, les rendements dans les deux groupes étaient 14 avant l’intervention. A cause d’une sécheresse nationale, les rendements ont diminué jusqu’au 8 dans le groupe de contrôle, mais jusqu’au 10 seulement dans le groupe de traitement. CLICK: Si le groupe de contrôle est un bon contrefactuel, sans le traitement les deux groupes auraient constaté une réduction de 6 dans le rendement. CLICK: Mais le programme a atténué l’impact négatif de la sécheresse et a augmenté la production par 2. C’est-à-dire que l’impact des autres facteurs était négatif, mais l’impact du programme était positif. Ce exemple démontrer que, sans des méthodes d’évaluation rigoureuses, on risque de tirer des conclusions erronés qui peut avoir un impact negatif sur la réussite du programme. 6

Motivation pour la méthode d’évaluation expérimentale Il est difficile de distinguer l’effet causal de la corrélation à partir de l’analyse statistique: Nous n’observons que X se déplace avec Y Les caractéristiques que l’on n’observe pas sont parfois plus importantes que celles que l’on observe! Ex: la motivation, la situation politique etc. CLICK: En pratique, il est très difficile de distinguer l’effet causal de la corrélation a partir de l’analyse statistique. Nous observons seulement que X se déplace avec Y. Par exemple, on constate que dans les régions ou la campagne de DDR a été plus intensive, l’incidence de violence diminuent le plus. Mais il se peut que les régions qui ont observé une campagne de DDR plus intensive étaient aussi des régions ou les hommes et femmes politiques étaient plus motivés de lutter la violence. CLICK: Un grand défi d’évaluation est de séparer l’influence de ce genre de caractéristiques non-observables de l’influence du programme. Souvent, les caractéristiques que l’on n’observe pas, comme la motivation de la population et des hommes politiques locaux, sont plus importantes que celles que l’on observe.

Motivation (suite) Le biais de sélection est un problème important pour la mesure d’impact Un projet débute dans un certain endroit pour des raisons particulières Les participants sont choisis sur la base de critères, ou se présentent eux-mêmes! Ex: Les agriculteurs qui utilisent des semences améliorées se distinguent de l’agriculteur moyen! Utiliser les agriculteurs qui utilisent les semences pour établir l’effet des semences améliorées sur les profits risque de nous induire en erreur! CLICK: Le biais de sélection est un défi important pour déterminer l’effet causal. Les régions cibles d’un projet sont souvent choisit selon des critères spécifiques. Par exemple, dans le cas d’un projet qui visent a augmenter les organisations communautaires, le projet se déroule dans les zones identifié comme priorité due au raisons de besoin, pauvreté et accès. De la même façon, souvent un projet ne couvre pas toute la population d’un région. On sélectionne des ménages dans le région sur une base de critères, comme la pauvreté. Ou les participants se présentent eux-mêmes. Ce choix de participation est important, parce qu’il implique que les participants sont différents aux non-participants et d’une manière qui peut influencer les résultats. CLICK: Dans l’exemple précédent des agriculteurs et des marches de semences améliorées, le biais de sélection du a non-observables peut être important. En comparaison avec l’agriculteur moyen, les premiers agriculteurs qui utilisent les semences améliorées ont probablement des capacités entrepreneurial plus élevés, prennent plus des risques, font face aux contraints de crédits moins sévères et ont peut-être des récoltes plus élevées même sans les semences améliorées. Si on compare les récoltes des premiers agriculteurs qui utilisent les semences avec les récoltes des non-utilisateurs, on risque de sus-estimer l’impact des semences.

Propriétés de la méthode d’évaluation expérimentale Au sein de l’étude, tous les individus ont la même probabilité d’être assignés au traitement Par construction, groupes de traitement et de comparaison ont, en moyenne, les mêmes caractéristiques (observées et non-observées). La seule différence est le traitement Avec un grand échantillon, les caractéristiques s’équilibrent Cette méthode permet d’obtenir une mesure d’impact non-biaisée CLICK: Examinons la méthode d’évaluation expérimentale de plus prés. D’abord, la méthode expérimentale donne à tous la même chance d’être assignes au traitement. CLICK: Cette méthode désigne les ménages de façon aléatoire en groupes. Donc, par construction, les groupes de traitement et de comparaison ont, en moyenne, les même caractéristiques observées et non-observées. Donc, la seule différence entre les ménages est le traitement. Avec un grand échantillon, les deux groupes se ressemble au niveau des caractéristiques. CLICK: Dans ce cas, les différences dans les résultats des ménages traites et non-traites peuvent être attribues au programme et cette méthode permet donc d’obtenir une mesure d’impact du programme non-biaisée.

Menu d’options pour l’assignation randomisée Loterie (couverture partielle) Loterie pour l’accès aux semences améliorées Phasage aléatoire (couverture totale, entrée retardée) Quelques villages peuvent acheter des semences améliorées Assignation aléatoire à divers traitements Certains villages reçoivent une démonstration des semences, d’autres villages reçoivent des brochures d’information. Assignation aléatoire à une stratégie d’encouragement Certains cultivateurs reçoivent une invitation qui leur encouragent de participer à la démonstration. CLICK: il y a un menu d’options pour l’assignation randomisée. D’abord, si on sait en avance que le programme aura une couverture partielle, on peut utiliser un loterie pour designer les ménages dans le groupe de contrôle et le groupe de traitement. Cette stratégie est utile si on a des ressources pour couvrir que la moitié des ménages dans un province. Par exemple, on peut utiliser un loterie pour décider quels villages ont accès aux semences améliorées. CLICK: Deuxiement, si on espère couvrir toute la population, on peut utiliser un approche similaire mais avec une phasage aléatoire. Dans ce cas, certains villages reçoivent le programme avant autres villages donc l’entrée du programme est retardée dans le groupe de contrôle. 10

Menu d’options pour l’assignation randomisée Loterie (couverture partielle) Loterie pour l’accès aux semences améliorées Phasage aléatoire (couverture totale, entrée retardée) Quelques villages peuvent acheter des semences améliorées Assignation aléatoire à divers traitements Certains villages reçoivent une démonstration des semences, d’autres villages reçoivent des brochures d’information. Assignation aléatoire à une stratégie d’encouragement Certains cultivateurs reçoivent une invitation qui leur encouragent de participer à la démonstration. CLICK: Troisiement l’assignation randomisée donne l’opportunité de comparer les effets des interventions alternatives en temps réels. Cela nécessite que les approches alternatives soient intégrer dans la mise en œuvre du programme, donc un groupe reçoit une version marginalement différent aux autres groupes. Par exemple, certains villages reçoivent une démonstration des nouvelles semences, d’autres villages reçoivent des brochures d’information qui décrit leur technologies et les changements dans le rendements attendus. CLICK: Finalement, quand toute la population doit être couvert par le programme en même temps, on peut modifier la conception marginalement par offrir une encouragement a une partie de la population. Par exemple, on peut evaluer l’effet de recevoir une invitation qui encourage les cultivateurs de participer a la demonstration. 11

Loterie parmi les individus/groupes éligibles Doivent recevoir le programme Randomiser l’assignation au programme CLICK: Pour démontrer visuellement comment on peut assigner un traitement, imaginons que la hauteur de cette boite représente la pauvreté. Quelques ménages doivent recevoir le programme – par exemple les ménages les plus pauvres, en rose, ont un grand besoin. CLICK: Des autres ménages ne sont pas éligibles – par exemple, les ménages en bleu qui sont relativement riches n’ont pas besoin du programme. CLICK: Les ménages dans la boite gris représentent des ménages qui sont éligibles pour le programme, mais qui ne doivent pas le recevoir – par exemple, les ménages qui vivent pas dans les zones de besoin extrême. On peut utiliser un loterie au sein de population éligible qui ne doit pas recevoir le programme, pour assigner les ménages d’un façon aléatoire au programme. Pas éligibles

Opportunités Des contraintes budgétaires limitent la couverture Une assignation aléatoire (loterie) est juste et transparente Les capacités de mise en œuvre sont limitées La même chance d’être sélectionné en premier Il n’y a pas d’évidence quant à l’efficacité des diverses interventions possibles CLICK: Cette méthode présent l’opportunité d’etre intégrer assez facilement dans la mise en œuvre du programme. Quand les ressources sont insuffisantes pour couvrir toute la population éligible d’une région, par exemple on a des moyens au départ pour couvrir que la moitie d’une province, la méthode de l’assignation aléatoire garantit une approche équitable et transparente. CLICK: En plus, lorsque la capacité de mise en œuvre est limitée, la phasage aléatoire donne a tous la même chance d’être couvert en premier. CLICK: Finalement cette approche donne l’opportunité de comparer les effets des diverses interventions en temps réels. Cela nécessite que les approches alternatives sont intégrer dans la mise en œuvre du programme. 13

Opportunités pour la Randomisation L’adoption d’un programme en cours n’est pas totale (participation faible) Randomiser une stratégie d’encouragement nous informe sur les types d’incitations qui fonctionnent Pilote pour un nouveau programme Une bonne opportunité de tester avant le passage à grande échelle Changement dans la mise en œuvre d’un programme en cours Une opportunité de tester le nouvel arrangement institutionnel avant le passage à grande échelle CLICK: Il y a plusieurs opportunités pour utiliser cette méthode dans la durée d’un programme. D’abord, quand l’adoption d’un programme en cours n’est pas totale – on peut utiliser des stratégies d’encouragement ou d’incitation pour établir comment augmenter la participation et améliorer les résultats du programme. CLICK: Deuxiement, quand on est en train de dérouler un nouveau programme, la pilote présente une bonne opportunité de tester l’efficacité du programme avant le passage a grande échelle. CLICK: Finalement, quand la changement dans la mise en œuvre d’un programme est en cours, on a l’opportunité de tester les changements avant le passage a grande echelle. 14

Différents niveaux auxquels randomiser Association de femmes Entité Juridique/ District administratif Cela dépend du niveau auquel on intervient: Individu/Ménage Communauté/Village Ex: Reconstruction Communautaire Le choix de l’unité de randomisation dépend du niveau auquel le programme intervient. Si le programme intervient au niveau des villages, l’assignation aléatoire du traitement et contrôle serait normalement aussi au niveau des villages. CLICK: Par exemple, dans un programme de reconstruction communautaire, on essaie de rétablir les institutions et capacités de base. Dans cet exemple, le choix naturel est d’assigner le programme au niveau de communauté.

Randomisation individuelle ou par groupes? Si un programme affecte un groupe entier, alors on randomise l’assignation au traitement au groupe entier Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelle CLICK: Quand on choisit de randomiser au niveau d’individu, de communautaire ou d’associations dans les communautaires, cela dépend de si le programme affect le groupe entier. CLICK: Le niveau de randomisation aura un effet sur le taille de l’échantillon. Il faut avoir un taille de l’échantillon suffisamment grand pour pouvoir établir l’effet d’un programme. Lorsque l’on randomise de façon individuelle, il est plus facile d’obtenir les échantillons suffisamment grands. 16

Randomisation individuelle ou par groupes? Si un programme affecte un groupe entier, alors on randomise l’assignation au traitement au groupe entier Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelle CLICK: La différence entre les deux niveaux de randomisation est démontrer au dessus: dans le premier cas, on assigne le traitement et contrôle aux individus. On a dix individus dans le groupe de contrôle, et dix individus dans le groupe de traitement. Dans le deuxième exemple, on randomise par groupes et on obtient deux groupes de contrôle et un groupe de traitement. Dans ce cas, on a trois unités d’évaluation, parmi lesquelles on a sept ménages qui reçoivent le traitement. Mais tel que ces ménages reçoivent le même programme, et leurs réponses au programme sont similaires, on apprend moins de chaque ménage dans un groupe randomisé que l’on apprend d’un ménage quand les ménages sont l’unité d’assignation. Randomisation individuelle Randomisation par groupes 17

Niveau de randomisation Randomiser à un niveau plus élevé est parfois nécessaire: Contraintes d’ordre politique/éthique à assigner le traitement uniquement à certains individus au sein d’une même communauté Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions Les effets de contamination sont parfois trop importants Randomiser au niveau du groupe demande de nombreux groupes CLICK: Parfois, même s’il est possible de randomiser au niveau d’individu, il est nécessaire de randomiser a un niveau plus élevé. Premierement, il n’est pas toujours possible d’exclure certains individus au sein d’une communauté du traitement. Par exemple, dans l’exemple des démonstrations des semences améliorées, il n’est pas évident que c’est éthiquement possible de exclure certains individus d’un village. CLICK: Deuxiement, il est peut-être plus facile au niveau pratique de mettre en œuvre un traitement au niveau plus élevé. Par exemple, imaginons qu’on met en place deux interventions pour améliorer la santé des femmes touche par la violencé et dans chaque village il y plusieurs associations de femmes. Au niveau logistique aussi bien qu’au niveau de compréhension, il est plus facile de les assigner le même traitement.

Niveau de randomisation Randomiser à un niveau plus élevé est parfois nécessaire: Contraintes d’ordre politique/éthique à assigner le traitement uniquement à certains individus au sein d’une même communauté Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions Les effets de contamination sont parfois trop importants Randomiser au niveau du groupe demande de nombreux groupes! CLICK: Troisiement, les effets de contamination peuvent être un contrainte importante. Prenons un exemple d’un programme de distribution d’engrais ou on travaille avec des ménages agricoles pour augmenter leur niveau de production. On pourrait randomiser au niveau du ménage. Dans ce cas, on peut comparer les agriculteurs “traités” à leurs voisins dans le même village. Mais pour comparer les deux groupes, et conclure que la différence est a cause du programme, il faut que les agriculteurs qui ne sont pas enregistres dans le programme n’ont pas utiliser de l’engrais sur leurs champs. Si on compare les champs voisins, il y a toujours la possibilités de contamination a cause de l’eau de ruissellement. Donc dans le cas d’un programme d’engrais, il vaut mieux assigner le traitement et contrôle au niveau des villages. CLICK: Donc, pour plusieurs raisons il est parfois plus intéressant de randomiser a un niveau plus élevé. Un défi de cette stratège est que le taille de l’échantillon augment, tel que cette stratège nécessite de nombreux groupes.

Validité Externe et Interne (1) L’échantillon est représentatif de toute la population. Les résultats obtenus sont représentatifs de la population. Les leçons du programme sont applicables à tout le pays. Validité interne L’effet mesuré d’une intervention sur la population qui est évaluée reflète le véritable impact sur cette population C.-à-d. les groupes de traitement et de contrôle sont comparables CLICK: Tous ces choix ont des implications pour l’interprétation des effets mesurés. Une implication importante a considérer est d’établir si on peux généraliser l’effet que l’on a mesuré. CLICK: La validité externe s’agit de, si ou non on peut utiliser les résultats de notre évaluation pour informer autres interventions ailleurs – c’est-à-dire si les impacts mesure s’étendent aux autres échantillons ou populations. Par exemple si on veut dérouler le programme a un grand échelle, est-ce qu’on peut utiliser les résultats de notre évaluation? En général, une évaluation d’impact a de validité externe si l’échantillon étudié doit être représentatif de toute la population et les résultats obtenus sont représentatifs de toute la population. Dans ce cas, les leçons du programme sont applicables a tout la population. CLICK: La validité interne s’agit de établir si, dans la population étudiée, on a mesuré le véritable impact du programme sur cette population. C’est-à-dire, est-ce que les deux groupes de traitement et contrôle sont comparables dans tous les dimensions observés et non-observés. These elements of the overall design have implications for what our results mean and how far they can be applied in other contexts. In general, our impact evaluation is externally valid if

Validité Interne et Externe (2) Une évaluation peut avoir de validité interne sans avoir de validité externe Ex: Une évaluation d’une programme de consultations prénatales dans des zones urbaines ne nous informe pas sur l’effet de cette même intervention sur les zones rurales Et vice-versa Une mesure d’impact biaisée souffrira du même biais qu’elle soit mesurée sur l’échantillon d’évaluation ou sur toute la population ! CLICK: Il est possible qu’une évaluation a de validité interne, sans avoir de validité externe. Par exemple, prenons le cas d’un programme de consultations prénatales qui augment l’infrastructure de santé et la capacité locale dans des zones urbaines. Ce programme a le but de diminuer la mortalité maternelle. Tel qu’il y a des différences dans la situation de sécurité et les conditions de vie des femmes dans des zones urbaines et ruraux, l’effet mesuré dans des zones urbaines ne nous informe pas sur l’effet de cette intervention sur les zones rurales. CLICK: Et bien-sur, vice-versa: Il est possible qu’une évaluation a de validité externe, sans avoir de validité interne. Si on n’a pas capturé le véritable impact d’un programme, cela réduit beaucoup l’utilité de l’evaluation, même si on a de validité externe.

Validité interne & externe Randomisation Population Nationale Echantillons de la Population Nationale CLICK: Passons a une illustration ou la méthode d’assignation mène a la validité interne et externe. Commençons par la population nationale. La population a des caractéristiques variés, par exemple on a des ménages ruraux et urbaines, des ménages riches et pauvres, les ménages analphabètes et instruits. Ces différents traites sont représentés par les différents couleurs et tailles des visages. CLICK: De cette population nationale, on tire 2% des villages ou des ménages de façon aléatoire pour être dans notre échantillon. Tel que l’on a tiré l’échantillon de façon aléatoire, l’échantillon étudié est représentative de la population nationale. Cela conduit a la validité externe. Puis, on assigne d’un façon aléatoire les ménages dans le groupe de traitement, et le groupe de contrôle. Tel que tous les ménages ont la même probabilité d’être dans le traitement, par construction, les deux groupes ont, en moyenne, les mêmes caractéristiques observées et non-observées. Comme on peut voir, la seule différence est le traitement et, avec un grand échantillon, les caractéristiques s’équilibrent. Cela conduit a la validité interne. Traitement

Echantillons de la sous-population Validité interne Stratification Randomisation Population Nationale Echantillons de la sous-population Sous-population CLICK: Un autre exemple démontre un cas de validité interne mais non-externe. CLICK: On commence encore avec la population nationale. Dans ce cas, on utilise une stratégie de stratification pour déterminer la sous-population étudié. Par exemple, seulement les ménages ruraux sont dans l’échantillon. Puis, on utilise la randomisation pour tirer 2% des ménages ruraux et pour les assigner dans le groupe de traitement et de contrôle. L’impact du programme que l’on va mesurer en utilisant ces échantillons de la sous-population va nous permettre a dire l’impact du programme parmi les ménages ruraux, mais on ne peut pas utiliser cet étude pour nous informer l’impact du programme sur les ménages urbains. Donc, dans ce cas, on a la validité interne mais ne pas la validité externe. Traitement

Validité externe uniquement Randomisation Population Nationale CLICK: Un troisième exemple démontre le cas ou les conditions pour la validité externe sont réalisé mais les conditions pour la validité interne ne sont pas. Cet exemple démontre que, dans ce cas, l’évaluation produit un résultat inutile. On commence avec la population nationale et on tire 2% des ménages pour notre échantillon d’evaluation. CLICK: Tel que l’on a tiré l’échantillon de façon aléatoire, l’échantillon est représentative de la population nationale. Cela conduit a la validité externe. CLICK: Dans la deuxième étape, l’assignation aléatoire des ménages au groupe de contrôle et au traitement est fait d’un façon déterminé. On a sélectionné les ménages avec certains caractéristiques observables d’être dans le groupe de traitement, et le contrôle. Par exemple, on a choisi tous les ménages analphabètes d’être dans le groupe de traitement. Traitement 24

Validité externe uniquement Randomisation Population Nationale Assignation biaisée Résultat INUTILE! CLICK: Tel que l’assignation est selon des caracteristiques, le groupe de control et de traitement ne se ressemblent pas. Les résultats ne reflète pas le véritable impact au niveau de l’échantillon d’évaluation aussi bien qu’au niveau de la population nationale. Donc le résultat est inutile! Traitement 25

Avantages de la méthode expérimentale Mesure de l’impact causal fiable et précise Comparée a d’autres approches: Facile à analyser (comparaison de moyennes) Moins chère (plus petits échantillons) Facile à communiquer Plus convaincante pour les décideurs Evite les controverses d’ordre méthodologique Dans la méthode expérimentale, tel qu’on assigne le traitement et le control de façon aléatoire, on a plus de confiances que les deux groupes sont comparables en fonction de leur caractéristiques. Par contre, dans les méthodes non-experimentales, on doit mettre en place plus de structure et de hypothèses pour trouver un scenario contrefactuel. Les hypothèse sont parfois forte, et le plus forte l’hypothèse est, le moins on peut être certain d’avoir isoler l’effet causal.

Que faire en présence de …? 1) Certaines interventions ne peuvent pas être assignées de façon aléatoire 2) Adoption partielle ou interventions basées sur la demande Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitement Promouvoir le programme de façon aléatoire Les participants choisissent de participer CLICK: Qu’est qu’on peut faire en présence des interventions qui ne peuvent pas être assignées de façon aléatoire? Dans ce cas, il est parfois possible incorporer une incitation ou encouragement dans certains zones du pays. Je vais donner un exemple plus profonde dans la diapositive suivante. CLICK: Dans le cas d’’adoption partielle ou des interventions basées sur la demande, la méthode de l’assignation aléatoire peut garantir une approche équitable et transparente pour déterminer quels unités géographiques reçoivent l’intervention en premier. 27

Que faire en présence de …? 1) Certaines interventions ne peuvent pas être assignées de façon aléatoire 2) Adoption partielle ou interventions basées sur la demande 3) Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitement Promouvoir le programme de façon aléatoire 4) Les participants choisissent de participer CLICK: Qu’est qu’on peut faire en présence de contamination? Contamination est lorsque des individus du groupe de contrôle peuvent adopter le traitement, par exemple les individus dans le contrôle achètent les semences améliorées des ménages dans les villages traités. Si on s’intéresse a apprendre sur les effets de contamination, on peut promouvoir le programme de façon aléatoire et voir quel est l’effet direct du programme et l’effet indirect de savoir que le programme existe. Dans ce cas, on compare les effets d’être dans un village ou on a crée des marches de semences améliorées et l’effet d’être dans un village proche ou on sait que l’on est en train d’ établir un marché de semences autre part. Une autre stratégie est deconsidérer les effets de contamination quand on choisit les unités d’évaluation. CLICK: Finalement, quand les participants choisissent de participer ou non, donc le groupe de traitement consiste des agriculteurs qui utilisent les semences améliorées et non, on peut utiliser l’assignation aléatoire comme une variable instrumentale pour determiner l’impact du programme. 28

Stratégie par l’incitation - Promotion Aléatoire Ex: Reformes qui renforcent le système légal Les individus qui reçoivent l’incitation sont plus susceptibles de participer L’incitation est distribuée de façon aléatoire, alors elle n’est pas corrélée avec les caractéristiques des communautés. Compare les résultats des 2 groupes: ayant reçu l’incitation / n’ayant pas reçu l’incitation L’effet dû à l’incitation (Intention-de-Traiter, ITT) Effet de l’intervention sur la population qui adopte le traitement (Effet moyen local du traitement, LATE) LATE= ITT/proportion d’individus qui ont participé Passons a un exemple d’utiliser les incitations pour evaluer les interventions qui ne peuvent pas être assignées de façon aléatoire CLICK: Par exemple, les reformes qui renforcent le système légal en faveur des droits de la femme doivent se derouler au niveau national. Mais il est possible que l’on randomise une incitation ou encouragement. Par exemple, imaginons qu’il y a des ateliers qui expliquent les changements dans tout le pays, mais dans certains zones on peut offrir une invitation aux membres des communautés de venir aux ateliers. On croit que les individus qui reçoivent des invitations exprès ou des petits sommes de l’argents pour venir sont plus susceptibles de participer. CLICK: On peut distribuer l’incitation de façon aléatoire, alors qu’elle n’est pas corrélée avec les caractéristiques des communautés. Et puis on peut comparer les résultats des deux groupes pour voir si, dans les zones avec des incitations, on a constaté des changements plus forte. Par exemple, est-ce que on a vu une réduction dans la violence contre les femmes plus fortes dans ces zones?

Stratégie par l’incitation - Promotion Aléatoire Ex: Reformes qui renforcent le système légal Les individus qui reçoivent l’incitation sont plus susceptibles de participer L’incitation est distribuée de façon aléatoire, alors elle n’est pas corrélée avec les caractéristiques des communautés. Compare les résultats des 2 groupes: ayant reçu l’incitation / n’ayant pas reçu l’incitation L’effet dû à l’incitation (Intention-de-Traiter, ITT) Effet de l’intervention sur la population qui adopte le traitement (Effet moyen local du traitement, LATE) LATE= ITT/proportion d’individus qui ont participé CLICK: Cette difference capture l’effet du a l’incitation et nomme l’incitation de traiter – tel que l’on ne peux pas forcer les membres de la communauté de participer dans les ateliers, le ITT capture l’effet de l’incitation, en prenant compte que certains membres ne participent pas dans les ateliers. Un autre mesure de l’impact est l’effet de l’intervention sur la population qui adopte le traitement – dans ce cas, les participants des ateliers. Cette estimateur indique le changement de résultats parmi les participants de l’atelier.

Erreurs communes à éviter Calculer la taille de l’échantillon de manière incorrecte Randomiser le traitement dans un seul district, avec un seul contrôle, et calculer la taille de l’échantillon à partir du nombre de personnes interviewées Échantillonnage par grappes nous donne une taille d’échantillon de 1 ! Mener une collecte de données différente au sein de groupes de contrôle et de traitement Inclure les individus qui se sont désistés au groupe de contrôle Cela annule la randomisation! CLICK: Dans cette diapositive, je liste quelques erreurs communes a eviter. Premierement, la taille de l’echantillon est tres important parce qu’elle determine la taille minimum des effets que l’on peut mesurer. Un erreur a eviter et de randomiser le traitement dans un seul district, et avec un seul controle, et de calculer la taille de l’echantillon a partir du nombre de personnes interviewees. Le problem ici est que les tous les individus ont le district en commun aussi bien que des chocs en commun donc, si tous les individus reagissent de la meme maniere au programme, c’est comme si on a une taille d’echantillon de 1. CLICK: La deuxieme erreur commun est de mener une collecte de donnees different au sein de controle et de traitement. Pour pouvoir les comparer, il faut etre certain que l’on utilise les memes strategies et questionnaires pour collecter les donnees dans les deux groupes. CLICK: L’erreur finale est d’inclurer les individus qui se sont desistes du traitement au groupe de controle, parce que cela annule la randomisation. Le groupe initial de traitement ou controle est le groupe que l’on doit considerer! 31

Quand cette stratégie n’est-elle vraiment pas possible? Le traitement est déjà assigné et annoncé et il n’y a pas de possibilité d’expansion Le programme est achevé (rétrospective) présence d’une expérience naturelle ? Eligibilité et accès universels Ex.: campagne d’information universelle, éducation gratuite pour tous, régime du taux de change Parfois on peut randomiser certaines composantes… La taille de l’échantillon est trop limitée pour permettre une analyse crédible CLICK: Finalement, quelques instances quand cette strategie n’est-est vraiment pas possible. Premier: si le traitement est déjà assigné et annoncé et il n’y a pas de possibilité d’expansion. CLICK: Deuxiement: si le programme est achevé et on essaie de faire l’evaluation en rétrospectif. Il se peut dans ce cas qu’il y ait une expérience naturelle qui nous aidera a déterminer l’impact du programme – par exemple, le deroulement du programme variaient d’une region a une autre pour des raisons techniques non-liees aux caracteristiques des regions. CLICK: Finalement, si la taille de l’échantillon est trop limitée pour permettre une analyse crédible, il n’est pas possible d’utilier cette strategie.

Merci! Merci pour votre attention. S’il y a des questions qui restent, je vous prie de les poser!