Mattea Stein, World Bank Méthodes Non-expérimentales I This presentation draws on previous presentations by Markus Goldstein, Leandre Bassole, Florence Kondylis and Alberto Martini Markus –methodes experimentales -> pas toujours possible meme si; Florence hier RDD

Que savions nous jusque-là Objectif: Nous voulons identifier l’effet causal de nos interventions (politiques publiques) sur des variables d’intérêt. Utilisez les méthodes d’évaluation rigoureuses pour répondre aux questions opérationnelles que nous nous posons L’affectation aléatoire au traitement est l’étalon-or des méthodologies existantes (simple, précis, pas cher) Que faire si on ne peut pas du tout faire usage de la randomisation? S’il est possible, recourir aux méthodes non-expérimentales

Les méthodes non-expérimentales Pourra-t-on trouver un contrefactuel plausible? Expérience naturelle? Chaque méthode non-expérimentale est associée à un ensemble d’hypothèses Notre mesure de l’effet causal est d’autant moins crédible que les hypothèses sont fortes Il faut mettre en question nos hypothèses Se conformer à la réalité, relever du bon sens Groupe de comparaison spontanee qui est deja etabli du fait de lexperience naturelle – mais on peut pas compter la dessus Il faut que nos hypothese relevent du bon sens

Exemple: L’appui pour l’Infrastructure Communautaire Objectif principal Améliorer les infrastructures communautaires – construction d’écoles primaires Intervention Fonds communautaires Affectation non aléatoire Groupe cible Communautées avec une mauvaise structure éducative et un taux élévé de pauvreté Principale variable de résultat Inscription scolaire Affectation a

Exemple: L’appui pour l’Infrastructure Communautaire – RANDOMISATION (+) Impact du programme (+) Impact des facteurs externes Cas de randomisation: par construction sont similaires GROUP DE CONTROLE 5

Exemple: L’appui pour l’Infrastructure Communautaire – “AVANT-APRES” (+) Mesure BIAISEE de l’impact du program If no baseline data and no experimental design, can abandon the idea of measuring true impact (unless we have a natural experiment) Nest pas une methode valable Peut pas isoler leffet causal---- “Avant-Après” ne fournit pas des résultats crédibles 6

Exemple: L’appui pour l’Infrastructure Communautaire – DOUBLE DIFFERENCE Différence « Avant » entre participants et non participants Différence « Après » entre participants et non-participants il n’a pas de garantie que elles seront parilles avant l’intervention Faut touhours prendre en compte le diff initiales Tenir compte des differences initiales Quel est le contref qui nous permet de – solution un group de controle et les diff avant apres -> difference avec sans, avant apres Quel est l’impact de notre intervention? 7

Exemple: L’appui pour l’Infrastructure Communautaire – DOUBLE DIFFERENCE Contrefactuel (2 façons de le présenter) L’inscription scolaire des «sans» intervention, après correction des différences «avant/après» (Différence initiale entre groupes) L’inscription scolaire «avant», après correction des différences «avec/sans» l’intervention (l’influence des facteurs externes) 1 and 2 sont équivalents

Taux d’inscription scolaire (%) Données -- Exemple 1 Taux d’inscription scolaire (%) 2007 2008 Différence (2008-2007) Participants (P) 30.6 41.2 10.6 Non-participants (NP) 21.3 36.1 14.8 Différence (P-NP) 9.3 5.1 -4.2 Zero virgule 5 La difference avec et sans apres, la diff…. Avant, leffet causal est la diff entre les diff -> DD Cest pour ca qu’on l’appelle la double D

Impact = (P-NP)2008-(P-NP)2007 = 5.1 - 9.3 = -4.2 P-NP2008=5.1 P-NP2007=9.3

Taux d’inscription scolaire (%) Données -- Exemple 1 Taux d’inscription scolaire (%) 2007 2008 Différence (2008-2007) Participants (P) 30.6 41.2 10.6 Non-participants (NP) 21.3 36.1 14.8 Difference (P-NP) 9.3 5.1 -4.2 Diapositif (slide) Toute meth non exp est associe a des hypotheses

Impact = (P2008-P2007) -(NP2008-NP2007) = 10.6 – 14.8 = -4.2 P2008-P2007=10.6 NP2008-NP2007=14.8 On a mis juste les donnees sur un graphique (meme donneees d la premier page) Montrer la DD

Stratégie d’Identification par Double Différence Hypothèse sous-jacente: Sans l’intervention, l’inscription scolaire dans les communautées participantes et l’inscription scolaire dans les communautés non-participantes auraient suivi la même tendance Passons a lanalyse graphique, parce que c’est plus intuitif (varie de la meme facon)

Double Différence: Hypothèse de même tendance “Impact”=-4.2 Impact vrai=+2.0 Evolution 07 a 08 aurait suivi la meme trajectoir pour le p et les np Le calcul qu’on vient de faire avec la DD cest equivalent a extrapoler la tendance du GC au GT Only in this case… La ligne en pointilles

Double Différence – Exemple (1): Résumé Impact négatif: Très contre –intuitif: Des fonds pour la construction de nouvelles écoles primaires ne devrait pas diminuer le taux d’inscription scolaire, une fois que les facteurs externes sont pris en compte! Hypothèse de tendance commune (Très forte) Les 2 groupes , en 2007, avaient des taux d’inscription scolaire différents Peut-être, les 2 groupes auraient eu des taux de changement de l’inscription scolaire différents en l’absence du projet Mettre à l’épreuve l’hypothèse de tendance commune! Si possible, faire ce test avec des données provenant d’années antérieures Retenu un impact neg. On s’attend a ce qu’une augm. Etant donne que les 2 groupes…

Examen de l’hypothèse de tendance commune: Utilisation de données antérieures Donnees anteerieures -> les tendances dans les annn anterieures different >> Rejeter l’hypothèse des tendances communes

Taux d’inscription scolaire (%) Donnés – Exemple 2 Taux d’inscription scolaire (%) 2007 2008 Différence (2008-2007) Participants (P) 25.5 35.5 10.0 Non-participants (NP) 15.0 19.0 4.0 Différence (P-NP) 10.5 16.5 6.0

Impact = (P2008-P2007) -(NP2008-NP2007) = 10.0 – 4.0 = + 6.0 P08-P07=10.0 NP08-NP07=4.0 Mesure de l’Impact Vente 40 (en millier d’euro)

Hypothèse de tendance commune: Implication graphique Impact = +6.0 De la meme facon Le calcul qu’on vient de faire suppose que l’on peut faire une extrapolation de la tend des NP sur le P et prendre la difference des 2 (L’hypoth de meme tendence)

Double Différence - Exemple 2: Résumé Impact Positif : Plus intuitif L’hypothèse des tendances communes est- elle raisonnable? Toujours nécessaire de questionner l’hypothèse des tendances communes!! Utiliser les données des années précédentes Doit se demander si elle est raisonnable, a-t-on lieu de penser que s’est une hypo correcte

Examen de l’hypothèse de tendance commune: Utilisation de données antérieures Mais est-ce suffisant? >>Est-il raisonnable d’accepter l’hypothèse de tendance commune?

Attention (1) Il est souvent difficile de valider l’hypothèse de tendance commune Absence de données pour tester l’hypothèse Même si les tendances antérieures étaient similaires: Ont-elles toujours été similaires (ou sommes-nous juste chanceux?) Plus important, seront-ils toujours similaires? Exemple: D’autres projets interviennent parmi les entreprises non participantes…. Cependant Souvent on n’a pas acces aux donnees anterier.

Attention (2) Que faire? >> Faire de l’analyse descriptive! Vérifier les similarités sur la base des caractéristiques observables Si les caractéristiques observables ne sont pas similaires, les tendances pourraient différer de manière non prévisible >> Cependant, nous ne pouvons pas comparer ce qui n’est pas observable… Et les caractéristiques non observables sont souvent plus importantes (capacité, motivation, patience, etc)

Méthode d’Appariement (1) Apparier les participants et les non-participants sur la base de caractéristiques observables Contrefactuel : Groupe de comparaison apparié Chaque participant au programme est apparié avec un ou plusieurs non-participants sur la base de caratéristiques observables >> En moyenne, les participants et les non- participants appariés auront les mêmes caractérisques observables (par construction) Qn qui ne participe pas au progr et qui est proche a ce participant sur la base des car…. Appariement sur la base d’un certain nombre d ch. Obser. Qui nous semblent pertients dans la dertimination d’un certain resulta Cela assure que en moyenne

Méthode d’Appariement (2) Hypothèses contrefactuelles sous-jacentes Après l’appariemment, il n’y a aucune différence entre les participants et les non-participants en termes de caractéristiques inobservables ET/OU Les caractéristiques inobservables n’influencent ni l’affectation au traitement, ni les variables d’intérêt Est associe Dans un cas ou on a lieu de penser que les groupes puissent differer en terme d’inobs. il nous fault alors postuler que … Si non la mesure de l’effet causal sera biaisee

Méthode d’Appariement -Comment procède t-on? Construire un groupe témoin en trouvant des individus appariés proches en termes de caractéristiques observables Sélectionner les variables pertinentes sur lesquelles réaliser l’appariement De sorte qu’on retienne: Groupe Traitement: Participants qui peuvent avoir un contrefactuel Groupe de Comparaison: Non-participants assez similaires aux participants >> Nous réduisons/ tronquons une partie de notre groupe traitement! Always keep in mind – il faut garder en tete. de suite Du gorupe de trait : seulement les particip qu’on a pu pairer (…a un ou +…) Du gourpe,. Donc la consequ. Directe c’est que nous Construire un GC en selectionnant les indiv. Or tout les ind du GT ne trouveront pas un pair

Implications Dans beaucoup de cas, nous ne pouvons pas apparier tous les individus Utile de connaitre qui est sorti de l’échantillon Exemple Individus appariés Portion du groupe Traitement sorti de l’échantillon Comme les 2 groupes q’on a tres probablement ne soront pas exactement similairs Dans la plupart des cas on ne peut pas apparier tout le monde – donc il est imp de savoir qui est-ce qu’on a enleve de notr GT Les plus riches ne seront plus pris en compte dans le cadre de l’eval. Non-participants Participants Score Richesse

Conclusion (1) Avantage de la méthode d’appariemment: Ne nécessite pas la randomisation Desaventage Comme par ex le cas ou le project a deja ete mis en oeuvre

Conclusion (2) Inconvénients: L’hypothèse sous-jacente n’est pas plausible dans tous les contextes et est difficile à tester Utiliser le bon sens et faire des analyses descriptives Nécessite des données de très bonne qualité: Nécessite de contrôler tous les facteurs qui influencent le traitement et les variables de résultat Nécessite de très grands échantillons pour générer un bon groupe témoin Ne permet pas d’apparier tous les individus La meilleure soluz Decomposer le score et ne pas se cacher un indice multivariate Very big control group cause don’t want to truncated to many treated If more than more match thje estimateor more precies Qui est-ce qu’on

Conclusion (3) Les expériences randomisées nécessitent beaucoup moins d’hypothèses et fournissent des estimations intuitives Les méthodes non-expérimentales nécessitent des hypothèses qui doivent être attentivement testées Plus de données Pas toujours testables Faire preuve de créativité: Mélange de méthodes! Répondre aux questions avec les techniques appropriées