Multi-country Workshop on Development Impact Evaluation in Finance and Private Sector Development Dakar, Senegal, February 1-4, 2010 Non-Experimental Methods Mattea Stein

Objectif: Nous voulons identifier l’effet causal de nos interventions (politiques publiques) sur des variables d’intérêt.  Utilisez les méthodes d’évaluation rigoureuses pour répondre aux questions opérationnelles que nous nous posons  L’affectation aléatoire au traitement est l’étalon-or des méthodologies existantes (simple, précis, pas cher)  Que faire si on ne peut pas du tout faire usage de la randomisation?  S’il est possible, recourir aux méthodes non-expérimentales

 Pourra-t-on trouver un contrefactuel plausible?  Expérience naturelle?  Chaque méthode non-expérimentale est associée à un ensemble d’hypothèses  Notre mesure de l’effet causal est d’autant moins crédible que les hypothèses sont fortes  Il faut mettre en question nos hypothèses ▪ Se conformer à la réalité, relever du bon sens 3

 Objectif principal ▪ Augmenter la productivité et les ventes des entreprises  Intervention ▪ Subvention partielle ▪ Affectation non aléatoire  Groupe cible ▪ Petites et Moyennes Entreprises avec 1-10 employés  Principale variable de résultat ▪ Ventes 4

5 (+) Impact du programme (+) Impact des facteurs externes

6 (+) Mesure BIAISEE de l’impact du program “Avant-Après” ne fournit pas des résultats crédibles

7 Différence « Après » entre participants et non-participants Différence « Avant » entre participants et non participants Quel est l’impact de notre intervention?

Contrefactuel (2 façons de le présenter) 1. Les ventes des «sans» intervention, après correction des différences «avant/après» (Différence initiale entre groupes) 2. Les ventes «avant», après correction des différences «avec/sans» l’intervention (l’influence des facteurs externes)  1 and 2 sont équivalents 8

9

10 P-NP 2008 =0.5 Impact = (P-NP) (P-NP) 2007 = = -0.2 Impact = (P-NP) (P-NP) 2007 = = -0.2 P-NP 2007 =0.7

11

12 NP NP 2007 =0.8 Impact = (P P 2007 ) -(NP NP 2007 ) = 0.6 – 0.8 = -0.2 Impact = (P P 2007 ) -(NP NP 2007 ) = 0.6 – 0.8 = -0.2 P P 2007 =0.6

Hypothèse sous-jacente: Sans l’intervention, les ventes des participants et des non participants auraient suivi la même tendance

Impact=-0.2

 Impact négatif:  Très contre –intuitif: Une subvention ne devrait pas diminuer les ventes, une fois que les facteurs externes sont pris en compte!  Hypothèse de tendance commune (Très forte)  2 groupes, in 2007, produisaient à différents niveaux ➤ Mettre à l’épreuve l’hypothèse de tendance commune! ➤ Si possible, faire ce test avec des données provenant d’années antérieures

>> Rejeter l’hypothèse des tendances communes

17

18 NP 08 -NP 07 =0.2 Impact = (P P 2007 ) -(NP NP 2007 ) = 0.6 – 0.2 = Impact = (P P 2007 ) -(NP NP 2007 ) = 0.6 – 0.2 = + 0.4

Impact = +0.4

 Impact Positif :  Plus intuitif  L’hypothèse des tendances communes est- elle raisonnable? ➤ Toujours nécessaire de questionner l’hypothèse de tendance commune!! ➤ Utiliser les données des années précédentes

>>Est-il raisonnable d’accepter l’hypothèse de tendance commune?

 Il est souvent difficile de valider l’hypothèse de même tendance  Absence de données pour tester l’hypothèse  Même si les tendances antérieures étaient similaires: ▪ Ont-elles toujours été similaires (ou sommes-nous juste chanceux?) ▪ Plus important, seront-ils toujours similaires? ▪ Exemple: D’autres projets interviennent parmi les entreprises non participantes….

 Que faire? >> Faire de l’analyse descriptive!  Vérifier les similarités sur la base des caractéristiques observables ▪ Si les caractéristiques observables ne sont pas similaires, les tendances pourraient différer de manière non prévisible >> Cependant, nous ne pouvons pas comparer ce qui n’est pas observable… Et les caractéristiques non observables sont souvent plus importantes (capacité, motivation, patience, etc)

Apparier les participants et les non-participants sur la base de caractéristiques observables Contrefactuel :  Groupe de comparaison apparié  Chaque participant au programme est apparié avec un ou plusieurs non-participants sur la base de caratéristiques observables >> En moyenne, les participants et les non- participants appariés auront les mêmes caractérisques observables (par construction) 24

Hypothèses contrefactuelles sous-jacentes  Après l’appariemment, il n’y a aucune différence entre les participants et les non-participants en termes de caractéristiques inobservables ET/OU  Les caractéristiques inobservables n’influencent ni l’affectation au traitement, ni les variables d’intérêt

 Construire un groupe témoin en trouvant des individus appariés proches en termes de caractéristiques observables  Sélectionner les variables pertinentes sur lesquelles réaliser l’appariement  De sorte qu’on retienne: ▪ Groupe Traitement: Participants qui peuvent avoir un contrefactuel ▪ Groupe de Comparaison: Non-participants assez similaires aux participants >> Nous réduisons/ tronquons une partie de notre groupe traitement!

 Dans beaucoup de cas, nous ne pouvons pas apparier tous les individus  Utile de connaitre qui est sorti de l’échantillon  Exemple Score Non-participants Participants Individus appariés Richesse Portion du groupe Traitement sorti de l’échantillon

 Avantage de la méthode d’appariemment:  Ne nécessite pas la randomisation 28

 Inconvénients:  L’hypothèse sous-jacente n’est pas plausible dans tous les contextes et est difficile à tester ▪ Utiliser le bon sens et faire des analyses descriptives  Nécessite des données de très bonne qualité: ▪ Nécessite de contrôler tous les facteurs qui influencent le traitement et les variables de résultat  Nécessite de très grands échantillons pour générer un bon groupe témoin  Ne permet pas d’apparier tous les individus 29

 Les expériences randomisées nécessitent beaucoup moins d’hypothèses et fournissent des estimations intuitives  Les méthodes non-expérimentales nécessitent des hypothèses qui doivent être attentivement testées  Plus de données  Pas toujours testables  Faire preuve de créativité:  Mélange de méthodes!  Répondre aux questions avec les techniques appropriées 30