La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Mattea Stein, World Bank Méthodes Non-expérimentales I.

Présentations similaires


Présentation au sujet: "Mattea Stein, World Bank Méthodes Non-expérimentales I."— Transcription de la présentation:

1 Mattea Stein, World Bank Méthodes Non-expérimentales I

2 Que savions nous jusque-là Objectif: Nous voulons identifier l’effet causal de nos interventions (politiques publiques) sur des variables d’intérêt.  Utilisez les méthodes d’évaluation rigoureuses pour répondre aux questions opérationnelles que nous nous posons  L’affectation aléatoire au traitement est l’étalon-or des méthodologies existantes (simple, précis, pas cher)  Que faire si on ne peut pas du tout faire usage de la randomisation?  S’il est possible, recourir aux méthodes non-expérimentales

3 Les m éthodes non- expérimentales  Pourra-t-on trouver un contrefactuel plausible?  Expérience naturelle?  Chaque méthode non-expérimentale est associée à un ensemble d’hypothèses  Notre mesure de l’effet causal est d’autant moins crédible que les hypothèses sont fortes  Il faut mettre en question nos hypothèses ▪ Se conformer à la réalité, relever du bon sens 3

4 Exemple: L’appui pour l’Infrastructure Communautaire  Objectif principal ▪ Améliorer les infrastructures communautaires – construction d’écoles primaires  Intervention ▪ Fonds communautaires ▪ Affectation non aléatoire  Groupe cible ▪ Communautées avec une mauvaise structure éducative et un taux élévé de pauvreté  Principale variable de résultat ▪ Inscription scolaire 4

5 5 (+) Impact du programme (+) Impact des facteurs externes Exemple: L’appui pour l’Infrastructure Communautaire – RANDOMISATION

6 6 (+) Mesure BIAISEE de l’impact du program Exemple: L’appui pour l’Infrastructure Communautaire – “AVANT-APRES” “Avant-Après” ne fournit pas des résultats crédibles

7 7 Différence « Après » entre participants et non-participants Exemple: L’appui pour l’Infrastructure Communautaire – DOUBLE DIFFERENCE Différence « Avant » entre participants et non participants Quel est l’impact de notre intervention?

8 Exemple: L’appui pour l’Infrastructure Communautaire – DOUBLE DIFFERENCE Contrefactuel (2 façons de le présenter) 1. L’inscription scolaire des «sans» intervention, après correction des différences «avant/après» (Différence initiale entre groupes) 2. L’inscription scolaire «avant», après correction des différences «avec/sans» l’intervention (l’influence des facteurs externes)  1 and 2 sont équivalents 8

9 Données -- Exemple 1 9

10 10 P-NP 2008 =5.1 Impact = (P-NP) (P-NP) 2007 = = -4.2 Impact = (P-NP) (P-NP) 2007 = = -4.2 P-NP 2007 =9.3

11 Données -- Exemple 1 11

12 12 Impact = (P P 2007 ) -(NP NP 2007 ) = 10.6 – 14.8 = -4.2 Impact = (P P 2007 ) -(NP NP 2007 ) = 10.6 – 14.8 = -4.2 P P 2007 =10.6 NP NP 2007 =14.8

13 Stratégie d’Identification par Double Différence Hypothèse sous-jacente: Sans l’intervention, l’inscription scolaire dans les communautées participantes et l’inscription scolaire dans les communautés non-participantes auraient suivi la même tendance

14 Double Différence: Hypothèse de même tendance “Impact”=-4.2 Impact vrai=+2.0

15 Double Diff érence – Exemple (1): Résumé  Impact négatif:  Très contre –intuitif: Des fonds pour la construction de nouvelles écoles primaires ne devrait pas diminuer le taux d’inscription scolaire, une fois que les facteurs externes sont pris en compte!  Hypothèse de tendance commune (Très forte)  Les 2 groupes, en 2007, avaient des taux d’inscription scolaire différents  Peut-être, les 2 groupes auraient eu des taux de changement de l’inscription scolaire différents en l’absence du projet ➤ Mettre à l’épreuve l’hypothèse de tendance commune! ➤ Si possible, faire ce test avec des données provenant d’années antérieures

16 Examen de l’hypothèse de tendance commune: Utilisation de données antérieures >> Rejeter l’hypothèse des tendances communes

17 Donnés – Exemple 2 17

18 18 Impact = (P P 2007 ) -(NP NP 2007 ) = 10.0 – 4.0 = Impact = (P P 2007 ) -(NP NP 2007 ) = 10.0 – 4.0 = P 08 -P 07 =10.0 NP 08 -NP 07 =4.0

19 Hypothèse de tendance commune: Implication graphique Impact = +6.0

20 Double Diff érence - Exemple 2: Résumé  Impact Positif :  Plus intuitif  L’hypothèse des tendances communes est- elle raisonnable? ➤ Toujours nécessaire de questionner l’hypothèse des tendances communes!! ➤ Utiliser les données des années précédentes

21 Examen de l’hypothèse de tendance commune: Utilisation de données antérieures >>Est-il raisonnable d’accepter l’hypothèse de tendance commune?

22 Attention (1)  Il est souvent difficile de valider l’hypothèse de tendance commune  Absence de données pour tester l’hypothèse  Même si les tendances antérieures étaient similaires: ▪ Ont-elles toujours été similaires (ou sommes-nous juste chanceux?) ▪ Plus important, seront-ils toujours similaires? ▪ Exemple: D’autres projets interviennent parmi les entreprises non participantes….

23 Attention (2)  Que faire? >> Faire de l’analyse descriptive!  Vérifier les similarités sur la base des caractéristiques observables ▪ Si les caractéristiques observables ne sont pas similaires, les tendances pourraient différer de manière non prévisible >> Cependant, nous ne pouvons pas comparer ce qui n’est pas observable… Et les caractéristiques non observables sont souvent plus importantes (capacité, motivation, patience, etc)

24 Méthode d’Appariement (1) Apparier les participants et les non-participants sur la base de caractéristiques observables Contrefactuel :  Groupe de comparaison apparié  Chaque participant au programme est apparié avec un ou plusieurs non-participants sur la base de caratéristiques observables >> En moyenne, les participants et les non- participants appariés auront les mêmes caractérisques observables (par construction) 24

25 Méthode d’Appariement (2) Hypothèses contrefactuelles sous-jacentes  Après l’appariemment, il n’y a aucune différence entre les participants et les non-participants en termes de caractéristiques inobservables ET/OU  Les caractéristiques inobservables n’influencent ni l’affectation au traitement, ni les variables d’intérêt

26 Méthode d’Appariement - Comment procède t-on?  Construire un groupe témoin en trouvant des individus appariés proches en termes de caractéristiques observables  Sélectionner les variables pertinentes sur lesquelles réaliser l’appariement  De sorte qu’on retienne: ▪ Groupe Traitement: Participants qui peuvent avoir un contrefactuel ▪ Groupe de Comparaison: Non-participants assez similaires aux participants >> Nous réduisons/ tronquons une partie de notre groupe traitement!

27 Implications  Dans beaucoup de cas, nous ne pouvons pas apparier tous les individus  Utile de connaitre qui est sorti de l’échantillon  Exemple Score Non-participants Participants Individus appariés Richesse Portion du groupe Traitement sorti de l’échantillon

28 Conclusion (1)  Avantage de la méthode d’appariemment:  Ne nécessite pas la randomisation 28

29 Conclusion (2)  Inconvénients:  L’hypothèse sous-jacente n’est pas plausible dans tous les contextes et est difficile à tester ▪ Utiliser le bon sens et faire des analyses descriptives  Nécessite des données de très bonne qualité: ▪ Nécessite de contrôler tous les facteurs qui influencent le traitement et les variables de résultat  Nécessite de très grands échantillons pour générer un bon groupe témoin  Ne permet pas d’apparier tous les individus 29

30 Conclusion (3)  Les expériences randomisées nécessitent beaucoup moins d’hypothèses et fournissent des estimations intuitives  Les méthodes non-expérimentales nécessitent des hypothèses qui doivent être attentivement testées  Plus de données  Pas toujours testables  Faire preuve de créativité:  Mélange de méthodes!  Répondre aux questions avec les techniques appropriées 30


Télécharger ppt "Mattea Stein, World Bank Méthodes Non-expérimentales I."

Présentations similaires


Annonces Google