La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Thème : METHODES DEVALUATION DES PROGRAMMES DE DEVELOPPEMENT 9-10 septembre 2009, Grand-Bassam Cellule dAnalyse de Politiques Economiques du CIRES Dr.

Présentations similaires


Présentation au sujet: "Thème : METHODES DEVALUATION DES PROGRAMMES DE DEVELOPPEMENT 9-10 septembre 2009, Grand-Bassam Cellule dAnalyse de Politiques Economiques du CIRES Dr."— Transcription de la présentation:

1 Thème : METHODES DEVALUATION DES PROGRAMMES DE DEVELOPPEMENT 9-10 septembre 2009, Grand-Bassam Cellule dAnalyse de Politiques Economiques du CIRES Dr. Alban A. E. AHOURE Dr. Wautabouna OUATTARA ATELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET EVALUATION DES ADMINISTRATIONS PUBLIQUES ET PRIVEES 1

2 Contexte et Justification Rareté des ressources nationales/ internationales affectées aux programmes de développement. Orienter celles-ci vers des projets ayant un impact réel sur les populations DSRP/PPTE Gestion Par les Résultats Comment Évaluer les Résultats / LImpact ? 2 Lecture 0: Contexte, Objectifs et Résultats Attendus

3 Objectifs Développement des connaissances sur les méthodes dévaluation des programmes de Developpement Favoriser la compréhension des méthodes dévaluation des projets de développement par les participants. Permettre aux participants de maîtriser les méthodes dévaluation apprises. Permettre aux participants danalyser ces méthodes, de dégager celles applicables aux projets dans leur institution et de savoir les utiliser. 3 3

4 Résultats attendus Les principes de base des Méthodes dÉvaluation des Programmes de Développement sont maîtrisés. Les processus dévaluation des programmes sont connus et maîtrisés. Les participants sont en mesure dévaluer les programmes de développement dans leurs structures respectives à partir méthodes apprises. 4 4

5 LA PROBLEMATIQUE DE LEVALUATION DES POLITIQUES DE DEVELOPPEMENT LECTURE 1 5

6 PLAN I. SUIVI ET EVALUATION DES PROJETS : Cadre Conceptuel II. CONTEXTE III. LES DEUX APPROCHES METHODOLOGIQUES IV. QUELQUES NOTIONS SUR LES METHODES V. REVUE DE TRAVAUX EMPIRIQUES DANS LES PVD 6

7 I. SUIVI ET EVALUATION DES PROJETS : Cadre Conceptuel 7

8 Demande croissante de preuves concernant les politiques de développement mises en œuvre : Ces politiques ont-elles les effets attendus ? Les effets sont-ils significatifs ? Domaines très variés : programme de bien-être, programmes de formation, programmes de subvention des salaires, programme de nutrition, programmes déducation, etc. II. CONTEXTE 8

9 A. REPONSES QUALITATIVES INSUFFISANTES Etudes sur documents, revues, interviews, données secondaires, etc. Etablir les inférences causales sur la base de processus (A B C). Limites : Subjectivité dans la collecte des données, labsence de groupe de comparaison et absence de robustesse statistique. 9

10 B. QUESTIONS SOULEVEES Quelle serait la situation des individus participant à un programme en labsence du programme ? Quelle serait la situation des non exposés au programme sils en étaient bénéficiaires ? Ces deux questions ont un point commun : labsence dun don dubiquité. En dautres termes, on ne peut à une date t, participer et ne pas participer au programme. Si existence dinformations sur les situations où le même individu à la fois participe et ne participe pas à un programme pas de problème pour lévaluation. Besoin dun contrefactuel 10

11 C. POURQUOI AVONS-NOUS BESOIN DUN CONTREFACTUEL ? Changement dans le Résultat = Dû au Projet + Dû aux Autres Facteurs (environnementaux, personnels) Comparer les mêmes individus avant et après le projet ne contrôle pas pour les effets environnementaux. Impossibilité disoler les effets imputables à des facteurs exogènes au programme. Comparer seulement des individus similaires mais non identiques au temps t ne contrôle pas pour les différences personnelles Contrefactuel: contrôle à la fois pour les facteurs environnementaux et personnels. Toutes les évaluations quantitatives dimpact se résument en la construction dun groupe contrefactuel crédible. 11

12 III. LES DEUX APPROCHES METHODOLOGIQUES Les Méthodes Expérimentales : construisent le contrefactuel par assignation randomisée dun groupe de participants au projet (le groupe de traitement) et dun groupe de non- participants (groupe témoin). Les Méthodes Non Expérimentales : obtiennent le contrefactuel par des techniques statistiques (Score de Propension et Appariement, Doubles Différences, Variables Instrumentales, Regression Discontinuity Design). Différent dans la manière de construire le contrefactuel. 12

13 A. Les expérimentations contrôlées Elles ont débuté aux USA mais se sont étendues aux pays en développement. Pour évaluer un projet: expérimentation contrôlée fondée sur le principe de lassignation aléatoire à un groupe de traitement et à un groupe de contrôle Le groupe de contrôle et le groupe de traitement sont en principe identiques. Seule la différence de traitement expliquerait les évolutions ultérieures des deux groupes. IV. QUELQUES NOTIONS SUR LES METHODES 13

14 Lobjectif : Mettre en application un programme pour construire des conditions où les bénéficiaires sont entièrement comparables aux non bénéficiaires. Les méthodes expérimentales dévaluation Les méthodes dexpérimentation contrôlée Proche de lapproche clinique. Repose sur la règle de lassignation aléatoire. Loterie, Phase-in, Encouragement Les méthodes dexpérimentation naturelle Exploitent lassignation aux programmes grâce à un évènement naturel survenu indépendamment du chercheur. 14

15 Portée et limites de lapproche expérimentale Elle exerce un grand attrait : application transparente grande qualité du contrefactuel, principe simple: nécessite un petit échantillon. Intègre limplémentation à lévaluation. MAIS : Les expériences contrôlées ne sappliquent pas à tous les projets raisons dordre éthique, dordre pratique : politique expérimentée souvent à une échelle réduite ; il est impossible alors dextrapoler. La validité interne est fonction de la conception et de limplémentation: problèmes dattrition (des individus disparaissent de léchantillon), spillover, contamination, biais de randomisation. 15

16 B. Les évaluations quasi expérimentales Beaucoup de projets sont mis en œuvre sans un dispositif explicite dévaluation dimpact. Malgré tout, on veut savoir sils ont bien fonctionné : quelle est lampleur de leur effet sur les bénéficiaires. Lapproche consiste à construire un groupe témoin dont les caractéristiques sont aussi comparables que celles du groupe des bénéficiaires de lintervention. Comment construire le groupe contrefactuel? Méthodes: Score de Propension et Appariement, Doubles Différences, Variables Instrumentales, Regression Discontinuity Design. 16

17 Les Méthodes dévaluation expérimentales Les méthodes dites de « Discontinuity Design », Tirent profit des discontinuités naturelles dans la règle dassignation des individus au traitement. Les méthodes dappariement (matching) Cherchent à reproduire le groupe de traitement parmi les non bénéficiaires afin de reconstituer les conditions dun cadre expérimental, et cela en sappuyant sur les variables observables. Les méthodes de variables instrumentales Plus proches de celles de lapproche structurelle. Reposent sur des restrictions dexclusion pour parvenir à lidentification. Le choix des paramètres dintérêt dépend de lenvironnement particulier dans lequel la politique est mise en œuvre. Les méthodes de fonction de contrôle Ces méthodes sont plus proches de celles de léconométrie. Modélisent directement la règle dassignation afin de contrôler la sélection dans les données dobservation. 17

18 Portée et Limites des Méthodes Non- Expérimentales Pratiques applicables à presque tous les types dintervention et peuvent quelque fois être appliquées de façon rétrospective. MAIS Peuvent entraîner des biais dûs à la sélection des échantillons (pas de contrôle parfait) et/ou à la spécification des modèles. Peuvent comprendre des données très intensives nécessitant des calculs compliqués. 18

19 V. Revue de travaux empiriques dans les PVD (1) La nature de lintervention. -Transferts dargent aux ménages en contrepartie dobligations en matière déducation et de santé de leurs enfants: programme PROGRESA au Mexique, ou les travaux relatifs à lAfrique du Sud (Aguiro, Carter et Woohard, 2007) ; - Programme de petit déjeuner exécuté dans les écoles rurales (Cueto et alii., 2000) ; - Un paquet sanitaire offert sous la forme dun déparasitage intestinal (Miguel et Kremer, 2004) ; - Programmes de subvention décoles pour la scolarisation des enfants (Behrman & al., 2005). 19

20 (2) Les populations cibles sont variées: exemple les enfants de moins dun an à 14 ans en milieu rural ou les parents comme dans le cas des programmes de transfert dargent en Amérique latine ou en Afrique du Sud. (3) Deux stratégies déchantillonnage: La sélection randomisée des participants et non participants lorsquil sagit dune expérimentation contrôlée, Lutilisation dautres méthodes pour construire des groupes de contrôle lorsquon na pu en disposer avant le démarrage du programme. 20

21 (4) La taille de léchantillon. Elle est souvent faible dans les études expérimentales, même dans les pays développés, par exemple, moins de 150 individus, dans la plupart des études sur léducation préscolaire qui ont été menées aux Etats- Unis (Behrman, Cheng, Todd, 2005). Cependant, des échantillons de grande taille sont parfois utilisés comme lont fait Chen, Mu et Ravaillion (2006) pour lévaluation dun programme de réduction de la pauvreté dans le sud ouest de la Chine (plus de 2000 bénéficiaires et non bénéficiaires). Behrman, Sengupta et Todd (2005), recourant à des données du programme PROGRESA au Mexique, ont construit un échantillon de enfants pour étudier limpact, sur leurs performances scolaires, des transferts dargent dont leurs ménages ont bénéficié. 21

22 (5) La durée dexposition des bénéficiaires au traitement. Elle peut être dun an (Miguel, Kremer, 2004 ; Behrman, Sengupta et Todd, 2005), dautres peuvent dépasser 10 ans (Chen, Mu et Ravaillion, 2006). (6) les effets attendus: même si le paquet de traitement est le même (par exemple, repas chauds ou déparasitage), les études ne mettent pas toujours laccent sur. (7) Les indicateurs de performance : une grande variabilité. Certains insistent sur les impacts relatifs au statut nutritionnel mesuré par des indicateurs anthropométriques (poids-âge, taille-âge, ou taille-poids), dautres sintéressent à létat sanitaire (Huerta, 2006) ou à léducation (Newman et al., 1994). 22

23 (8) Leffet moyen du traitement ou son effet marginal?. Effet Moyen: la valeur de la variable dimpact du groupe de traitement est comparée à celle du groupe de comparaison. Effet marginale: leffet marginal du traitement est mesuré, soit par la différence entre les effets moyens estimés à deux dates différentes, soit en comparant les valeurs prises par la variable dimpact pour des groupes de participants qui différent par leur durée dexposition au traitement. 23

24 (9) Les méthodes utilisées: Les différences dans les stratégies déchantillonnage et les types deffets à mesurer une grande diversité : Certains travaux comparent les effets du groupe de traitement à ceux dun groupe de contrôle en recourant à des techniques du traitement binaire comme les doubles différences ou les modèles de choix discret (Essama, 2006 ; Maluccio, Flores, 2005) Dautres recourent à des méthodes qui permettent de se passer de lexistence dun groupe de contrôle et se concentrent sur le groupe de traitement (Imbens, 2004 ; Aguiro, Carter et Woohard, 2007). 24

25 (10) Quelques Résultats La plupart des travaux reportent des effets positifs des programmes sur la nutrition et le statut sanitaire. Miguel et Kremer (2004) ont évalué un projet kényan dans lequel un traitement de déparasitage de masse a été appliqué, par phases, à des élèves décoles choisies de manière randomisée. Le programme a enregistré une réduction de labsentéisme dun quart et stimulé la participation. QUEST-CE QUE LA RANDOMISATION? QUELLES EN SONT LES PRINCIPES? POURQUOI CETTE METHODE CONNAIT-T-ELLE UN GRAND INTERET AUPRES DES ECONOMISTES DU DEVELOPPEMENT, AUJOURDHUI? 25

26 Je Vous Remercie Pour Votre Attention 26

27 A TELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET ÉVALUATION DES ADMINISTRATIONS PUBLIQUES ET PRIVÉES Lecture 2 : LA RANDOMISATION Dr. Wautabouna OUATTARA 9 septembre 2009, Grand-Bassam Cellule dAnalyse de Politiques Economiques du CIRES 27

28 REFERENCES Duflo, Esther, Rachel Glennerster, Michael Kremer (2008), Using randomization in development economics research: a toolkit, In Handbook of Development Economics, Volume 4, ed. T. Paul Schultz and John Strauss, 3895–3962. Amsterdam and Oxford: Elsevier, North-Holland. Imbens, Guido and Jeffrey Wooldridge (2009), Recent developments in the econometrics of program evaluations, JEL, 47(1), Abadie, Alberto (2005), Semiparametric Difference-in- differences estimators, Review of Economic Studies 72(1),

29 PLAN DE LA LECTURE I°/ GENERALITES SUR LA RANDOMISATION 2°/ INTERET DU RECOURS A LA RANDOMISATION 3°/ FORMALISATION DE LA RANDOMISATION 4°/ DIFFERENTES FORMES DE LA RANDOMISATION 5°/ EXEMPLE PRATIQUE AVEC LES DOUBLES DIFFERENCES 6°/ CONCLUSION 29

30 Depuis la fin des années 90, certains économistes du développement (notamment Michael Kremer, Esther Duflo, Abhijit Barnerjee…) ont développé des outils pour appréhender les faits des politiques économiques. Ils ont propulsé la théorie de la randomisation (évaluation aléatoire) et insistent sur les micro-projets comme stratégie de développement efficace quand on s'y prend rationnellement. 1. GENERALITES SUR LA RANDOMISATION 30

31 Shanta Devarajan : La randomisation (ou application par répartition aléatoire) des programmes daide est actuellement considérée comme la « règle dor » permettant dévaluer limpact de chaque projet et de trouver les schémas dintervention les plus efficaces possible. Esther Duflo : La randomisation est une méthode qui est utilisée pour essayer dévaluer limpact dun programme ou dun projet dans des domaines tels que léducation, la santé, la corruption, le crédit, etc.,. Le principe général: sapprocher au mieux de la méthode de lessai clinique. On compare des gens qui ont bénéficié dun traitement et des gens qui nen ont pas bénéficié. Cela suppose que les personnes dans léchantillon détude ont des similitudes). 31

32 Lobjectif de lexpérience randomisée Travailler avec les partenaires de terrain (ONG, Gouvernements locaux, Compagnies privées etc.) qui veulent mettre en application un programme pour construire des conditions où ceux qui bénéficient du programme soient entièrement comparables à ceux qui nen bénéficient pas dans un premier temps. Exemple: Si un gouvernement a de quoi financer la construction de 100 écoles, on va choisir 200 villages au lieu de choisir les 100 quil aurait choisi de toute façon. Et après, on collecte des données sur les 200 depuis le début, ce qui permet de comparer par exemple la scolarisation des enfants sur les deux types de villages. Puis, en général, quand lexpérience est terminée, on construit des écoles partout. 32

33 LES RELATIONS DE CAUSALITE 1. Relation de causalité de nature déterministe En général, on parle dune relation de causalité de nature déterministe lorsque la présence de la cause implique leffet et réciproquement, si on observe leffet, la cause est présente au départ. Exemple : En supposant quune seule variable soit suffisante pour causer un phénomène, alors lobservation de cette caractéristique implique nécessairement le phénomène. Dautre part si on observe le phénomène chez un individu, alors celui-ci possède la caractéristique. Le lien entre la variable explicative et le phénomène apparaît comme un lien de causalité de nature déterministe. 33

34 2. Relation de causalité de nature probabiliste Si la cause est présente, leffet suit avec une certaine probabilité. Réciproquement si on observe leffet, la cause est présente au départ avec une certaine probabilité. Exemple. Le fait de recevoir une subvention pour un ménage, nentraîne pas nécessairement la scolarisation des enfants en âge daller à lécole. Un ménage nayant pas reçu la subvention, par ailleurs, peut scolariser ses enfants. La liaison entre le facteur et son effet est souvent exprimée par des mesures statistiques dassociation, comme la différence de probabilité de scolariser les enfants entre deux ménages ou lécart moyen entre les mesures dune certaine variable dans les deux groupes. 34

35 Toutefois, ces mesures nindiquent pas nécessairement une relation de cause à effet. Elles peuvent seulement témoigner dune relation statistique. Avant quune association observée entre une politique (ou un traitement) et un résultat ne soit déclarée causale, certaines précautions doivent être prises pour établir un tel jugement. En particulier, il faut sassurer que les groupes soient comparables par rapport à toute caractéristique des sujets (âge, genre, etc.) qui peut influencer lassociation. Seul le traitement doit faire la différence. 35

36 Objet: Relation causale des traitements Traitement: programme de bien-être, programmes de formation, transferts, dons, programme de nutrition, programmes déducation, etc. Traités vs Non Traités (groupe de contrôle) Expériences randomisées avec assignation aléatoire (indépendante des résultats et des variables) vs méthode post-évaluation à partir de données observationnelles. 2. INTERET DU RECOURS A LA RANDOMISATION 36

37 Problèmes de linférence causale Comparer le même individu dans deux situations différentes tandis quune seule est observable. Au cours du temps, les autres facteurs peuvent changer. Recourir à un groupe de comparaison, mais il peut exister des différences initiales (biais de sélection ou programme administré à un groupe particulier). La randomisation permet de corriger le biais de sélection. Dautres méthodes non expérimentales: contrôler les observables, Regression Discontinuity Design, Doubles-Différences, Effets Fixes. Pas de consensus sur la méthode la plus robuste. 37

38 : le résultat pour un individu i traité (exemple: recevoir des livres à lécole) : le résultat pour l individu i sans traitement : résultat moyen du traitement sur les individus traités : résultat moyen de labsence de traitement sur les individus non-traités (le groupe de comparaison). 3. FORMALISATION DE LA RANDOMISATION 38

39 Effet du Traitement et Biais de Sélection E[Y i T -Y i C |T]= Effet Moyen du Traitement sur les Traités Cest la différence entre le résultat réel des traités et le résultat potentiel des non-traités si le traitement a lieu. E[Y i C |T]- E[Y i C |C]= Biais de Sélection, la différence dans les résultats potentiels des non-traités sils avaient été traités et leurs résultats réels (en tant que groupe de comparaison). Problème: E[Y i C |T] (résultat moyen du traitement sur les individus non-traités) nest pas observable. Doù la nécessité de construire un factuel (groupe dindividus similaires qui ne reçoit pas le traitement. 39

40 Que Mesure lEffet Total ou lEffet Partiel ? Les résultats des évaluations randomisées donnent une forme réduite des impacts du traitement, c-à-d les effets totaux. Nous pouvons être intéressés par des effets partiels (ceteris paribus). Pour cela, nous avons besoin dun modèle structurelle qui explique les différences entre les effets totaux et les effets partiels. Exemple : Si un enfant reçoit les livres scolaires, les parents peuvent accroître ou décroître loffre domestique dinputs éducationnels. Ce qui accroît ou décroît leffet partiel du programme de dons de livres. 40

41 1. Méthode de loterie. Exemple : Crédit de consommation élargi en Afrique du Sud. Approbation aléatoire des demandes de prêts. Trois groupes: approbation totale, approbation partielle et rejet total. Cela nest valable que pour un groupe marginal. 2. Randomisation ordonnée ou phase-in Exemple : Programme de déparasitage intestinal dans des écoles au Kenya. 75 premières écoles ont été sélectionnées de façon aléatoire en écoles sélectionnées commencent le programme en 1998 et sont comparées au 50 autres. Un autre groupe de 25 écoles commencent le programme en Ainsi, les 50 écoles qui reçoivent le traitement sont comparées aux 25 dernières en Les 25 dernières écoles reçoivent le traitement en Cette méthode se focalise sur les effets de court terme. Si le phase-in est très rapide, les effets peuvent ne pas avoir le temps nécessaire pour leur maturité. Problème lie au traitement futur escompte, attendu par les groupes. 4. LES DIFFERENTES FORMES DE RANDOMISATION 41

42 3. La randomisation within-group Exemple : Programme de tutorat (balsakhi) dans les écoles des zones urbaines pauvres en Inde. Un (1) balsakhi est assigné de façon aléatoire aux classes dans chaque école. Problème: contamination des écoles de comparaison. (les directeurs font une réallocation des ressources dans les classes des Balsakhi) 4. Les plans dencouragement Exemple : les agriculteurs sont invités de façon aléatoire à participer à des formations sur lutilisation des engrais au Kenya. Cela accroît la probabilité du traitement 42

43 5. EXEMPLE PRATIQUE AVEC LES DOUBLES DIFFERENCES 43

44 44

45 45

46 46

47 47

48 EXEMPLE ILLUSTRATIF Le gouvernement souhaite subventionner les lycées de plus de 500 élèves. Lobjectif est dapprécier les effets de cette subvention sur les résultats scolaires afin de généraliser le projet à tous les établissements du pays, à terme. On considère une Ville Pilote regroupant 50 lycées supposés identiques. 25 lycées (Groupe B des traités) reçoivent la subvention à la date (t). 25 lycées (Groupe A de contrôle) ne sont pas sont à lexpérimentation à la même date (t). 48

49 EXEMPLE ILLUSTRATIF La variable dintérêt est le Résultat Scolaire (RS). Avec: : output moyen du groupe des traités à la date 1. : output moyen du groupe des traités à la date 2. : output moyen du groupe de contrôle à la date 1. : output moyen du groupe de contrôle à la date 2. Problème 1: Si on considère les traités uniquement : ne suffit pas à capter leffet de la politique. Problème 2: Si on considère la période post traitement uniquement : ne suffit pas à capter leffet de la politique. Une des solutions réside dans lapproche de la double différence qui conduit à des estimateurs sans biais. 49

50 CONCLUSION Les conclusions tirées dun test de randomisation sont strictement valables seulement pour les sujets utilisés dans lexpérience (validation interne). Ces conclusions peuvent être inférées à une population mère si les sujets sont un échantillon aléatoire de la population mère. Malheureusement, ceci est souvent impossible en pratique. 50

51 Sans randomisation, il nest pas possible dassurer la comparabilité des groupes. Dans les études dobservations, pour passer de lassociation statistique à la causalité, le chercheur doit faire appel à un certain nombre de critères auxilliaires. Voici les plus connus: Constance de lassociation observée. Des études conduites en des moments et des lieux différents surt dautres populations produisant des résultats semblables accréditent lhypothèse de causalité. Intensité de lassociation. Laction des biais sur lassociation se fait vraisemblablement moins sentir lorsque lintensité ou la force de lassociation est grande. En ce sens, une plus forte intensité favorise le jugement de causalité. 51

52 Le chercheur doit aussi faire appel à dautres critères auxilliaires tels que : Spécificité de lassociation. Plus un facteur est exclusif, plus linterprétation causale est plausible. Cohérence chronologique. La cause doit précéder leffet. Présence dune relation dose-effet. Leffet augmente lorsque la dose augmente. Cohérence avec les connaissances. 52

53 53

54 Modélisation Structurelle des Equations de Sélection Dr. Alban A. E. AHOURE LECTURE 3 54

55 PLAN I. MOTIVATION II. FORMALISATION III. ESTIMATION IV. APPLICATIONS 55

56 I. MOTIVATION 1.1. Echantillon aléatoire Lors de linférence classique : (1)on tire un échantillon aléatoire de la population dintérêt (2) on spécie une relation entre les variables à expliquer et les variables explicatives (3) on estime les paramètres dintérêt (e.g. effets marginaux, élasticité) (4) on prédit les variables dintérêt pour des valeurs des variables explicatives, sachant les paramètres estimés 56

57 Exemple: Equation de salaires : Supposons quon soit intéressé par lestimation de léquation de salaire de gens en âge de travailler (dans un pays quelconque). La population en question comprend tous les gens en âge de travailler, non seulement ceux qui travaillent mais aussi ceux qui ne travaillent pas. 57

58 1.2. Echantillon non-aléatoire ou choisi (selected) Le terme anglais selected sample quon peut traduire paréchantillon choisi décrit un échantillon non-aléatoire qui peut lêtre pour plusieurs raisons: (1)échantillonnage stratié (2) non-réponse ou attrition De nombreux mécanismes de sélection donnent lieu à des échantillons non-aléatoires 58

59 Exemple: Equation de salaires : Dans la pratique, on observe le salaire de ceux qui travaillent (ils ont au préalable pris la décision de travailler). On ne peut pas inclure dans lestimation les observations de ceux qui ne travaillent pas. Ainsi, se limiter au sous-échantillon de ceux qui travaillent pour prédire le salaire de la population des gens en âge de travailler induit ce quon appelle un biais de sélection. Si on sintéresse à la population de gens qui travaillent, on peut estimer de façon standard léquation de salaire dans un cadre dit conditionnel. 59

60 60

61 61

62 1.4. Exemples dapplication Exemple 1: (Décision dinnover et dépenses dinnovation) Dans des enquêtes dinnovation dentreprise, souvent on doit modéliser la décision dune entreprise dinnover, et si elle innove, comment elle détermine ses dépenses dinnovation. Un modèle de sélection est adéquat dans une telle situation. Exemple 2: (Décision de travailler et offre de travail) De façon similaire, il se peut quon soit intéressé par loffre de travail (en nombre dheures de travail) dune catégorie dagents économiques (individus ou ménages). Loffre de travail nest observée que pour les gens qui ont décidé de travailler. Ainsi, on doit modéliser la décision de travailler et loffre de travail de ceux qui travaillent. Exemple 3: (Dépenses en biens durables) Dans les modèles à biens durables, les agents prennent une décision dacheter ou non un certain bien, et sils achètent le bien, combien dépenser pour acquérir ce bien. Là encore, un modèle de sélection est adéquat. 62

63 Exemple 4: (Décision dêtre locataire ou propriétaire, et dépenses associées au régime) Modèle de regime ou endogenous switching regression. Exemple 5 : Effets de la politique active demploi sur la durée de chômage des jeunes urbain en Côte dIvoire (Dr. Kouakou K. Clément). Lestimation dun modèle de durée avec instrumentation du passage par le programme dinsertion réfute lexistence dun effet significatif sur la sortie du chômage dans la situation post programme des jeunes. 63

64 64

65 65

66 66

67 67

68 68

69 69

70 70

71 71

72 Quelques Remarques (1)En principe, le modèle Tobit type 3 est plus riche en information que le modèle Tobit type 2 pour estimer léquation de salaire. (2) Lestimation de β, est-elle plus précise quand on utilise le modèle Tobit type 3? (3) Dans le modèle Tobit type 3, la propension de lindividu à travailler et son offre de travail souhaitée sont confondues 72

73 73

74 74

75 75

76 76

77 77

78 78

79 79

80 80

81 81

82 82

83 83

84 84

85 85

86 86

87 IV. APPLICATIONS : DECISION DE TRAVAILLER ET EQUATION DE SALAIRES 87

88 88

89 IV. APPLICATIONS : OFFRE DE TRAVAIL ET EQUATION DE SALAIRES 89

90 IV. APPLICATIONS : DECISION DETRE SYNDIQUE ET EFFET SUR LES SALAIRES 90

91 Je Vous Remercie Pour Votre Attention 91

92 Variables Instrumentales et Effets Moyens de Traitement Dr. Alban A. E. AHOURE LECTURE 4 92

93 PLAN I. MOTIVATION 1.1. Effets moyens de traitement 1.2. Variables instrumentales II. MODELES A VARIABLES ENDOGENE BINAIRE 2.1. Régression Two-Step IV 93

94 I.MOTIVATION 1.1. Effets Moyens de Traitement (EMT) Cadre Général La variable de traitement d est binaire et vaut 1 si lindividu est traité et 0 sinon; elle est observée. La variable doutput y des individus est continue, et on observe y1 pour les individus qui reçoivent le traitement et y0 pour les individus qui nen reçoivent pas. Autrement dit, pour un individu, y1 ou y0 est observé. On note par x le vecteur de caractéristiques observées des individus (a la fois ceux qui sont traités et ceux qui ne le sont pas). 94

95 On sintéresse au changement moyen de loutput dun individu non-traité si cet individu devait être traité. Donc, leffet moyen de traitement (EMT) dans la population est deni par : E( y1 y0 ) et leffet moyen de traitement des traités (EMTT) est déni par: E( y1 y0 | d =1 ). 95

96 Hypothèse dindépendance conditionnelle Dans le cas où il y a randomisation (expérience contrôlée), le traitement est indépendant de la variable doutput, cest à dire y1, y0 D. En cas dabsence de randomisation, par exemple dans le cas de données observationnelles, lhypothèse dindépendance nest pas satisfaite, on doit faire alors une hypothèse dindépendance conditionnelle, cest à dire y1, y0 D |x. Si lhypothèse dindépendance conditionnelle est satisfaite, la variable de traitement est dite exogène et on peut appliquer les méthodes du Score de Propension et du Matching (Appariement). Si lhypothèse dindépendance conditionnelle nest pas satisfaite, la variable de traitement est dite endogène et on doit utiliser des modèles à régimes ou des modèles variables instrumentales. 96

97 1.2. Variables Instrumentales Un Seul Instrument Soit un modèle de régression linéaire: Exemple : ( Equation de salaires ) Soit y le salaire de personnes qui travaillent à temps plein, x1 le niveau détudes (en années) et x 2 le genre de ces personnes. On peut supposer que le niveau détudes est corrélé avec des variables non-observables comme la motivation, lintelligence, le talent etc. 97

98 La variable x 1 est donc dite endogène contrairement à la variable x 2 qui est dite exogène. Dans ce cas, si on applique MCO à léquation (1), β 0, β 1 et β 2 sont non- convergents même si E( ɛ |x 2 ) = 0. On peut résoudre ce problème de non-convergence en utilisant lestimateur de la variable instrumentale (VI). Dans ce cas, on a besoin dune variable observable z 1 qui est absente de léquation (1) et qui satisfait 2 conditions. (1)E( ɛ |z 1 ) = 0 (2) E(x 1 |z 1 ) = 0 98

99 Une telle variable z 1 est appelée Variable Instrumentale ou Instrument et sécrit comme : La deuxième condition implique θ 1 = 0. et la relation de léquation (2) est appelée forme réduite. Cest à dire que la variable endogène sécrit comme une projection linéaire de toutes les variables exogènes. 99

100 Léquation (1) sappelle forme structurelle, et la forme réduite associée sécrit : Les paramètres α 0, α 1 et α 2 sappellent paramètres réduits, β 0, β 1 et β 2 sont les paramètres structurels. 100

101 Instruments Multiples Dans le cas dinstrument unique, on applique lestimateur VI standard. Si on a plusieurs instruments pour une variable endogène, on peut utiliser lestimateur VI standard en ignorant certains instruments, mais cet estimateur sera inefficace. Lestimateur VI efficace sappelle lestimateur des 2MCO (2SLS) et est déni de la façon suivante: (1)estimer léquation (2) de la forme réduite, cest à dire δ 0, δ 2 et θ 1 par MCO (2) obtenir (3) régresser Les paramètres obtenus sont les paramètres estimés 2MCO 101

102 II. MODELES A VARIABLES ENDOGENE BINAIRE 2.1. Régression Cadre Général Une façon destimer les EMTs ou les EMTTs est décrire une régression où y est la variable expliquée et d la variable explicative. Pour cela, on écrit : y = (1 d)y 0 + dy 1 (4) = y 0 + d(y 1 y 0 ) Écrivons loutput des non- traités comme : y 0 = µ 0 + ν 0 (5) et celui des traités comme : y 1 = µ 1 + ν 1 (6) 102

103 Si on remplace les équations (5) et (6) dans (4) on obtient la régression : où µ 1 est la moyenne de loutput des traités, µ 0 est la moyenne de loutput des non traités, donc : (µ 1 µ 0 ) = EMT, et ν 0 + d(ν 1 ν 0 ) est la composante stochastique (aléatoire) de la régression. Puisquon observe d, et y, on peut estimer léquation (7), et donc (µ 1 µ 0 ). Comme dans toute régression, on doit faire des hypothèses sur la composante stochastique de léquation. 103

104 Par exemple, si on contrôle pour les caractéristiques (supposées exogènes) x de lindividu et quon fait lhypothèse E(ν1 ν0 |x) = 0, sous hypothèse dindépendance conditionnelle ( unconfoundeness ) la variable de traitement est exogène. Dans ce cas, appliquer MCO à léquation (7) estime de façon convergente lEMT. Dans notre cas, on ne fait plus lhypothèse dindépendance conditionnelle, cest-à-dire que la variable de traitement est endogène

105 Lintuition est que la décision dun individu de participer à un programme de développement dépend de certaines caractéristiques non-observables de lindividu qui expliquent loutput dû au traitement. Cest ce quon appelle la sélection sur les non- observables ( selection on unobservables ) par opposition à la sélection sur les observables ( selection on observables ). Exemple : ( Niveau détudes et fertilité ) Supposons que la variable doutput est la fertilité (nombre denfants) des femmes dun certain pays en âge denfanter, et que la variable de traitement est binaire prenant la valeur 1 si la femme a au moins 7 années détudes et 0 sinon. On suppose quil existe des instruments collectés dans un vecteur z et que ν 1 = ν

106 La régression ainsi obtenue sappelle régression à variable endogène binaire et sécrit : Où 106

107 Si il y a un seul instrument, on peut appliquer la méthode VI standard pour estimer δ, et β. Si il y a plusieurs instruments, la méthode VI standard nest pas efficace, dans ce cas, la méthode VI efficace est la méthode 2MCO. 107

108 2.2. Modèles à Variable Endogène Binaire: 2-step IV Si on fait des hypothèses supplémentaires, on peut estimer lEMT, δ et β de façon encore plus efficace que la méthode 2MCO. Les hypothèses supplémentaires sont les suivantes : P( d = 1|x, z ) =P( d = 1|x ) P( d = 1|x, z ) =F(x, z, γ ) a une forme paramétrique connue (par exemple Probit ou Logit ) E( u|x, z ) = 0 Cette méthode qui permet dobtenir ces valeurs estimées de, δ et β de façon encore plus précise sappelle la méthode VI en 2 étapes (2-step IV). 108

109 La méthode fonctionne de la façon suivante : (1) estimer P( d = 1|x, z ) =F( x, z, γ ) en utilisant un modèle Probit ou Logit (2) obtenir (3) estimer léquation (8) en utilisant comme instruments : Remarques Utiliser comme instrument de d nest pas la même chose quutiliser comme régresseur à la place de d (1) dans le premier cas, on na pas besoin de corriger les erreur- types (2) dans le second cas, il faut corriger pour les erreur-types 109

110 Je Vous Remercie Pour Votre Attention 110

111 IMPLEMENTATION SUR STATA 10. Dr. Alban A. E. AHOURE Dr. Wautabouna OUATTARA LECTURE 5 111

112 IMPLEMENTATION SUR STATA 10. Dr. Alban A. E. AHOURE Dr. Wautabouna OUATTARA LECTURE 6 112

113 A TELIER DE FORMATION DES RESPONSABLES DE LA PROGRAMMATION ET DU SUIVI ET ÉVALUATION DES ADMINISTRATIONS PUBLIQUES ET PRIVÉES Lecture 7 : COMPARAISON DES METHODES DEVALUATION Dr. Wautabouna OUATTARA 10 septembre 2009, Grand-Bassam Cellule dAnalyse de Politiques Economiques du CIRES 113

114 1. CADRE GENERAL Différentes questions empiriques soulevées en Economie et dans les autres Sciences Sociales portent sur lanalyse des causalités des programmes ou politiques. Au cours de deux dernières décennies, différents travaux en économétrie et analyse statistique ont été menés sur les effets de ces programmes ou traitements. Des outils ont été développés pour appréhender les effets des politiques économiques au niveau microscopique ou pour analyser des causalités.politiques économiquescausalités 114

115 PROBLEME PRINCIPAL: dans la littérature lévaluation de leffet de lassignation dun ensemble dagents à un programme ou à un traitement. MAIS: On ne peut à la fois participer et ne pas participer au projet au même moment Données Manquantes SOLUTION: Construire un groupe témoin (imitateur) de participants. Ce groupe de non participants similaires aux participants est le groupe de contrôle qui sert de contrefactuel. PRINCIPE FONDAMENTAL: Toutes les évaluations quantitatives dimpact se résument en la construction dun groupe contrefactuel crédible: expérimentation (randomisation) vs post-évaluation (données observationnelles). 1. CADRE GENERAL 115

116 2. METHODE EXPERIMENTALE: LA RANDOMISATION Le principe général: sapprocher au mieux de la méthode de lessai clinique. On compare des gens qui ont bénéficié dun traitement et des gens qui nen ont pas bénéficié. On met tout en œuvre pour que ces gens soient le plus similaire possible. Les fondements: (1) On ne peut comparer le même individu dans deux situations différentes, tandis quune seule est observable. (2) Au cours du temps, les autres facteurs peuvent changer. (3) On peut recourir à un groupe de comparaison, mais il peut exister des différences initiales (biais de sélection ou programme administré à un groupe particulier). La randomisation, construction du contrefactuel par assignation aléatoire des groupes de participants et non-participants au projet, permet de corriger le biais de sélection. 116

117 2. METHODE EXPERIMENTALE: LA RANDOMISATION LES METHODES DE LA RANDOMISATION 1.Méthode de loterie 2. Randomisation ordonnée ou phase-in 3. La randomisation within-group 4. Les Plans dEncouragement 5. La stratification LES AVANTAGES DE LA RANDOMISATION 1.Grande qualité du contrefactuel Elimination des biais de selection 2.Nécessite un petit échantillon 117

118 2. METHODE EXPERIMENTALE: LA RANDOMISATION LES LIMITES DE LA RANDOMISATION (1) Les expériences contrôlées ne sappliquent pas à tous les projets raisons dordre éthique, dordre pratique. Ethique: Lidentification dun groupe de contrôle et dun groupe test suppose que lon choisit consciemment de ne pas « traiter » tout le monde. Comme le « traitement » est généralement une politique ou de laide que lon juge a priori bénéfique, il est difficile de ne pas voir une injustice à ne pas offrir cette aide à tout le monde. (2) La validité interne est fonction de la conception et de la mise en oeuvre: problèmes dattrition (des individus disparaissent de léchantillon), spillover, contamination, biais de randomisation. James Heckman : la validité des expérimentations nest que conditionnelle. Les résultats ne sont valables que dans le contexte de lexpérimentation (dans le pays, sur léchantillon traité, selon les conditions macroéconomiques, etc.). 118

119 2. METHODE EXPERIMENTALE : LA RANDOMISATION Lopposition entre vision micro et macro. Si les méthodes empiriques des macro-économistes ont été discréditées au profit danalyses micro plus rigoureuses et plus ciblées, les analyses globales (institutions, ouverture commerciale, etc.) nen restent pas moins pertinentes pour expliquer le développement économique. Deaton et Rodrik: les pays qui se sont développés récemment (et ont sorti de la pauvreté des millions dindividus) ne lont pas fait en sappuyant sur une aide extérieure et encore moins sur des politiques de développement expérimentées au préalable, mais en souvrant au commerce, en garantissant les droits de propriété et en luttant contre la corruption. Banerjee et Duflo: les expérimentations ont pu mettre en lumière lefficacité sensiblement différente des politiques pour obtenir le même niveau déducation. Lenthousiasme, légitime, de ces chercheurs les a amené à considérer lexpérimentation comme lidéal méthodologique (le « gold standard ») de léconomie empirique mais aussi comme lespoir dun renouveau de lengagement citoyen et la promesse dun monde meilleur. 119

120 3. METHODES NON-EXPERIMENTALES: CADRE GENERAL 120

121 3. METHODES NON-EXPERIMENTALES: SCORE DE PROPENSION ET MATCHING (1) Idée : Pour chaque individu traité, il faut trouver un individu dans le groupe de contrôle qui lui est similaire dans toutes les observables et comparer les moyennes des résultats entre les deux groupes. Sélection se fonde sur les observables 121

122 (1) Lexact Matching ou Appariement (impossible si X est de grande dimension ou sil y a des variations continues) (2) Lappariement par le Score de Propension: Le score de propension est la probabilité (conditionnelle) de recevoir le traitement étant données les co-variables Estimer P[D i =1|X i ] par Probit ou Logit Appariement sur la base du score de propension Nécessaire si X est de grande dimension Avec ou sans remise? (Cela dépend de la taille du groupe de comparaison) Matching à partir du voisin le plus proche, kernel matching, stratification ou matching sur intervalles. 3. METHODES NON-EXPERIMENTALES: SCORE DE PROPENSION ET MATCHING (2) 122

123 3. METHODES NON-EXPERIMENTALES: LES DOUBLES DIFFERENCES (3) Permet dobtenir un effet individuel qui soit indépendant du temps. Nécessite des données avant et après le traitement Compare le groupe traité et le groupe de comparaison dans leur différence de résultats avant et après le traitement. En comparant les changements dans le temps des moyennes des 2 groupes, on tient compte à la fois des spécificités des groupes et des périodes Contrôler pour le trend temporel au niveau des 2 groupes. Problème de biais dattrition 123

124 3. METHODES NON-EXPERIMENTALES: REGRESSION DISCONTINUITY DESIGN (4) Méthode Quasi-Expérimentale dans laquelle la probabilité de recevoir le traitement est une fonction continue dune variable à un seuil exogène. Exemple: seuil pour recevoir un traitement Appariement en dessous ou au dessus du seuil 124

125 3. METHODES NON-EXPERIMENTALES: VARIABLES INSTRUMENTALES (5) Quest-ce qui se passe si la sélection dépend de caractéristiques non observables qui peuvent être corrélées avec les non observables de léquation dintérêt ? Endogénéité de la variable de sélection. Sélection sur les non–observables: le talent, lintelligence, la motivation. - Estimation par le MV des équations de sélection et dintérêt avec une distribution jointe des termes derreurs. - Heckman en deux étapes (Modèles à Régimes) - 2MCO - IV en deux étapes 125

126 4. CRITERES DE CHOIX ENTRE METHODES NON EXPERIMENTALES (1) Identifier les facteurs qui peuvent affecter le résultat et la sélection Les facteurs communs qui affectent à la fois la sélection et le résultat quils soient observables ou non. La quantité et le type de données disponibles: plus on aura à contrôler pour des questions dendogénéité et/ou de biais de sélection et plus on aura besoin de données. Moins restrictives seront les hypothèses dindépendance et plus on devra faire des hypothèses sur la forme fonctionnelle des équations de sélection et dintérêt et sur les distributions des termes derreur. 126

127 4. CRITERES DE CHOIX ENTRE METHODES NON EXPERIMENTALES (2) Doubles Différences Problème: Perte dune observation Avantage: Corrige pour les effets individuels Regression Discontinuity Design Problème: Peu dobservations en dessous ou au dessus du seuil Problème: Le seuil doit être exogène 127

128 128 Principales démarches dans la conception et l'exécution des évaluations d'impact Pendant l'Identification et la Préparation du Projet 1. Déterminer s'il faut nécessairement effectuer une évaluation ou non 2. Clarifier les objectifs de l'évaluation 3. Explorer la disponibilité des données 4. Concevoir l'évaluation 5. Former l'équipe d'évaluation 6. Si des données seront collectées : (a) Conception et sélection des échantillons (b) Développement de l'instrument de collecte des données (c) Recruter et former le personnel de terrain (d) Réaliser lenquête pilote (e) Collecte de données (f) Gestion et accès aux données Pendant la Supervision du Projet 7. Poursuivre la collecte des données 8. Analyser les données 9. Rendre compte des résultats par écrit et les discuter avec les décideurs et les bailleurs de fonds 10. Incorporer les résultats à la conception du projet.

129 129


Télécharger ppt "Thème : METHODES DEVALUATION DES PROGRAMMES DE DEVELOPPEMENT 9-10 septembre 2009, Grand-Bassam Cellule dAnalyse de Politiques Economiques du CIRES Dr."

Présentations similaires


Annonces Google