Jocelyne Delarue – AFD Conférence SFE – 28/10/2010 Perspective historique sur les évaluations d’impact

Jocelyne Delarue – AFD Conférence SFE – 28/10/2010 Définitions Impact : une catégorie d’effets / Long terme et généraux (lien avec durabilité) / Ultimes au sens du cadre logique Attribution / Tous les effets d’une intervention (attendus, inattendus, directs, indirects, positifs ou négatifs) / Sur un groupe particulier (le groupe cible/les « bénéficiaires ») / Plutôt au niveau des résultats / plutôt en lien avec les objectifs de l’intervention / Mesurable :

Jocelyne Delarue – AFD Conférence SFE – 28/10/2010 Les évaluations d’impact dans une perspective historique A la suite des sciences dures  Les interventions sociales sont des formes d’expérimentations  Leur efficacité est méconnue  Etablir la « vérité » passe par une approche statistique Education Arrêt  Difficulté à obtenir des résultats significatifs  Manque de volonté politique

Jocelyne Delarue – AFD Conférence SFE – 28/10/2010 Les évaluations d’impact dans une perspective historique L’économétrie Econométrie appliquée à l’impact des politiques publiques  Empirique  Prédictive The Cowles Commission for Research on Economics (1932)  Problème d’identification  Méthodes d’estimation et de tests d’hypothèses Programme VAR (70s-80s) : intégration des séries temporelles  Modèles d’équilibres généraux  Analyses de sensibilité  « Natural experiment mouvement »

Jocelyne Delarue – AFD Conférence SFE – 28/10/2010 Les évaluations d’impact dans une perspective historique L’âge d’or des expérimentations aux US (60-70s) Rationalisation de la dépense publique :  Département de la Défense : « planning-programming-budgeting »  En 1965, appliqué à tous les départements Association des politiques et des chercheurs Campbell (Psychologue) « Reforms as experiments » (1969) : RCTs Développement des revues de littérature systématiques et des synthèses de résultats de recherche. En 1974 : 83 RCTs / 1978 : 245 !

Jocelyne Delarue – AFD Conférence SFE – 28/10/2010 Les évaluations d’impact dans une perspective historique Un déclin dans les années 80 Leçons : Faisable MAIS  Pas d’utilisation « instrumentale » des résultats  Trop tard / Les changements politiques  Résultats trop souvent négatifs  Ok pour programmes de petite taille et simples  D’autres types d’informations recevables par les décideurs politiques Retour vers les méthodes qualitatives :  Evaluation participative, pluraliste (courant orienté vers le dialogue)  Evaluation axée sur la redevabilité, l’efficience et la satisfaction du « consommateur » (courant néo-libéral)

Jocelyne Delarue – AFD Conférence SFE – 28/10/2010 Les évaluations d’impact dans une perspective historique 2000s : les politiques fondées sur des preuves « Evidence-based policies »: Royal Statistical Society (1996) Revues synthétiques Cochrane collaboration (1993 : médecine), Campbell collaboration (2000 : politiques sociales, de lutte contre la criminalité, et d’éducation) Engagement du Département de l’éducation aux US pour les évaluations expérimentales (2003 : réponse AEA et non AEA statements) En France, démarrage récent (RSA, Cap vers l’emploi, etc…)

Jocelyne Delarue – AFD Conférence SFE – 28/10/2010 Les évaluations d’impact dans une perspective historique Développement international 80’s : macro-économie de la croissance. Analyses coûts-bénéfices. Fin 90’s : questionnement du consensus de Washington Programmes de lutte contre la pauvreté : analyses coûts/bénéfices pas vraiment applicables. Impact peu traité dans les évaluations de l’aide au développement Mouvement venu des chercheurs en micro-économie : quasi- expérimental puis expérimental PROGRESSA (1997 WB – IFPRI): Un succès retentissant, reproduit dans 27 pays

Jocelyne Delarue – AFD Conférence SFE – 28/10/2010 Les évaluations d’impact dans une perspective historique Une institutionnalisation des EI Development Impact Evaluation initiative (DIME) : Research department WB 2002 (vs. IEG) Jameel Poverty Action Lab (JPAL) au MIT (2003) : « translating research into action » CGD (2006) : « when will we ever learn ? » - Gates and Hewlett foundations International Initiative for Impact Evaluation (3IE) (2007) : 80 M$ pour lesIE

Jocelyne Delarue – AFD Conférence SFE – 28/10/2010 Références CGD Evaluation gap working group When will we ever learn ? Donaldson S.I, Christie C.A and M.M. Mark (ed.) What counts as credible evidence in applied research and evaluation practice. SAGE Publications Heckman J.J.(1999) Causal Parameters and Policy Analysis in Economics : A Twentieth Century Retrospective Oakley A A historical perspective on the use of randomized trials in social science settings. Crime and delinquency (43/315). SAGE Publications Vedung E. (2010) Four waves of evaluation diffusion. Evaluation 16(3) SAGE Publications White H Some reflections on current debates in impact evaluation. 3IE Working paper n°1