Méthodes non expérimentales E4P workshop Lisbonne – 25 mars, 2014 Lodewijk Smets Université Catholique de Louvain (KUL) Université d’Anvers (UA)

Intro L’objectif de l’évaluation de l’impact est d’estimer l’effet causal ou l’impact d’un programme sur des indicateurs de résultats.

Intro Pour estimer l’impact, nous devons estimer le scenario contrefactuel: Qu’est-ce qui arriverait en l’absence du programme? => Utiliser un groupe de comparaison

Intro 2 manières pour construire un groupe de comparaison: Méthodes expérimentales Methodes non expérimentales

Méthodes non-expérimentales Comparaison avant-après Comparaison participants vs. non participants Double différence Régression discontinue Appariement

Comparaison avant-après Est-ce l'impact du programme?

Comparaison avant-après Hypothèse fondamentale: si le programme n’avait pas existé, le résultat pour les participants aurait été exactement le même

Participants vs. non-participants 8 Est-ce l'impact du programme? Village non participants

Participants vs. non-participants Hypothèse fondamentale: participants et non participants sont entièrement comparables

Double différence Au lieu de la comparaison avant-après, comparer la différence entre avant et après entre le groupe de traitement et le groupe de contrôle: (Y t1 -Y t0 )-(Y c1 -Y c0 ) Comparaison avant-après Double Différence

Double différence (+) Impact du programme (+) Incidence des autres facteurs Avant Après

Double différence Hypothèse fondamentale: « tendances égales »

Régression discontinue Programmes de lutte contre la pauvreté Retraites Bourses d’étude Agriculture Beaucoup de programmes sociaux sélectionnent les bénéficiaires en utilisant un indice ou un score: Ciblent les ménages sous un seuil de pauvreté Ciblent la population au dessus d’un certain âge Destinées aux élèves dont les résultats aux test sont élevés Fertilisant destiné à des petites exploitations (< un certain nombre d’hectares)

Exemple: Effet de programme de bourses Améliorer la participation scolaire parmi les étudiants provenant des ménages pauvres. Objectif o Ménages avec un score (indice de richesse) ≤50 sont pauvres o Ménages avec un score (indice de richesse) >50 sont non pauvres Méthode Les étudiants provenant des ménages pauvres reçoivent une bourse. Intervention Régression discontinue

Non éligible Eligible situation de référence:

Régression discontinue IMPACT Après l’intervention:

Hypothèse fondamentale: unités juste au-dessus du seuil sont comparables à celles juste au- dessous Régression discontinue

Appariement Idée: Pour chaque unité traitée, choisir la meilleure unité de comparaison (match) d’une autre source de données. Comment? Les paires sont sélectionnées sur la base des similarités dans les caractéristiques observées.

Appariement Groupe de comparaison: non-participants avec les mêmes caractéristiques observables que les participants. Apparier sur la base du «score de propension»: – Calculer la probabilité de participation de chacun, basée sur leurs caractéristiques observables. – Pour chaque participant, trouver un échantillon de non participants avec un score de propension similaire – Comparer les indicateurs des résultats pour chaque observation et le groupe d’observations appariées

Densité du score de propension: Densité Score de Propension 0 1 Participants Non-Participants Support Commun Appariement

L’impact estimé:

Hypothèse fondamentale: il n’existe aucune différence systématique dans les caractéristiques non observées susceptible d’influencer participation et le résultat Appariement

Les méthodes non expérimentales demandent hypothèses différentes: Après-avant: si le programme n’avait pas existé, le résultat pour les participants aurait été exactement le même Participants vs. non participants: participants et non- participants sont entièrement comparables Double différence: tendances égales Régression discontinue: unités juste au-dessus du seuil sont comparables a celles juste au-dessous Appariement: : il n’existe aucune différence systématique dans les caractéristiques non observées susceptible d’influencer participation et le résultat La loi de la crédibilité diminuante

la loi de la crédibilité diminuante Hypothèses + données => conclusions La loi de la crédibilité diminuante (Manski, 2003): hypothèses fortes aident à arriver à des conclusions puissantes, mais sont en général moins crédibles => (Tester et) réfléchir sur les hypothèses des méthodes non expérimentales

Conclusion Il existe différentes méthodes pour définir ou identifier les groupes de comparaison Choisir la meilleure méthode d’évaluation qui est faisable dans le contexte opérationnel, tenir compte de la crédibilité des hypothèses

Reference En Français, en Anglais et en Espagnol