Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Induction Causale Florence Kondylis Initiative pour lévaluation de limpact en Afrique (AIM) Introduction aux méthodologies dévaluation de limpact – Dakar, Sénégal Décembre 2008

2 Objectif Evaluer leffet causal dun programme ou dune intervention sur un indicateur Ca nest pas la même chose que la corrélation! –Les au régime ont plus de chance davoir du surpoids (journal) Le régime a-t-il causé le surpoids?

3 Problème relatif à lévaluation Objectif: Comparer la même personne participant et ne participant pas à un programme au même moment Réalité: Ca nest pas possible

4 Résolution Contre factuel : ce qui se passerait en labsence du programme Évaluer le contre factuel –Trouver un groupe témoin Les caractéristique initiales des groupes traités et contre factuels sont identiques Lécart entre les résultats est dû au traitement !

5 Exemples de Contre Factuels Avant et après lintervention : –La même personne avant et après Serait-elle restée au « point mort » sans le programme ?! Non-participants : –Les personnes ayant choisi de ne pas sinscrire au programme –Celles non éligibles pour le programme Quels sont les critères dattribution ?

6 Avant et après lintervention : lassurance chômage –Comparer le revenu avant et après lintervention pour le groupe traité (contre factuel = avant) –On remarque une baisse du revenu pour le groupe « traité » –Le programme na-t-il pas porté ses fruits ? « Avant » = une année normale « Après » = une année de récession Comment discerner leffet de lassurance chômage de celui de la récession ?

7 Avant et après lintervention : lassurance chômage Comparer Y avant et après lintervention Contre factuel =B Effet estimé =A-B Tenir compte des facteurs variant dans le temps Contre factuel=C Effet réel=A-C B-A est sous-estimé Temps Y AprèsAvant B A = Traitement C t-1t Traitement B Impact négatif !! Impact positif !!

8 Les non-participants Démarche : Comparer les non-participants aux participants Contre factuel : résultats des non- participants Problème : pourquoi nont-ils pas participé ? Recherche de travail moins active?

9 Sagit-il de personnes qui bénéficient de lassurance chômage et de celles qui ne lont pas ? Sagit-il de personnes qui consultent un médecin et de celles qui ne le font pas ? Les chômeurs Les malades Participants et non-participants: Sont-ils vraiment similaires?

10 Lexemple du programme de santé Traitement offert Qui sinscrit ? –Les malades –Les populations des zones touchées par une épidémie Les personnes en moins bonne santé Une évaluation utilisant comme contre factuel les personnes/communautés en bonne santé est peu fiable –les deux groupes ne partent pas du « même point » !

11 Où réside le problème ? Distorsion induite par la sélection : les personnes qui choisissent de participer au programme de traitement le font pour des raisons précises Ces raisons sont très souvent directement liées au résultat souhaité Impossible de séparer lincidence du programme de ces autres facteurs/raisons

12 Solutions possibles… Garantir la comparabilité du groupe qui suit le traitement et du groupe témoin SEULE lintervention les sépare Comment ? –Approche expérimentale –Approche expérimentale : Tirage aléatoire (randomisation – cet après-midi) –Approche non expérimentale –Approche non expérimentale : Double différence, Appariement, Discontinuité de la Régression, Variables Instrumentales (demain)

13 Toutes ces solutions passent par… Le tirage aléatoire (« randomisation ») –Assurer à tous la même probabilité dappartenir au groupe témoin ou au groupe qui suit le traitement –Garantir que tous les facteurs/caractéristiques seront en moyenne égaux entre les groupes –Lintervention constitue la seule différence OU Critères de sélection transparents et observables dinclusion dans le programme –Pouvoir « rendre compte » de la sélection

14 Recherche de mécanismes de contrôle : possibilités Contraintes budgétaires :Contraintes budgétaires : –Personnes éligibles et qui sont admises au programme = groupe « traité » –Personnes éligibles et qui ne sont pas admises au programme = groupe « témoin » Mise en œuvre graduelle :Mise en œuvre graduelle : –Ceux qui sont admis en premier = groupe « traité » –Ceux qui sont admis plus tard = groupe « témoin » sélection aléatoireUtiliser la sélection aléatoire pour définir ces 2 groupes –Assure la transparence du processus Redevabilité

15 Recherche de mécanismes de contrôle : Considérations dordre moral Ne pas retarder les prestations : la mise en œuvre doit seffectuer en fonction des contraintes budgétaires/de capacité Équité : les populations remplissant au même degré les conditions requises doivent avoir la même possibilité dêtre admises en premier au programme Transparence et responsabilité : si ladmission repose sur des critères, ces derniers doivent être mesurables et connus du public. Randomisation simplifie les choses !

16 Conclusion (partielle…) On cherche a mesurer leffet dun programme sur un/des indicateur(s) On a besoin dun contre factuel Attention aux mauvais contre factuels ! Lessentiel cest de trouver un contre factuel adéquat –Ce qui aurait eu lieu sans lintervention Options –Répartition Aléatoire –Utiliser dautres méthodes qui demandent davantage dhypothèses MERCI