Introduction to Impact Evaluation training HSRC, Pretoria, South Africa April 10, 2008 Méthodes non Expérimentales Florence Kondylis Initiative pour lévaluation de limpact en Afrique (AIM) Introduction aux méthodologies dévaluation de limpact – Dakar, Sénégal Décembre 2008

2 Objectif Trouver un scénario hypothétique (contre factuel) plausible Toute méthode non expérimentale est associée à une hypothèse Plus valide lhypothèse, plus fiable lévaluation QUESTIONNER LHYPOTHÈSE Examen objectif

3 Programme à évaluer Programme de lutte contre le HIV/SIDA de Hopetown ( ) Objectif : Réduire la transmission du VIH Intervention : Education par les pairs Groupe cible : Jeunes de 15 à 24 ans Indicateur : Taux de grossesse (indication indirecte de la fréquence des rapports sexuels non protégés)

4 I.Stratégie didentification avant-après Contre factuel : Le changement du taux de grossesse observé avant-après le programme peut être entièrement attribué au programme EFFET = Après moins Avant

5 AnnéeNombre de domaines Taux de grosse des adolescentes (pour 1 000) , ,37 Différence+3,47

6 Effet = +3,47 Intervention Pas dautre changement au fil du temps? Question : quel(s) autre(s) événement(s) survenu(s) entre 2008 et 2012 aurai(en)t pu influer sur la grossesse des adolescentes ?

7 Vérifier la validité de lhypothèse à laide des données antérieures Nombre de domaines Taux de grossesse des adolescentes (pour 1 000) ,9662,9066,37 ÉCARTER lhypothèse du contre factuel selon laquelle il ny a pas de changement au fil du temps ??

8 II. Stratégie didentification des non-participantes Contre factuel : Les participantes nayant bénéficié daucune intervention (contre factuel) affichent le même taux de grossesse que les non-participantes avant le début du programme. EFFET = Participantes moins Non-Participantes

9 La Différence « après » Taux de grossesse des adolescentes (pour 1 000) en 2012 Participantes66,37 Non-participantes57,50 Différence+8,87

10 La Différence « après » Effet = +8,87 Participantes Non-participantes Question : quelle pourrait être la différence, ex ante, entre participantes et non-participantes ?

11 Vérifier la validité de lhypothèse à laide des données antérieures ? ÉCARTER lhypothèse du contre factuel selon laquelle les taux de grossesse sont identiques ??

12 III. Stratégie didentification de la double différence Contre factuel : Taux de grossesse des non-participantes après le programme, en tenant compte des différences initiales entre participantes et non-participantes

13 Questionner lhypothèse de lanalyse contre factuelle Examen Objectif de la validité de lhypothèse : Lévolution du taux de grossesse des participantes au cours du temps pourrait-elle différer de celles des non-participantes ? En labsence de lintervention, le taux de grossesse des participantes et celui des non- participantes suivent les mêmes tendances

14 Taux moyen de grossesse des adolescentes en Différence ( ) Participantes (P)62,9066,373,47 Non-participantes (NP)46,3757,5011,13 Différence (P=NP)16,538,87 -7,66 Différences participantes/non- participantes, avant/après

15 57,50 – 46,7 = 11,13 66,37 – 62,90 = 3,47 Non-participantes Participantes Effet = 3,47 – 11,13 = - 7,66

16 74,0 -7,6 Projection de la différence en labsence du traitement

17 Mettre en doute lhypothèse du contre factuel selon laquelle les tendances sont identiques ?? Taux moyen de grossesse des adolescentes Différence ( ) Participantes (P)54,9662,907,94 Non-participantes (NP)39,9646,376,41 Différence (P=NP)15,0016,53 +1,53 ? Vérifier la validité de lhypothèse à laide des données antérieures

18 IV. Appariement (« matching ») et la divergence dans la différence (double différence) Intuition Méthodologique : Le groupe de référence est constitué en appariant chaque participante au programme à une non- participante « similaire » caractéristiques observées Minimiser les différences au niveau des caractéristiques observées entre participantes et non-participantes Note: Caractéristiques non-observées ne sont Pas mesurées par les données Pas mesurables (capacités intellectuelles…)

19 Hypothèse du contre factuel Examen Objectif de la validité de lhypothèse : Dans quelle mesure les participantes pourraient- elles être différentes des non-participantes auxquelles elles sont appariées ? Les caractéristiques non observées ninfluencent pas les résultats qui nous intéressent (effet du programme)

20 73,36 66,37 Non-participante appariée Participante Effet = - 7,01

21 Vérifier la validité de lhypothèse à laide des données antérieures Considérer avec soin le rôle des caractéristiques non-observables Certaines études ont pu comparer les méthodes expérimentales et non- expérimentales trouvent que >> Les caractéristiques non observées sont importantes >> Le sens de la distorsion est imprévisible

22 V. Stratégie didentification de la discontinuité de la régression Applicabilité : Lorsque ladmissibilité repose sur des critères quantitatifs stricts que les candidats ne peuvent pas influencer pour leur bénéfice Scénario hypothétique : Les non-participantes se trouvant immédiatement en dessous du seuil dadmissibilité servent de référence pour les participantes se situant juste au-dessus dudit seuil

23 Hypothèse du contre factuel Examen Objectif de la validité de lhypothèse : Données antérieures: La distribution du nombre dobservations et de lindicateur autour du seuil dadmissibilité est-elle harmonieuse ? Si oui, lhypothèse est raisonnable ! Evalue uniquement lincidence autour du seuil et non pour lensemble de la distribution ! Les non-participantes se trouvant tout juste au- dessous du seuil dadmissibilité ne sont pas vraiment différentes des participantes se situant immédiatement au-dessus dudit seuil (non- observables

24 Cibler le transfert vers les écoles les plus pauvres Établir un indice de la pauvreté sur une échelle allant de 1 à 100 Les écoles ayant une note <=50 sont retenues Les écoles ayant une note >50 sont exclues Transfert des ressources vers les écoles pauvres Mesurer les résultats (cest-à-dire les notes obtenues aux tests) avant et après le transfert Exemple : Effet des ressources scolaires sur les résultats des tests

25

26 Non-Poor Poor

27

28 Effet du traitement

29 La sélection aléatoire offre lexemple idéal –pas dhypothèses –pas toujours faisable La méthode non expérimentale requiert des hypothèses –Sont-elles raisonnables ? Peut-on les tester ? –Souvent on manque de données… Nous navons pas couvert : –Les variables instrumentales –La mise en œuvre graduelle (« pipeline ») Conclusion