M ÉTHODES NON EXPÉRIMENTALES Marie-Hélène Cloutier (Merci à Markus Goldstein pour la présentation)

Présentation au sujet: "M ÉTHODES NON EXPÉRIMENTALES Marie-Hélène Cloutier (Merci à Markus Goldstein pour la présentation)"— Transcription de la présentation:

1 M ÉTHODES NON EXPÉRIMENTALES Marie-Hélène Cloutier (Merci à Markus Goldstein pour la présentation)

2 O BJECTIF Toute méthode non expérimentale est associée à une hypothèse Trouver un contrefactuel plausible Plus lhypothèse est forte, plus lévaluation est faible VÉRIFIER LA VALIDITÉ DES HYPOTHÈSES Examen objectif

3 P ROGRAMME À ÉVALUER Programme de lutte contre le HIV/SIDA de Hopetown (2008-2012) Objectifs Réduire la transmission du VIH Intervention : éducation par les pairs Groupe cible : jeunes de 15 à 24 ans Indicateur : taux de grossesse (indication indirecte de la fréquence des rapports sexuels non protégés)

4 I. S TRATÉGIE D IDENTIFICATION AVANT - APRÈS Contrefactuel : Taux de grossesse observé avant le début du programme EFFET = Après moins Avant

5 I. S TRATÉGIE D IDENTIFICATION AVANT - APRÈS Contrefactuel : Taux de grossesse observé avant le début du programme EFFET = Après moins Avant AnnéeNombre de domaines Taux de grosse des adolescentes (pour 1 000) 20087062,90 20127066,37 Différence+3,47

6 H YPOTHÈSE DU CONTREFACTUEL pas de changement au fil du temps Effet = +3,47 Intervention Question : quel autre événement survenu entre 2008 et 2012 aurait pu influer sur la grossesse des adolescentes ?

7 Nombre de domaines Taux de grossesse des adolescentes (pour 1 000) 200420082012 7054,9662,9066,37 V ÉRIFIER LA VALIDITÉ DE L HYPOTHÈSE à la lumière des données antérieures REJET de lhypothèse du contrefactuel selon laquelle il ny a pas de changement au fil du temps

8 II. S TRATÉGIE D IDENTIFICATION DES NON - PARTICIPANTES Contrefactuel : Taux de grossesse parmi les non-participantes Taux de grossesse des adolescentes (pour 1000) en 2012 Participantes66,37 Non-participantes57,50 Différence+8,87

9 H YPOTHÈSE DU CONTREFACTUEL Participantes avant lintervention affichent le même taux de grossesse que les non-participantes Effet = +8,87 Participantes Non-participantes Question : quelle pourrait être la différence entre participantes et non-participantes ?

10 V ÉRIFIER LA VALIDITÉ DE L HYPOTHÈSE à la lumière des données sur la situation antérieure au programme ? REJET de lhypothèse du contrefactuel selon laquelle les taux de grossesse sont identiques

11 III. S TRATÉGIE D IDENTIFICATION DE LA DOUBLE DIFFÉRENCE Contrefactuel : 1.Taux de grossesse des non-participantes, tenant compte des différences liées à la situation antérieure au programme entre participantes et non-participantes 2.Taux de grossesse « Avant », tenant compte des changements avant-après chez les non- participantes 1 et 2 séquivalent

12 Taux moyen de grossesse des adolescentes en 20082012 Difference (2008-2012) Participantes (P)62.9066.373.47 Non-participantse (NP)46.3757.5011.13 Difference (P=NP)16.538.87 -7.66 III. S TRATÉGIE D IDENTIFICATION DE LA DOUBLE DIFFÉRENCE

13 57,50 – 46,7 = 11,13 66,37 – 62,90 = 3,47 Non-participantes Participantes Effet = 3.47 – 11.13 = - 7.66 III. D OUBLE D IFFÉRENCE (1)Non-partcipantes tenant compte de lavant-après

14 Après Avant 62.90 – 46.37 = 16.53 66.37 – 57.50 = 8.87 Effet = 8.87 – 16.53 = - 7.66 III. D OUBLE D IFFERENCE (1)Avant-après tenant compte de la participation

15 74,0 16,5 III. D OUBLE D IFFERENCE

16 74,0 III. D OUBLE D IFFERENCE -7,6

17 H YPOTHÈSE DU C ONTREFACTUEL Question : pourquoi les tendances des participantes pourraient-elles différer de celles des non-participantes ? En labsence de lintervention, le taux de grossesse des participantes et celui des non- participantes suivent les mêmes tendances

18 V ÉRIFIER LA VALIDITÉ DE L HYPOTHÈSE à la lumière des données sur la situation antérieure au programme REJET de lhypothèse du scénario fictif selon laquelle les tendances sont identiques Taux moyen de grossesse des adolescentes 20042008 Difference (2004-2008) Participantes (P)54.9662.907.94 Non-participantes (NP)39.9646.376.41 Difference (P=NP)15.0016.53 +1.53 ?

19 IV. A PPARIEMENT (M ATCHING ) ET D OUBLE -D IFFÉRENCE Scénario hypothétique : Le groupe de référence est constitué en appariant chaque participante au programme à une non-participante « similaire » Minimiser les différences au niveau du vecteur des caractéristiques observées entre participantes et non-participantes De façon paramétrique (appariement des scores de propension) De façon non paramétrique

20 H YPOTHÈSE DU C ONTREFACTUEL Question : dans quelle mesure les participantes pourraient-elles être différentes des non- participantes auxquelles elles sont appariées? Les caractéristiques non observées ninfluencent pas les résultats souhaités

21 Participante H YPOTHÈSE DU CONTREFACTUEL Effet = 8.87 – 16.53 = - 7.66 Non-participantes appariées Après = 2.12 Avant = - 7.27

22 V ÉRIFIER LA VALIDITÉ DE L HYPOTHÈSE à la lumière des données expérimentales REJET de lhypothèse du contrefactuel Effectuer une méta-analyse des études en sappuyant sur les données expérimentales pour évaluer, en recourant à lappariement, la distorsion des effets estimés : Les caractéristiques non observées sont importantes! Le sens de la distorsion est imprévisible!

23 V. S TRATÉGIE D IDENTIFICATION DE LA DISCONTINUITÉ DE LA RÉGRESSION ( ANALYSE DE SEUIL ) Applicabilité : Lorsque ladmissibilité repose sur des critères quantitatifs stricts Contrefactuel: Les non-participantes se trouvant immédiatement en dessous du seuil dadmissibilité servent de référence pour les participantes se situant au-dessus dudit seuil

24 H YPOTHÈSE DU C ONTREFACTUEL Question : la distribution autour du seuil dadmissibilité est- elle lisse? Si oui, lhypothèse est raisonnable Cependant, elle permet dévaluer uniquement lincidence autour du seuil et non en ce qui concerne lensemble du programme Les non-participantes se trouvant tout juste au- dessous du seuil dadmissibilité ne sont pas différentes des participantes se situant immédiatement au-dessus dudit seuil

25 E XEMPLE : EFFET DES RESSOURCES SCOLAIRES SUR LES RÉSULTATS DES TESTS Cibler le transfert vers les écoles les plus pauvres Établir un indice de la pauvreté sur une échelle allant de 1 à 100 Les écoles ayant une note <=50 sont retenues Les écoles ayant une note >50 sont exclues Transfert des ressources vers les écoles pauvres Mesurer les résultats (cest-à-dire les notes obtenues aux tests) avant et après le transfert

26

27 Non-Poor Poor

28

29 Effet du traitement

30 R ÉSUMÉ La randomisation offre « létalon dor» – elle na pas besoin dhypothèses et ses estimations sont toujours précises Les méthodes non expérimentales requiert des hypothèses – pouvez-vous vous en accommoder ?