M ÉTHODES NON EXPÉRIMENTALES Marie-Hélène Cloutier (Merci à Markus Goldstein pour la présentation)

O BJECTIF Toute méthode non expérimentale est associée à une hypothèse Trouver un contrefactuel plausible Plus lhypothèse est forte, plus lévaluation est faible VÉRIFIER LA VALIDITÉ DES HYPOTHÈSES Examen objectif

P ROGRAMME À ÉVALUER Programme de lutte contre le HIV/SIDA de Hopetown ( ) Objectifs Réduire la transmission du VIH Intervention : éducation par les pairs Groupe cible : jeunes de 15 à 24 ans Indicateur : taux de grossesse (indication indirecte de la fréquence des rapports sexuels non protégés)

I. S TRATÉGIE D IDENTIFICATION AVANT - APRÈS Contrefactuel : Taux de grossesse observé avant le début du programme EFFET = Après moins Avant

I. S TRATÉGIE D IDENTIFICATION AVANT - APRÈS Contrefactuel : Taux de grossesse observé avant le début du programme EFFET = Après moins Avant AnnéeNombre de domaines Taux de grosse des adolescentes (pour 1 000) , ,37 Différence+3,47

H YPOTHÈSE DU CONTREFACTUEL pas de changement au fil du temps Effet = +3,47 Intervention Question : quel autre événement survenu entre 2008 et 2012 aurait pu influer sur la grossesse des adolescentes ?

Nombre de domaines Taux de grossesse des adolescentes (pour 1 000) ,9662,9066,37 V ÉRIFIER LA VALIDITÉ DE L HYPOTHÈSE à la lumière des données antérieures REJET de lhypothèse du contrefactuel selon laquelle il ny a pas de changement au fil du temps

II. S TRATÉGIE D IDENTIFICATION DES NON - PARTICIPANTES Contrefactuel : Taux de grossesse parmi les non-participantes Taux de grossesse des adolescentes (pour 1000) en 2012 Participantes66,37 Non-participantes57,50 Différence+8,87

H YPOTHÈSE DU CONTREFACTUEL Participantes avant lintervention affichent le même taux de grossesse que les non-participantes Effet = +8,87 Participantes Non-participantes Question : quelle pourrait être la différence entre participantes et non-participantes ?

V ÉRIFIER LA VALIDITÉ DE L HYPOTHÈSE à la lumière des données sur la situation antérieure au programme ? REJET de lhypothèse du contrefactuel selon laquelle les taux de grossesse sont identiques

III. S TRATÉGIE D IDENTIFICATION DE LA DOUBLE DIFFÉRENCE Contrefactuel : 1.Taux de grossesse des non-participantes, tenant compte des différences liées à la situation antérieure au programme entre participantes et non-participantes 2.Taux de grossesse « Avant », tenant compte des changements avant-après chez les non- participantes 1 et 2 séquivalent

Taux moyen de grossesse des adolescentes en Difference ( ) Participantes (P) Non-participantse (NP) Difference (P=NP) III. S TRATÉGIE D IDENTIFICATION DE LA DOUBLE DIFFÉRENCE

57,50 – 46,7 = 11,13 66,37 – 62,90 = 3,47 Non-participantes Participantes Effet = 3.47 – = III. D OUBLE D IFFÉRENCE (1)Non-partcipantes tenant compte de lavant-après

Après Avant – = – = 8.87 Effet = 8.87 – = III. D OUBLE D IFFERENCE (1)Avant-après tenant compte de la participation

74,0 16,5 III. D OUBLE D IFFERENCE

74,0 III. D OUBLE D IFFERENCE -7,6

H YPOTHÈSE DU C ONTREFACTUEL Question : pourquoi les tendances des participantes pourraient-elles différer de celles des non-participantes ? En labsence de lintervention, le taux de grossesse des participantes et celui des non- participantes suivent les mêmes tendances

V ÉRIFIER LA VALIDITÉ DE L HYPOTHÈSE à la lumière des données sur la situation antérieure au programme REJET de lhypothèse du scénario fictif selon laquelle les tendances sont identiques Taux moyen de grossesse des adolescentes Difference ( ) Participantes (P) Non-participantes (NP) Difference (P=NP) ?

IV. A PPARIEMENT (M ATCHING ) ET D OUBLE -D IFFÉRENCE Scénario hypothétique : Le groupe de référence est constitué en appariant chaque participante au programme à une non-participante « similaire » Minimiser les différences au niveau du vecteur des caractéristiques observées entre participantes et non-participantes De façon paramétrique (appariement des scores de propension) De façon non paramétrique

H YPOTHÈSE DU C ONTREFACTUEL Question : dans quelle mesure les participantes pourraient-elles être différentes des non- participantes auxquelles elles sont appariées? Les caractéristiques non observées ninfluencent pas les résultats souhaités

Participante H YPOTHÈSE DU CONTREFACTUEL Effet = 8.87 – = Non-participantes appariées Après = 2.12 Avant =

V ÉRIFIER LA VALIDITÉ DE L HYPOTHÈSE à la lumière des données expérimentales REJET de lhypothèse du contrefactuel Effectuer une méta-analyse des études en sappuyant sur les données expérimentales pour évaluer, en recourant à lappariement, la distorsion des effets estimés : Les caractéristiques non observées sont importantes! Le sens de la distorsion est imprévisible!

V. S TRATÉGIE D IDENTIFICATION DE LA DISCONTINUITÉ DE LA RÉGRESSION ( ANALYSE DE SEUIL ) Applicabilité : Lorsque ladmissibilité repose sur des critères quantitatifs stricts Contrefactuel: Les non-participantes se trouvant immédiatement en dessous du seuil dadmissibilité servent de référence pour les participantes se situant au-dessus dudit seuil

H YPOTHÈSE DU C ONTREFACTUEL Question : la distribution autour du seuil dadmissibilité est- elle lisse? Si oui, lhypothèse est raisonnable Cependant, elle permet dévaluer uniquement lincidence autour du seuil et non en ce qui concerne lensemble du programme Les non-participantes se trouvant tout juste au- dessous du seuil dadmissibilité ne sont pas différentes des participantes se situant immédiatement au-dessus dudit seuil

E XEMPLE : EFFET DES RESSOURCES SCOLAIRES SUR LES RÉSULTATS DES TESTS Cibler le transfert vers les écoles les plus pauvres Établir un indice de la pauvreté sur une échelle allant de 1 à 100 Les écoles ayant une note <=50 sont retenues Les écoles ayant une note >50 sont exclues Transfert des ressources vers les écoles pauvres Mesurer les résultats (cest-à-dire les notes obtenues aux tests) avant et après le transfert

Non-Poor Poor

Effet du traitement

R ÉSUMÉ La randomisation offre « létalon dor» – elle na pas besoin dhypothèses et ses estimations sont toujours précises Les méthodes non expérimentales requiert des hypothèses – pouvez-vous vous en accommoder ?