La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

ÉVALUATIONS D IMPACT ALEATOIRES Vandana Sharma, MD, MPH Séminaire Handicap International, 4 décembre 2013.

Présentations similaires


Présentation au sujet: "ÉVALUATIONS D IMPACT ALEATOIRES Vandana Sharma, MD, MPH Séminaire Handicap International, 4 décembre 2013."— Transcription de la présentation:

1 ÉVALUATIONS D IMPACT ALEATOIRES Vandana Sharma, MD, MPH Séminaire Handicap International, 4 décembre 2013

2 Sommaire Le Laboratoire d'action contre la pauvreté Abdul Latif Jameel (J-PAL) Qu'est-ce que l'évaluation ? Évaluations aléatoires Qu'est-ce que l'évaluation aléatoire ? Comment mener une évaluation aléatoire ? Défis et difficultés Exemple 1 : éducation et VIH au Kenya Exemple 2 : agents de santé volontaires au Nigéria

3 Laboratoire d'action contre la pauvreté Abdul Latif Jameel (J-PAL) : la science en pratique J-PAL est Un centre fondé en 2003 au sein du département d'économie du MIT (Massachussets Institute of Technology) Un réseau de chercheurs autour du monde Dont la mission est de faire en sorte que le combat contre la pauvreté soit fondé sur des preuves scientifiques Nous essayons en particulier de tirer des leçons des évaluations aléatoires de programmes visant à réduire la pauvreté (au sens large) Que faisons-nous ? Évaluations d'impact rigoureuses Formations Lobbying politique

4 91 universitaires, 441 évaluations dans plus de 55 pays du monde entier J-PAL - Réseau d'économistes menant des essais aléatoires contrôlés

5 Qu'est-ce que l'évaluation ? Une méthode systématique de collecte, analyse et utilisation d'informations dans le but de répondre à des questions sur des politiques et des programmes Évaluation d'un processus : La politique ou le programme a-t-il été mis en œuvre comme prévu ? Évaluation de l'impact : La politique ou le programme a-t-il changé les choses ?

6 L'évaluation est essentielle Les ressources sont limitées Peu de preuves tangibles de ce qui est le plus efficace De nombreuses décisions se prennent sur une intuition ou pour suivre une mode Des évaluations rigoureuses offrent de la fiabilité

7 L'évaluation est utile Aide les décideurs à mieux investir Améliore les programmes Identifie les bonnes pratiques

8

9 The Lancet, 13 février 2010

10 Évaluations d'impact : Les évaluations d'impact mesurent l'efficacité d'un programme en comparant les résultats de ceux qui y ont participé (individus, communautés, écoles, etc.) à ceux qui sont restés en dehors L'objectif est de mesurer l'impact déterminant d'un programme ou d'une intervention sur un résultat Exemples : Dans quelle mesure la distribution gratuite de moustiquaires a-t-elle diminué l'incidence du paludisme ? Dans quelle mesure une campagne d'information sur le VIH a-t-elle réduit les comportements sexuels à risque ? Lequel de deux modèles de chaînes d'approvisionnement a-t-il été le plus efficace pour éliminer les pénuries de médicaments ?

11 Évaluations d'impact Pour déterminer le lien de cause à effet entre l'intervention et le résultat, nous devons mesurer le contrefactuel Qu'est-ce quil serait arrivé aux participants sils navaient pas bénéficié du programme ?

12 Impact : qu'est-ce que c'est ? Temps Résultat principal Impact Contrefactuel Intervention

13 Impact : qu'est-ce que c'est ? Temps Résultat principal Impact Intervention Contrefactuel

14 Impact : qu'est-ce que c'est ? Impact = Au résultat au même moment précis si le programme n'avait pas été lancé (le « contrefactuel ») Le résultat quelques temps après le lancement du programme comparé

15 Évaluations d'impact MAIS – Nous ne pouvons pas observer le même individu avec et sans le programme au même moment précis ! Comme le contrefactuel n'est pas observable, l'objectif principal de toutes les méthodes d'évaluation d'impact est de construire ou d'imiter le contrefactuel Il faut un groupe de comparaison adéquat Des individus qui ressemblent beaucoup aux participants, mais qui n'ont pas bénéficié du programme Techniques : Avant/après Utilisation des non-bénéficaires comme groupe témoin

16 Avant/après Avant introduction de moustiquaires 6 cas de paludisme en 6 mois Après introduction de moustiquaires 2 cas de paludisme en 6 mois

17 Avant/après Le programme de moustiquaires a-t-il été efficace pour réduire l'incidence du paludisme ? D'autres facteurs auraient-ils pu provoquer la réduction observée ? Des variations saisonnières Une hausse des revenus : les ménages investissent dans d'autres mesures D'autres programmes

18 Avant/après Important de contrôler avant et après Insuffisant de montrer l'impact du programme De trop nombreux facteurs évoluent au fil du temps Contrefactuel : qu'est-ce qui se serait passé en l'absence du projet, si le reste était pareil

19 Participants vs non-participants Comparer les bénéficiaires du programme avec des personnes qui n'étaient pas éligibles au programme des personnes qui ont choisi de ne pas participer au programme Exemple : suite à la distribution de moustiquaires, comparer les ménages qui en ont bénéficié à d'autres qui n'en ont pas bénéficié Impact des moustiquaires ?

20 Participants vs non-participants Quels autres facteurs pourraient entrer en compte ? Les personnes qui ont choisir de recevoir les moustiquaires peuvent être différents des autres Différences observables Revenu Éducation Différences non observables Facteurs de risques Autres mesures préventives

21 Participants vs non-participants Il est impossible de savoir dans quelle mesure la différence est due aux moustiquaires Impact des moustiquaires Autres facteurs

22 Participants vs non-participants Les non bénéficiaires peuvent être très différents des bénéficiaires Les programmes ciblent souvent des zones spécifiques (par ex. des zones plus pauvres, qui manquent de services spécifiques) Les individus sont souvent présélectionnés pour participer au programme La décision de participer est souvent volontaire Ainsi, les non bénéficiaires sont souvent un mauvais groupe de comparaison, du fait de différences préexistantes (biais de sélection) Le biais de sélection disparaît en cas de randomisation

23 LE MODÈLE EXPÉRIMENTAL ALÉATOIRE EST LA RÈGLE D'OR

24 Sélection aléatoire Identifier un groupe assez important d'individus tous susceptibles de bénéficier d'un programme Affectez-les de manière aléatoire dans l'un des groupes suivants : le groupe expérimental : bénéficiera du programme le groupe témoin : non autorisé à participer au programme (au cours de la période d'évaluation) Pour la sélection aléatoire, il faut que les caractéristiques observables et non observables soient présentes de manière statistiquement identique dans les groupes expérimental et témoin.

25 Sélection aléatoire Comme les membres de ces groupes (expérimental et témoin) sont systématiquement identiques au début de l'essai, toute différence apparaissant entre eux peut être attribuée au programme (traitement) plutôt qu'à un autre facteur Bien conçues et menées, les expériences randomisées sont la méthode la plus crédible pour estimer l'impact d'un programme

26 Sélection aléatoire La randomisation ne fonctionne pas s'il y a seulement deux individus ou groupes Groupe ou individu expérimental Groupe ou individu témoin Par contre, les différences se résorbent si l'échantillon est vaste Grandes différences entre le groupe ou l'individu expérimental et le groupe ou l'individu témoin En moyenne, même nombre de rouges et de bleus dans les groupes expérimental et témoin

27 Peut-on randomiser ? Randomiser ne veut pas dire refuser à des gens de bénéficier du projet Généralement, la mise en place du projet est soumise à des contraintes pour permettre la randomisation La randomisation est la façon la plus juste de répartir le traitement

28 Comment introduire le caractère aléatoire ? Organiser un tirage au sort Randomiser l'ordre d'introduction progressive du programme Encourager de manière aléatoire certains plus que d'autres Plusieurs traitements

29 Introduction progressive d'un programme Randomiser l'ordre dans lequel les cliniques reçoivent le programme Puis comparer le groupe Jan 2014 au groupe Jan 2015 à la fin de la première année Lancement dans 200 cliniques Lancement dans 200 autres cliniques Lancement dans 400 autres cliniques Jan 2014 Jan 2015Juil 2015

30 Si plusieurs groupes doivent recevoir le programme Très vulnérablesVulnérables Non vulnérables Exemple : un programme destiné aux enfants au Kenya Les enfants très vulnérables (orphelins) doivent recevoir le programme Randomiser parmi les enfants moins vulnérables INSCRIRERANDOMISERREFUSER

31 Varier l'intensité et la nature du traitement Intensité Randomiser entre les communautés Impact supplémentaire des relances par SMS Nature Randomiser entre les communautés Quelle approche a le plus fort impact ? Campagne d'informatio n sur le VIH/sida 100 villages Campagne d'informatio n sur le VIH/sida 100 villages Campagne d'informatio n sur le VIH/sida + relances par SMS 100 villages Campagne d'informatio n sur le VIH/sida + relances par SMS 100 villages Campagne d'informatio n sur le VIH/sida (radio) 100 villages Campagne d'informatio n sur le VIH/sida (radio) 100 villages Campagne d'informatio n sur le VIH/sida (journaux) 100 villages Campagne d'informatio n sur le VIH/sida (journaux) 100 villages

32 Unité de randomisation À quel niveau dois-je randomiser ? Individu Ménage Clinique Communauté Éléments à prendre en compte Faisabilité politique de la randomisation au niveau individuel Retombées entre les groupes Capacité de mise en œuvre : une clinique administrant différents traitements

33 Unité de randomisation Randomisation individuelle 630 participants (315 personnes dans le groupe expérimental, 315 dans le groupe témoin) Randomisation au niveau des cliniques 150 cliniques (75 dans le groupe expérimental, 75 dans le groupe témoin) 3000 personnes Unité plus grande = étude plus grande

34 Avantages des évaluations aléatoires Les résultats sont transparents et faciles à partager Difficiles à manipuler ou à contester Plus susceptibles d'être persuasives

35 Limites Ne peuvent pas toujours êtres utilisées (par ex. pour des raisons politiques ou éthiques) Problèmes de validité interne : pouvoir, attrition, conformité, etc. Problèmes de validité externe : taille de l'échantillon, possibilité de généralisation des résultats à la population visée Ces mêmes problèmes se posent souvent pour la validité d'études non expérimentales

36 EXEMPLE 1 Évaluer les programmes pédagogiques sur le VIH mis en place dans les écoles pour les jeunes Kényans

37 Éducation et VIH/sida au Kenya Esther Duflo, Pascaline Dupas, Michael Kremer, Vandana Sharma

38 Contexte : VIH/SIDA AU KENYA Enquête sur les indicateurs du SIDA au Kenya Août - décembre individus observés, âgés de 15 à 64 ans et provenant de ménages de tout le Kenya AU TOTAL : 7,4 % des Kényans sont séropositifs 8,7 % des femmes sont séropositives 5,6 % des hommes sont séropositifs Plus de 1,4 million de Kényans vivent avec le VIH/sida Programme national de lutte contre le SIDA et les IST, Ministère de la Santé, Kenya. Juillet Enquête 2007 sur les indicateurs du SIDA au Kenya : rapport préliminaire. Nairobi, Kenya.

39 VIH/sida au Kenya

40 Mesures de prévention contre le VIH dans les écoles L'éducation est considérée comme un « vaccin social » contre le VIH/sida Les enfants de 5 à 14 ans sont considérés comme une « lueur d'espoir », car : ils ont de faibles taux d'infection au VIH leurs comportements sexuels ne sont pas encore établis, et peuvent être plus facilement façonnés En Afrique, la plupart des enfants vont désormais à l'école primaire Les programmes de prévention contre le VIH dans les écoles sont peu coûteux, faciles à mettre en œuvre et à reproduire Il existe peu de preuves rigoureuses de l'efficacité de ces types de programmes

41 Contexte - Plan d'étude Entre 2003 et 2006, l'organisation à but non lucratif ICS a mis en place des programmes de prévention contre le VIH dans 328 écoles primaires de l'ouest du Kenya Les écoles ont été tirées au sort pour recevoir une, deux ou aucune des interventions suivantes : Formation des enseignants dans le cadre du Programme éducatif national kényan sur le VIH/sida Le programme national sur le VIH se concentre sur l'abstinence jusqu'au mariage et ne comprend pas d'informations sur les préservatifs Ce programme offre une formation continue à trois enseignants du second cycle pour améliorer la mise en œuvre du programme Programme de distribution d'uniformes Deux uniformes distribués gratuitement à une cohorte d'élèves (filles et garçons), dans le but de les aider à rester plus longtemps à l'école (le deuxième uniforme est distribué 18 mois après le premier)

42 Contexte - Plan d'étude Lieu de l'étude : districts de Butere, Mumias, Bungoma Sud et Bungoma Est, dans la province Ouest Échantillon de l'étude : jeunes (dont env. 50 % de filles) inscrits en « Grade 6 » en 2003 (env. 13 ans) Modèle expérimental :

43 Résultats Formation des enseignants : Enseignants plus enclins à discuter du VIH en classe Faible impact sur les connaissances, l'activité sexuelle autodéclarée ou l'utilisation de préservatifs Tolérance accrue vis-à-vis des personnes séropositives Aucun effet sur les taux de grossesse 3 et 5 ans après

44

45 Résultats Programme des uniformes : Réduction du taux de décrochage scolaire (de 17 % chez les garçons et 14 % chez les filles) Réduction du taux de grossesse chez les adolescentes : de 14,4 % à 10,6 % trois ans après de 30,7% à 26,1% cinq ans après

46

47 VIH/sida et éducation dans l'ouest du Kenya : une étude de suivi des biomarqueurs Objectif : étudier l'impact de la formation des enseignants et des programmes d'uniformes sur la transmission réelle d'IST et du VIH Les données autodéclarées sont souvent peu fiables, particulièrement en ce qui concerne les comportements sexuels L'évolution des connaissances ou des mentalités ne se traduit pas forcément par des changements de comportements durables

48 Plan d'étude Une enquête transversale pour mesurer la prévalence du HSV-2 et les conséquences sur le comportement a été soumise à des sujets entre février 2009 et mars 2011 six à huit ans après les interventions Remarque : n'a pas la puissance statistique nécessaire pour estimer l'impact sur le VIH

49 328 écoles de l'ouest du Kenya Formation des enseignants Uniformes gratuits Groupe témoin CAP Prév. du HSV-2 CAP Prév. du HSV-2 CAP Prév. du HSV-2 Sélection aléatoire Suivi en Programmes offerts en 2003 CAP = connaissances, attitudes et pratiques

50 Résultats I Infection au HSV-2 sept ans après l'intervention FemmesHommes Positives au HSV-2 Positifs au HSV-2 Programme des uniformes1,099 1,1 Intervalle de confiance (95 %)(0, ,427) (0, ,461) Valeur P0,48 0,511 Formation des enseignants1,041 0,966 Intervalle de confiance (95 %)(0, ,336) (0, ,303) Valeur P0,755 0,82 Les deux0,802* 0,866 Intervalle de confiance (95 %)(0, ,040) (0, ,167) Valeur P0,096 0,345 Échantillon observé Moyenne du groupe témoin0,118 0,074

51 Resultats II Mariage et maternité sept ans après l'intervention FemmesHommes A déjà été mariée A déjà été enceinte A déjà été marié A déjà eu un enfant Programme des uniformes0,810*0,843 1,0630,966 Intervalle de confiance (95 %)(0, ,016)(0, ,045) (0, ,380)(0, ,251) Valeur P0,0680,119 0,6480,796 Formation des enseignants1,1191,114 0,9951,045 Intervalle de confiance (95 %)(0, ,389)(0, ,396) (0, ,292)(0, ,335) Valeur P0,3090,349 0,9680,724 Les deux0,950,965 1,0621,03 Intervalle de confiance (95 %)(0, ,187)(0, ,205) (0, ,361)(0, ,291) Valeur P0,6530,751 0,6320,796 Échantillon observé Moyenne du groupe témoin0,3910,493 0,1860,214

52 Utilise des poids d'échantillonnage (ceux échantillonnés pendant IT ont une pondération plus élevée) Pondéré en fonction de l'âge au départ, couches de randomisation (emplacement de l'école, répartition par sexe et performance au départ), date de l'enquête ou de la prise de sang

53 Conclusion La subvention éducative (uniformes gratuits) est efficace pour réduire les taux de mariage et de grossesse chez les adolescents, mais n'est pas suffisante pour réduire la transmission du HSV-2 Le programme national sur le VIH, axé sur l'abstinence jusqu'au mariage, semble inefficace pour réduire la transmission du HSV-2 Les deux programmes, mis en œuvre conjointement, semblent réduire la transmission du HSV-2

54 Merci Vandana Sharma, MD, MPH Laboratoire d'action contre la pauvreté Abdul Latif Jameel (J-PAL) Massachusetts Institute of Technology


Télécharger ppt "ÉVALUATIONS D IMPACT ALEATOIRES Vandana Sharma, MD, MPH Séminaire Handicap International, 4 décembre 2013."

Présentations similaires


Annonces Google