Impact Evaluation 4 Peace March 2014, Lisbon, Portugal 1 Echantillonage pour une Evaluation d’Impact Latin America and the Caribbean’s Citizen Security.

Présentation au sujet: "Impact Evaluation 4 Peace March 2014, Lisbon, Portugal 1 Echantillonage pour une Evaluation d’Impact Latin America and the Caribbean’s Citizen Security."— Transcription de la présentation:

1 Impact Evaluation 4 Peace 24-27 March 2014, Lisbon, Portugal 1 Echantillonage pour une Evaluation d’Impact Latin America and the Caribbean’s Citizen Security Team Raul Sanchez de la Sierra Columbia University Harvard Academy

2 Points clés  L’échantillonnage: tirage d’un échantillon  Evaluation: comparer deux echantillons  Grands echantillons: plus de precision  Petits échantillons: risque de fausses conclusions  Solution: Calculs de puissance 2

3 Evaluation d‘impact 3

4 Capitaine, desole Je n’ai pas detecte l’impact !

5 Echantillonnage Population étudiée Echantillon Inference sur la population etudiee

6 Comment sélectionner un échantillon ? Dans la pratique  Population à l’étude  Tous les enfants de 0 à 24 mois en RDC?  Base d’échantillonnage :  La liste des unités de la population à l’étude  Procédure d’échantillonnage  Echantillonnage probabiliste: exemple échantillon aléatoire  Echantillonnage de convenance: selectionner les plus faciles 6

7 Quel role de l’echantillon dans une Evaluation? Non-participants Participants au programme Tirer un échantillon aléatoire à partir de deux groupes ne les rend pas comparables. L’échantillonnage aléatoire ne suffit pas pour une Evaluation d’Impact Et si on tirait un échantillon de deux groupes différents ?

8 : Impact of a medicine Ce medicament augmente-t-il le poids? Prend le medicament Ne prend pas le medicament Impact d’un medicament contre le poids

9 Impact d’une intervention Traitee Pas traitee Ce qui s’est vraiment passe Ce qui se serait passe Monde reel Monde imaginaire Contrefactuelle

10 10 Randomisation Echantillon 1: Traitement Echantillon 2: Temoin

11 Selection par convenance ONG Revenu moyen 1000 500 0 1457 947

12 Selection aleatoire Revenu moyen 1000 500 0 1257 1242 ONG

13 Evaluation d’Impact  Impact du programme: différence entre groupe de traitement et celui du groupe de contrôle.  Comment en estimer l’impact ?  Etape 1 : Mesurer les résultats du groupe de traitement  Etape 2 : Mesurer les résultats du groupe témoin  Etape 3 : Estimer la différence des résultats entre les deux groupes 13

14 Randomisation ne suffit pas Dans quel cas une randomisation génère-t-elle des groupes comparables ? Témoin La randomisation requiert un nombre suffisant d’unites

15 Les échantillons plus grands sont plus précis Plus nos observations sont nombreuses, Plus notre “outil de mesure” sera précis 15

16 Echantillonage et randomisation Randomisation Taille de l’echantillon

17 Petits echantillons: risques  Petit echantillon: Des vrais impacts risquent de ne pas être détectés “Erreur de type 2” Des faux impacts risquent d’etre conclus: “Erreur de type 1”  Evaluation d’impact puissante: si le risque de non détection de l’impact réel du programme est faible. 17

18 Quelle taille pour l’echantillon?  Combien de personnes/installations/unités?  Benefices: fiabilite  Couts: argent  Solution: Calculs de puissance 18

19 Comment choisir la taille de l’échantillon ?  Réponse: c’est complique 19

20 Lecons a retenir Nous ne connaissons pas à l’avance l’impact: Taille de l’echantillon selon: 1. Impact attendu du programme ? - 2. Variance de l’indicateur de résultat ? + 3. Presence de grappes? + 20

21 1 er ingédient: Impact du programme  Plus l’impact attendu sera faible  … plus l’outil utilisé pour le détecter devra être précis  Plus l’échantillon devra être grand 21

22 Détecter des différences moindres est plus difficile 22  Plus l’échantillon est grand  plus l’outil de mesure est précis  plus il est facile de détecter des effets plus petits

23 2 ème Ingrédient: Variance de l’indicateur de Résultat Grande variance Petite variance

24 2 ème Ingrédient: Variance de l’indicateur de Résultat  Comment la variance de l’indicateur de résultat affecte-t-elle notre capacité à détecter un impact ? 24

25 2 ème Elément: Variance des indicateurs de Résultats  Dans quel cas l’impact est-il plus difficile à identifier ? 25 Petite variance Grande variance

26 3 éme Ingrédient: Grappes  Le programme génère-t-il des grappes?  A quel niveau les résultats sont-ils mesurés ?  A quel niveau le programme est-il mis en œuvre ? Exemple: beaucoup de menages, mais comparables? 26

27 3 éme Ingrédient: Grappes  Le programme génère-t-il des grappes?  A quel niveau les résultats sont-ils mesurés ?  A quel niveau le programme est-il mis en œuvre ? Exemple: beaucoup de menages, mais comparables?  Enjeux :  Corrélation intra-classe  Implication : il vaut mieux ajouter 1 observation d’une nouvelle grappe (village), plutôt qu’1 observation d’une grappe existante 27

28 Calculs de puissance Autres facteurs 1. Multiples questions d’évaluation 2. Taux de participation aux programmes 3. Qualité des données 4. Paramètres statistiques 5. Méthode d’évaluation d’impact 28

29 Questions nombreuses: echantillon large  Deux questions d’évaluation d’impact :  Le programme de nutrition a-t-il un impact ?  Devrait-il être complété par une campagne d’information ?  Evaluation d’impact autour de plusieurs groupes :  Un échantillon plus grand est nécessaire 29 NutritionPas nutrition Pas information III Information IIIIV

30 Questions nombreuses: echantillon large  Deux questions d’évaluation d’impact :  Le programme de nutrition a-t-il un impact ?  L’impact est-il le même pour les filles que pour les garçons?  Il faut ajuster les calculs de puissance pour s’assurer que la taille de l’échantillon pour chaque sous-groupe est suffisante.  Un échantillon plus grand est nécessaire 30 NutritionPas nutrition Garcons III Filles IIIIV

31 Taux de participation faible: echantillon large  Taux de participation  Et si tous les ménages ne participaient pas au programme quand on le leur offre? Il faudra élargir l’échantillon pour compenser le faible taux de participation 31

32 Participation totale

33 Participation faible

34 Qualite des donnees faible: echantillon large  Qualité des données  Des données de mauvaise qualité contiennent plus d’erreur  Des différences moindres seront plus difficiles à détecter 34 Mauvaise qualiteBonne qualite

35 Autres criteres  Autres critères statistiques  Niveau de confiance  Niveau de puissance acceptable Un plus grand niveau de confiance et une puissance plus élevée nécessitent un plus grand échantillon 35

36 Récapitulatif 36 Eléments :Implication Petits impacts Echantillon doit etre plus grand Populations variees Presence de grappes Forte precision desiree Sous groupes Faible taux de participation Donnees de mauvaise qualite

37 Points clés  L’échantillonnage: tirage d’un échantillon  Evaluation: comparer deux echantillons  Grands echantillons: plus de precision  Petits échantillons: risque de fausses conclusions  Solution: Calculs de puissance 37

38 38