Impact Evaluation 4 Peace March 2014, Lisbon, Portugal 1 Echantillonage pour une Evaluation d’Impact Latin America and the Caribbean’s Citizen Security Team Raul Sanchez de la Sierra Columbia University Harvard Academy

Points clés  L’échantillonnage: tirage d’un échantillon  Evaluation: comparer deux echantillons  Grands echantillons: plus de precision  Petits échantillons: risque de fausses conclusions  Solution: Calculs de puissance 2

Evaluation d‘impact 3

Capitaine, desole Je n’ai pas detecte l’impact !

Echantillonnage Population étudiée Echantillon Inference sur la population etudiee

Comment sélectionner un échantillon ? Dans la pratique  Population à l’étude  Tous les enfants de 0 à 24 mois en RDC?  Base d’échantillonnage :  La liste des unités de la population à l’étude  Procédure d’échantillonnage  Echantillonnage probabiliste: exemple échantillon aléatoire  Echantillonnage de convenance: selectionner les plus faciles 6

Quel role de l’echantillon dans une Evaluation? Non-participants Participants au programme Tirer un échantillon aléatoire à partir de deux groupes ne les rend pas comparables. L’échantillonnage aléatoire ne suffit pas pour une Evaluation d’Impact Et si on tirait un échantillon de deux groupes différents ?

: Impact of a medicine Ce medicament augmente-t-il le poids? Prend le medicament Ne prend pas le medicament Impact d’un medicament contre le poids

Impact d’une intervention Traitee Pas traitee Ce qui s’est vraiment passe Ce qui se serait passe Monde reel Monde imaginaire Contrefactuelle

10 Randomisation Echantillon 1: Traitement Echantillon 2: Temoin

Selection par convenance ONG Revenu moyen

Selection aleatoire Revenu moyen ONG

Evaluation d’Impact  Impact du programme: différence entre groupe de traitement et celui du groupe de contrôle.  Comment en estimer l’impact ?  Etape 1 : Mesurer les résultats du groupe de traitement  Etape 2 : Mesurer les résultats du groupe témoin  Etape 3 : Estimer la différence des résultats entre les deux groupes 13

Randomisation ne suffit pas Dans quel cas une randomisation génère-t-elle des groupes comparables ? Témoin La randomisation requiert un nombre suffisant d’unites

Les échantillons plus grands sont plus précis Plus nos observations sont nombreuses, Plus notre “outil de mesure” sera précis 15

Echantillonage et randomisation Randomisation Taille de l’echantillon

Petits echantillons: risques  Petit echantillon: Des vrais impacts risquent de ne pas être détectés “Erreur de type 2” Des faux impacts risquent d’etre conclus: “Erreur de type 1”  Evaluation d’impact puissante: si le risque de non détection de l’impact réel du programme est faible. 17

Quelle taille pour l’echantillon?  Combien de personnes/installations/unités?  Benefices: fiabilite  Couts: argent  Solution: Calculs de puissance 18

Comment choisir la taille de l’échantillon ?  Réponse: c’est complique 19

Lecons a retenir Nous ne connaissons pas à l’avance l’impact: Taille de l’echantillon selon: 1. Impact attendu du programme ? - 2. Variance de l’indicateur de résultat ? + 3. Presence de grappes? + 20

1 er ingédient: Impact du programme  Plus l’impact attendu sera faible  … plus l’outil utilisé pour le détecter devra être précis  Plus l’échantillon devra être grand 21

Détecter des différences moindres est plus difficile 22  Plus l’échantillon est grand  plus l’outil de mesure est précis  plus il est facile de détecter des effets plus petits

2 ème Ingrédient: Variance de l’indicateur de Résultat Grande variance Petite variance

2 ème Ingrédient: Variance de l’indicateur de Résultat  Comment la variance de l’indicateur de résultat affecte-t-elle notre capacité à détecter un impact ? 24

2 ème Elément: Variance des indicateurs de Résultats  Dans quel cas l’impact est-il plus difficile à identifier ? 25 Petite variance Grande variance

3 éme Ingrédient: Grappes  Le programme génère-t-il des grappes?  A quel niveau les résultats sont-ils mesurés ?  A quel niveau le programme est-il mis en œuvre ? Exemple: beaucoup de menages, mais comparables? 26

3 éme Ingrédient: Grappes  Le programme génère-t-il des grappes?  A quel niveau les résultats sont-ils mesurés ?  A quel niveau le programme est-il mis en œuvre ? Exemple: beaucoup de menages, mais comparables?  Enjeux :  Corrélation intra-classe  Implication : il vaut mieux ajouter 1 observation d’une nouvelle grappe (village), plutôt qu’1 observation d’une grappe existante 27

Calculs de puissance Autres facteurs 1. Multiples questions d’évaluation 2. Taux de participation aux programmes 3. Qualité des données 4. Paramètres statistiques 5. Méthode d’évaluation d’impact 28

Questions nombreuses: echantillon large  Deux questions d’évaluation d’impact :  Le programme de nutrition a-t-il un impact ?  Devrait-il être complété par une campagne d’information ?  Evaluation d’impact autour de plusieurs groupes :  Un échantillon plus grand est nécessaire 29 NutritionPas nutrition Pas information III Information IIIIV

Questions nombreuses: echantillon large  Deux questions d’évaluation d’impact :  Le programme de nutrition a-t-il un impact ?  L’impact est-il le même pour les filles que pour les garçons?  Il faut ajuster les calculs de puissance pour s’assurer que la taille de l’échantillon pour chaque sous-groupe est suffisante.  Un échantillon plus grand est nécessaire 30 NutritionPas nutrition Garcons III Filles IIIIV

Taux de participation faible: echantillon large  Taux de participation  Et si tous les ménages ne participaient pas au programme quand on le leur offre? Il faudra élargir l’échantillon pour compenser le faible taux de participation 31

Participation totale

Participation faible

Qualite des donnees faible: echantillon large  Qualité des données  Des données de mauvaise qualité contiennent plus d’erreur  Des différences moindres seront plus difficiles à détecter 34 Mauvaise qualiteBonne qualite

Autres criteres  Autres critères statistiques  Niveau de confiance  Niveau de puissance acceptable Un plus grand niveau de confiance et une puissance plus élevée nécessitent un plus grand échantillon 35

Récapitulatif 36 Eléments :Implication Petits impacts Echantillon doit etre plus grand Populations variees Presence de grappes Forte precision desiree Sous groupes Faible taux de participation Donnees de mauvaise qualite

Points clés  L’échantillonnage: tirage d’un échantillon  Evaluation: comparer deux echantillons  Grands echantillons: plus de precision  Petits échantillons: risque de fausses conclusions  Solution: Calculs de puissance 37

38