Guide pratique d'échantillonnage dans le cadre des évaluations d'impact Elena Bardasi.

Présentation au sujet: "Guide pratique d'échantillonnage dans le cadre des évaluations d'impact Elena Bardasi."— Transcription de la présentation:

1 Guide pratique d'échantillonnage dans le cadre des évaluations d'impact
Elena Bardasi

2 Introduction Comment construisons-nous un échantillon permettant de détecter de manière crédible un effet significatif ? Quels groupes ou quelle population nous intéressent et où les trouvons-nous ? Combien de personnes/entreprises/unités faut-il interviewer/observer dans cette population ? Quelles en sont les conséquences sur le budget de l'évaluation ? Attention ! Cette présentation n'a pas la prétention de faire de vous un expert en échantillonnage Elle ne cherche pas non plus à vous « prendre la tête ». Il s'agit plutôt de répondre à la question générale : Comment les composantes de l'échantillonnage affectent-elles ce qu'il est possible d'apprendre d'une évaluation d'impact ?

3 Plan de présentation Cadre d'échantillonnage Taille de l'échantillon
Quels groupes ou quelles populations nous intéressent ? Comment les trouve-t-on ? Taille de l'échantillon Pourquoi est-ce si important : crédibilité des résultats Déterminants de la taille adéquate d’un échantillon Autres questions Exemples Budgets Sample size: Will spend bulk of the presentation on this topic In particular: (a) why it is so important to think about this and (b) how do we determine what is an appropriate sample size.

4 Cadre d'échantillonnage
Qui nous intéresse ? Toutes les PME ? Toutes les PME formelles ? Toutes les PME formelles d'un secteur particulier ? Toutes les PME formelles d'un secteur particulier dans une région particulière? Garder présent à l'esprit la validité externe Les conclusions tirées d'une population (c) peuvent-elles être utiles pour des programmes appropriés d'aide à des entreprises informelles d'un secteur différent ? Les conclusions tirées d'une population (d) peuvent-elles être utiles pour préparer des mesures à portée nationale ? Il faut aussi garder présent à l'esprit la faisabilité et ce que vous voulez apprendre Il peut ne pas être possible ou souhaitable de piloter un programme ou une politique dont le champ d’application est extrêmement large

5 Cadre d'échantillonnage : Déterminer quelles sont les unités qui nous intéressent
Fonction de la taille et du type d'expérience Sélection aléatoire parmi les candidats Exemple : Programme BDS dans les entreprises informelles d'un secteur géographique particulier Possibilité d'utiliser des unités de traitement et de comparaison à partir du pool de candidats Si ce n'est pas faisable (50,000 unités bénéficient du traitement), il faut tirer un échantillon pour mesurer l'impact Changement de politique Exemple : un changement des règles d'enregistrement des entreprises dans un échantillon aléatoire de districts Pour mesurer l'impact sur les bénéfices, on ne peut pas échantillonner toutes les entreprises informelles dans les districts de traitement et dans les districts de comparaison. Il faudra tirer un échantillon d'entreprises au sein des districts. Informations nécessaires avant de tirer un échantillon Une liste exhaustive de toutes les unités d'observation disponibles pour l'échantillonnage dans chaque zone ou chaque groupe Difficile pour des unités telles que les entreprises informelles, mais il existe des techniques pour surmonter ces difficultés

6 Plan de présentation Cadre d'échantillonnage Taille de l'échantillon
Quels groupes ou quelles populations nous intéressent ? Comment les trouve-t-on ? Taille de l'échantillon Pourquoi est-ce si important : crédibilité des résultats Déterminants de la taille adéquate d’un échantillon Autres questions Exemples Budgets Sample size: Will spend bulk of the presentation on this topic b/c this is one of the most important things to consider when planning an IE. In particular: (a) why it is so important to think about this and (b) how do we determine what is an appropriate sample size.

7 Taille de l'échantillon et crédibilité des résultats
Commencer par une question plus simple que l'impact du programme Si par exemple nous voulons savoir quel est le bénéfice annuel moyen d'une PME de Dakar. Option 1 : Nous interrogeons cinq propriétaires d'entreprises et nous utilisons la moyenne de leurs réponses. Option 2 : Nous interrogeons 1000 propriétaires d'entreprises et nous utilisons la moyenne de leurs réponses. Quelle sera la moyenne la plus proche de la vraie moyenne ?

8 Taille de l'échantillon et crédibilité des résultats
Cinq entreprises 1 000 entreprises Numbers are completely made up. In what range do you think the average firm lies? Compare what you can say from the 5 firm case and the 1 000 firm case. Which answer would you be more confident of? Can also point out: 5 firm case has more variance…and because of the low number of observations, it’s difficult to separate the signal from the noise.

9 Taille de l'échantillon et crédibilité des résultats
De manière similaire, quand on détermine l'impact du programme Il faut beaucoup d'observations pour pouvoir dire avec certitude que le résultat moyen du groupe de traitement est plus/moins élevé que celui du groupe de comparaison Que veut dire certitude? Réduire au minimum l'erreur statistique Types d'erreurs Erreur de Type 1 : Vous dites qu'il y a un impact du programme alors qu’en réalité il n'y en a pas. Erreur de Type 2 : Il y a réellement un impact du programme mais vous ne pouvez pas le détecter.

10 Taille de l'échantillon et certitude
Erreur de Type 1 : Trouver un impact du programme quand il n'y en a pas L'erreur peut être minimisée après la collecte des données, au cours de l'analyse statistique Besoin d'ajuster les niveaux de significativité des estimations d'impact (par ex. intervalles de confiance à 99 % ou 95 %) Erreur de Type 2 : Ne pas pouvoir détecter un effet alors qu’il y en a un En jargon statistique: la puissance du test est faible Il faut minimiser l'erreur avant la collecte des données Meilleur moyen d'y parvenir : s'assurer que vous disposez d'un échantillon suffisamment important Tout l'intérêt d'une évaluation d'impact est d'en apprendre quelque chose Ex ante (a priori) : Nous ne savons pas quelle est l'importance de l'impact de ce programme Faible puissance ex-post (a posteriori) : Ce programme pourrait avoir fait progresser les profits des entreprises de 50%, mais nous ne pouvons pas distinguer avec certitude une augmentation de 50% d'une augmentation nulle

11 Calcul de la taille de l'échantillon
En fait, il existe une formule, il ne faut pas avoir peur ! L'essentiel de ce qu'il faut avoir à l'esprit : Taille de l'effet détectable Probabilité d'erreurs de type 1 et de type 2 Variance du/des résultat(s) Unités (entreprises/banques) par zone traitée Just showing you this formula so that you know it exists. Today I will discuss the main elements of this formula that you need to be aware of since they affect: What exactly we can learn from an impact evaluation How much it will cost We won’t go over the last term today. Sometimes it’s not an issue, and it’s unlikely to be a major issue in PSD evaluations.

12 Calcul de la taille de l'échantillon
Taille de l'effet détectable L'effet minimal recherché pour faire la distinction par rapport à zéro Une augmentation des ventes de 30 %, une diminution de 25 % des pots de vin versés Échantillons plus larges  des effets plus petits sont plus faciles à détecter La durée du travail des entrepreneurs hommes et femmes est-elle la même ? Postulat : En moyenne, les femmes travaillent 40 h/semaine et les hommes 44 h/semaine Si la statistique est tirée d'un échantillon de 10 hommes et 10 femmes Difficile de savoir s'ils sont différents Ce serait plus facile de voir la différence si les femmes travaillaient 30 h/semaine et les hommes 80 h/semaine Mais si la statistique est tirée d'un échantillon de 500 hommes et 500 femmes Il est plus probable qu'ils diffèrent réellement

13 Calcul de la taille de l'échantillon
Comment choisir la taille de l'effet détectable L'effet minimal incitant la réponse d’une intervention publique L'effet minimal qui vous permettra de dire qu'un programme n'a pas été un échec Ce programme a fait progresser significativement les ventes de 40 %. Génial - voyons comment nous pouvons répliquer ceci à plus grande échelle. Ce programme a fait progresser significativement les ventes de 10 %. Génial...hum... voyons-voir : on a dépensé tout ça pour ne faire progresser les ventes que de si peu?

14 Calcul de la taille de l'échantillon
Erreurs de Type 1 et Type 2 Type 1 Niveau de significativité des estimations fixé généralement à 1 % ou 5 % Probabilité de 1 % ou 5 % qu'il n'y ait pas d'effet, mais nous en trouvons un Type 2 Puissance généralement fixée à 80 % ou 90 % Probabilité de 20 % ou 10 % qu'il y ait un effet mais nous ne pouvons pas le détecter Échantillons plus larges  puissance plus grande

15 Calcul de la taille de l'échantillon
Variance des résultats Moins de variabilité sous-jacente  différences plus faciles à détecter  possibilité d’avoir un plus petit échantillon Graphs from JPAL Executive Education course. Low standard deviation: We can definitely tell these two groups apart. Medium standard deviation: It’s a little harder to tell them apart High standard deviation: Can we say anything here? Relationship between sample size and variance: Recall the 5 firm and 1 000 firm cases. The 1 000 firm case had much lower variance.

16 Calcul de la taille de l'échantillon
Variance des résultats Comment la connaître avant de décider de la taille de l'échantillon et avant de collecter nos données ? Idéalement, données préexistantes. Souvent...inexistantes Possibilité d'utiliser des données préexistantes provenant d'une population similaire Exemples : Enquêtes sur les entreprises, enquêtes sur la main d'œuvre Relève plus de la conjecture que des sciences exactes

17 Autres questions Groupes de traitement multiples
Résultats désagrégés par groupe Participation Qualité des données Four further issues that affect sample size.

18 Autres questions Groupes de traitement multiples
Simplicité de la comparaison de chaque traitement séparément au groupe de comparaison Il faut de très grands échantillons pour comparer les groupes de traitement Notamment si les traitements sont très similaires, les différences entre les groupes de traitement seront moindres En fait, c'est comme si l'on fixe une taille d'effet détectable très petite Résultats désagrégés par groupe Les effets diffèrent-ils pour les hommes et les femmes ? Pour les différents secteurs ? Si les genres/secteurs ont tendance à réagir de manière similaire, il faudra aussi des échantillons très larges pour estimer les différences d'impact du traitement In both of these cases, you may need very large sample sizes. It all depends on what you want to learn.

19 Autres questions Résultats désagrégés par groupe Strates
Pour assurer un équilibre entre les groupes de traitement et les groupes de comparaison, il est recommandé de diviser l'échantillon en strates avant l'assignation du traitement Strates Sous-populations Strates courantes: espaces géographiques, genre, secteur, valeurs initiales de la variable de résultat L'assignation au traitement (ou l'échantillonnage) se déroule au sein de ces groupes If you are interested in learning if there are group differences, you should consider strata unless you have very large samples.

20 Pourquoi faut-il des strates ?
Un exemple géographique = T = C Say this circular shape represents the total area where the project is being implemented. Notice how the treatment group is not evenly distributed across regions. This could happen even with random assignment…especially if we are not working with terribly large samples.

21 Pourquoi faut-il des strates ?
Quel est l'impact dans une région particulière ? Parfois difficile à déterminer avec certitude Say this circular shape represents the total area where the project is being implemented. Notice how the treatment group is not evenly distributed across regions. This could happen even with random assignment…especially if we are not working with terribly large samples.

22 Pourquoi faut-il des strates ?
Assignation aléatoire à un traitement au sein d' unités géographiques Dans chaque unité, une moitié sera du groupe de traitement, une moitié sera du groupe de comparaison. Même logique pour genre, métier, taille de l'entreprise, etc.

23 Autres questions Participation
Une faible participation augmente la taille de l'effet détectable Un effet ne se détecte que s'il est vraiment important Réduit efficacement la taille de l'échantillon Exemple : Offre de dons de contrepartie aux PME pour des services d'appui aux entreprises (BDS) Offre à 5 000 entreprises Seulement 50 participent Pour pouvoir dire avec certitude qu'il y a un effet sur les ventes il faudrait que ces entreprises aient des énormes chiffres d’affaires après l’intervention

24 Autres questions Qualité des données
Des données de qualité médiocre augmentent sensiblement la taille requise de l'échantillon Observations manquantes Bruit accru Peut être en parti résolu avec le coordinateur de terrain dans le suivi de la collecte des données sur le terrain

25 Un exemple au Ghana  Les calculs peuvent être faits à l'aide de nombreux logiciels de statistiques - par exemple STATA, OD Une expérience au Ghana visant à accroître les bénéfices des micro-entreprises Bénéfices, valeur de référence 50 cedi par mois. Données sur les bénéfices généralement bruitées, donc un coefficient de variation > 1 est fréquent. Exemple de code STATA pour détecter une augmentation de 10% des bénéfices : sampsi 50 55, p(0,8) pre(1) post(1) r1(0,5) sd1(50) sd2(50) Disponibilité de données de réfrérence et de suivi aide à réduire la taille nécessaire pour l’échantillon (pré et post) Résultats Augmentation de 10% (de 50 à 55) : entreprises de chaque groupe Augmentation de 20% (de 50 à 60) : 295 entreprises dans chaque groupe. Augmentation de 50% (de 50 à 75) : 48 entreprises de chaque groupe (mais cette taille d'effet n'est pas réaliste) Que faire si la participation n'est qu'à seulement 50%? Offre de formation professionnelle augmentant les bénéfices de 20%, mais seulement la moitié des entreprises le font. Moyenne pour le groupe traité = 0,5 * ,5 * 60 = 55 Équivalant à la détection d'une augmentation de 10% avec 100% de participation.  besoin de dans chaque groupe au lieu de 295 dans chaque groupe This example comes from David McKenzie’s work in Ghana.

26 En bref Cadre d'échantillonnage Taille de l'échantillon Budgets
Quels groupes ou quelles populations nous intéressent ? Comment les trouve-t-on ? Taille de l'échantillon Pourquoi est-ce si important : crédibilité des résultats Déterminants de la taille adéquate d’un échantillon Autres questions Exemples Budgets aille de l'échantillon Will spend bulk of the presentation on this topic In particular: (a) why it is so important to think about this and (b) how do we determine what is an appropriate sample size.

27 Budgets Que faut-il prévoir ? Collecte des données
Société de sondages Saisie des données Coordinateur de terrain pour assurer que le traitement suit le protocole de randomisation et pour surveiller la collecte des données Analyse des données

28 Budgets Combien tout ceci va-t-il coûter ?
Un éventail de coûts très large. Souvent fonction de La durée de l'enquête Le degré de facilité de la quête des personnes à interroger La dissémination spatiale des personnes à interroger Les problèmes de sécurité Entreprises formelles par rapport à informelles Capital humain requis par l'énumérateur Etc. Données d'enquête au niveau des entreprises:$  /entreprise Données d'enquête sur les ménages: $ 40+/ménage Coordinateur de terrain: $ 10 000-$ 40 000/an Varie en fonction des possibilités de recrutement sur place Données administratives : Généralement gratuites Donnent parfois des résultats limités, peuvent omettre la plus grande part du secteur informel

29 Synthèse La taille de l'échantillon de votre évaluation d'impact déterminera le nombre d'informations que vous pourrez tirer de votre expérience Les calculs supposent une dose de jugement et de supposition mais il est important d'y consacrer du temps Si la taille de l'échantillon est trop faible : perte de temps et d'argent car vous ne pourrez pas détecter un impact non nul avec certitude Si la conception de l'échantillon et la collecte des données réalisées avec peu d'efforts : voir ci-dessus Questions ?