L’ échantillonnage Cadre des évaluations d'impact Moussa P. Blimpo

Introduction Evaluation d’une politique publique Objectif ultime: Même école avec et sans le traitement en même temps  Impossible D’ou l’usage de la théorie statistique Définir un groupe de traitement et un groupe de control Assignement aléatoire: Meilleur façon d’assurer la comparabilité Object de cette présentation: Comment construire un échantillon permettant de détecter de manière crédible un effet significatif ? Quel doit être la taille de l’échantillon pour mon étude? Comment dois-je sélectionner les participants? Comment les composantes de l'échantillonnage affectent-elles ce qu'il est possible d'apprendre d'une évaluation d'impact ?

Plan de présentation Base de sondage Taille de l'échantillon Quels groupes ou quelles populations nous intéressent ? Comment les trouve-t-on: Représentativité Important pour la validité externe Taille de l'échantillon Pourquoi est-ce si important : crédibilité des résultats Déterminants de la taille adéquate d’un échantillon Autres questions relatives a l’échantillonnage Exemples Sample size: Will spend bulk of the presentation on this topic In particular: (a) why it is so important to think about this and (b) how do we determine what is an appropriate sample size.

Base de sondage Qui est ce qui nous intéresse ? Toutes les écoles? Toutes les écoles publiques? Toutes les écoles primaires publiques? Toutes les écoles publiques dans une région donnée? La validité externe: de quoi s’agit t-il? Les conclusions tirées d'une population (c) peuvent-elles être utiles pour des écoles privées? Ecole publiques secondaire? Les conclusions tirées d'une population (d) peuvent-elles être utiles pour préparer des mesures à portée nationale ? Faisabilité: Que voulons-nous apprendre? Il peut ne pas être possible ou souhaitable de piloter un programme ou une politique dont le champ d’application est extrêmement large

Base de sondage L’UNITÉ OU L’OBSERVATION DE BASE Fonction de la taille et du type d'expérience Informations nécessaires avant de tirer un échantillon Une liste exhaustive de toutes les unités d'observation disponibles pour l'échantillonnage dans chaque zone ou chaque groupe A défaut, d’autre méthodes peuvent être utilisées: Mais moins désirable Expérience Randomisée Unité ou observation de base Pilote pour de nouveau livres Ecole ou classe Incitation pour les enseignant des régions défavorisées liste des écoles dans les régions défavorisées

Taille de l'échantillon CRÉDIBILITÉ DES RÉSULTATS Census vs. Echantillons Census: certitude totale, mais trop cher et non pratique Echantillons: Collecte plus rapide et efficace. Fondements scientifiques (statistique) solides. Si par exemple nous voulons savoir quel sont les dépenses annuel moyenne d'une école primaire a Dakar. Option 1 : Nous interrogeons cinq directeurs d’écoles de façon aléatoire et nous utilisons la moyenne de leurs réponses. Option 2 : Nous interrogeons 300 directeurs d’écoles de façon aléatoire et nous utilisons la moyenne de leurs réponses. Quelle sera la moyenne la plus proche de la vraie moyenne ? Pourquoi? Pas besoin d’un census pour etudier la population mais il est clair que un tout petit nombre ne sera pas credible non plus. Il y a une taille minimal necesaire a utilisee.

Taille de l'échantillon CRÉDIBILITÉ DES RÉSULTATS (2) De manière similaire, quand on détermine l'impact du programme Il faut beaucoup d'observations pour pouvoir dire avec certitude que la différence est attribuable au programme en place. Deux type d’erreur sont possible Que veut dire certitude? Il s’agit de minimiser les erreurs du type I et II Le program en réalité (Inconnu) N’a pas d’impact a un Impact L’étude conclut que le program Erreur I Correct Erreur 2

Calcul de la taille de l'échantillon PLUSIEURS FACTEURS EN JEU Le choix de l’échantillon a un fondement scientifique (statistique). Il y a des formules pour ca! L'essentiel de ce qu'il faut avoir à l'esprit : Taille de l'effet détectable Probabilité d'erreurs de type 1 et de type 2 Variance du/des résultat(s) D’autre facteurs entre an jeu dans des cas spéciaux (On verra plus tard) Just showing you this formula so that you know it exists. Today I will discuss the main elements of this formula that you need to be aware of since they affect: What exactly we can learn from an impact evaluation How much it will cost We won’t go over the last term today. Sometimes it’s not an issue, and it’s unlikely to be a major issue in PSD evaluations.

Calcul de la taille de l'échantillon EFFET MINIMAL DETECTABLE Taille de l'effet détectable L'effet minimal recherché pour faire la distinction par rapport à zéro Exemple: Une amélioration du score moyen de 10%? 25%? Les résultats des élèves sont t-ils meilleur dans les écoles ou les enseignants ont reçu une formation supplémentaire? Postulat 1 : En moyenne, le score dans les écoles sans formation est de 50%, contre 55% dans les écoles dont les enseignants ont reçu la formation. Postulat 2 : En moyenne, le score dans les écoles sans formation est de 50%, contre 85% dans les écoles dont les enseignants ont reçu la formation. Lequel des 2 postulat nécessite une échantillons plus large? Échantillons plus larges  des effets plus petits sont plus faciles à détecter

Il es plus facile de détecter de grandes différences Calcul de la taille de l'échantillon EFFET MINIMAL DETECTABLE(2) Il es plus facile de détecter de grandes différences

Calcul de la taille de l'échantillon COMMENT CHOISIR LA TAILLE DE L'EFFET DÉTECTABLE L'effet minimal incitant la réponse d’une intervention publique Ce programme a fait progresser significativement le taux moyen de réussite de 15%. Génial - voyons comment nous pouvons répliquer ceci à plus grande échelle. L'effet minimal qui vous permettra de dire qu'un programme n'a pas été un échec Ce programme a fait régresser significativement l’absentéisme de 0.5% Ah bon! Toutes ces dépenses pour pour un si piètre impact?

Calcul de la taille de l'échantillon ERREURS DE TYPE 1 ET TYPE 2 Niveau de significativité des estimations fixé généralement à 1 % ou 5 % Probabilité de 1 % ou 5 % qu'il n'y ait pas d'effet, mais nous en trouvons un Type 2 Puissance généralement fixée à 80 % ou 90 % Probabilité de 20 % ou 10 % qu'il y ait un effet mais nous ne pouvons pas le détecter Échantillons plus larges  puissance plus grande

Calcul de la taille de l'échantillon VARIANCE DE LA VARIABLE D’INTÉRÊT Moins de variabilité sous-jacente  différences plus faciles à détecter  possibilité d’avoir un plus petit échantillon Graphs from JPAL Executive Education course. Low standard deviation: We can definitely tell these two groups apart. Medium standard deviation: It’s a little harder to tell them apart High standard deviation: Can we say anything here? Relationship between sample size and variance: Recall the 5 firm and 1 000 firm cases. The 1 000 firm case had much lower variance.

Calcul de la taille de l'échantillon VARIANCE DE LA VARIABLE D’INTÉRÊT (2) Comment la connaître avant de décider de la taille de l'échantillon et avant de collecter nos données ? Idéalement, données préexistantes. Souvent...inexistantes Possibilité d'utiliser des données préexistantes provenant d'une population similaire Exemples : Enquêtes sur les écoles, test nationaux Relève plus de la conjecture que des sciences exactes

Autres questions a considérer Groupes de traitement multiples Echantillonnage par group Résultats désagrégés par catégories Stratification Four further issues that affect sample size.

Autres questions GROUPES DE TRAITEMENT MULTIPLES Simplicité de la comparaison de chaque traitement séparément au groupe de comparaison Il faut de très grands échantillons pour comparer les groupes de traitement Notamment si les traitements sont très similaires, les différences entre les groupes de traitement seront moindres En fait, c'est comme si l'on fixe une taille d'effet détectable très petite In both of these cases, you may need very large sample sizes. It all depends on what you want to learn.

Autres questions ÉCHANTILLONNAGE PAR GROUP Pourquoi? Pour éviter la contamination Exemple: Déparasitage Faisabilité et considérations politiques Exemple: Peut être politiquement ou éthiquement incorrect de traiter des voisins différemment Choix naturel Exemple: Program d’infos par radio: rayon de couverture Exemple 2: Programmes qui affecte la classe entière (Formation de l’enseignant par exemple)

Autres questions ECHANTILLONNAGE PAR GROUP(2) Implication: En tenir compte en estiment l’erreur standard de l’effet Les observations peuvent ne plus être Independence Le performances des élèves d’une même classe peut être fortement corrélée En tenir compte au niveau de l’analyse Et la puissance statistique? Le nombre de group est plus important que le nombre d’individus par group Si la performance par classe est fortement corrélée, on a besoin de seulement quelque élèves pour représenter chaque classe. Mais beaucoup de classes

Autres questions RÉSULTATS DÉSAGRÉGÉS PAR GROUPE Les effets diffèrent-ils pour les hommes et les femmes ? Pour les différents niveau d’étude? Si les genres/secteurs ont tendance à réagir de manière similaire, il faudra aussi des échantillons très larges pour estimer les différences d'impact du traitement. Mais cela peut être pris en compte a priori (Stratification) In both of these cases, you may need very large sample sizes. It all depends on what you want to learn. [ AJOUTER SLIDE SUR VARIABLE DE CONTROL ]

Autre questions STRATIFICATION Qu’est ce que c’est? Pourquoi? Sous groupes défini par des variables de control (exemple: Age) La randomisation est ensuite fait dans chaque sous groupe Pourquoi? Plus efficace quand: a) faible variance dans chaque strate b) Grande variance entre strates c) Variable de stratification corrélée avec la variable dépendante Réduit la variance de l’estimation Peut permettre de faire l’analyse par strate If you are interested in learning if there are group differences, you should consider strata unless you have very large samples.

Pourquoi faut-il des strates ? Un exemple géographique = T = C Say this circular shape represents the total area where the project is being implemented. Notice how the treatment group is not evenly distributed across regions. This could happen even with random assignment…especially if we are not working with terribly large samples.

Pourquoi faut-il des strates ? Quel est l'impact dans une région particulière ? Parfois difficile à déterminer avec certitude Say this circular shape represents the total area where the project is being implemented. Notice how the treatment group is not evenly distributed across regions. This could happen even with random assignment…especially if we are not working with terribly large samples.

Pourquoi faut-il des strates ? Assignation aléatoire à un traitement au sein d' unités géographiques Dans chaque unité, une moitié sera du groupe de traitement, une moitié sera du groupe de comparaison. Même logique pour genre, métier, taille de l'entreprise, etc.

Conclusion La taille de l'échantillon de votre évaluation d'impact déterminera la qualité des conclusions que vous pourrez tirer de votre expérience Les calculs supposent une dose de jugement et de supposition mais il est important d'y consacrer du temps Si la taille de l'échantillon est trop faible : perte de temps et d'argent car vous ne pourrez pas détecter un impact non nul avec certitude Si la conception de l'échantillon et la collecte des données réalisées avec peu d'efforts : voir ci-dessus Questions ?

Exercices & Illustrations Echantillons vs. census Nous allons générer des données d’une population Calculer la moyenne et l’écart type Tirer des échantillons de différentes tailles et calculer la moyenne. Voir comment on s’approche des vraies valeurs dans la population. Voyez bien qu’il n’y a pas besoin de census! Moyenne Ecart Type Intervalle de confiance (95%) Population, 100000 61 14.91 - Echantillons, 3000 61.39 15 [60.84 , 61.94] Echantillons, 1000 60.86 15.07 [59.91 , 61.80 ] Echantillons, 300 61.77 14.59 [60.09 , 63.45] Echantillons, 30 66.73 14.75 [61.35 , 72.11]

Exercises & Illustrations Calcul de puissance  Outils statistiques disponible pour faire les calcules (STATA, OD, PASS) Calcul de puissance Le Pays «X» souhaite améliorer la performance des élèves du CM1 en Math. Pour ce faire, le Ministère de l’Education du X a décider de distribuer aux concernes des nouveaux livres de mathématiques a emporter chez eux. Un an au paravent, un test national en Mathématique avait indique que le score moyen était seulement de 40 sur 100 avec un écart type de 19. Les statistiques nationales indiquent que en moyenne 15% des élèves redoublent la classe de CM1. Le cout total moyen, par élève, de la distribution des livres est de 12500 (Prix du livre et cout de la distribution). Vu que les autorités ne sont pas certain de l’efficacité de ce programme, ils décident de l’évaluer dans un premier temps. Listez l’ensemble des éléments dont vous avez besoins afin d’échantillonner. Fixez les valeurs de ces éléments.