La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Second Cross-country Workshop of the Africa Program for Education Impact Evaluation Dakar, December 2008 Data Collection Top to Bottom (Skipping some stuff.

Présentations similaires


Présentation au sujet: "Second Cross-country Workshop of the Africa Program for Education Impact Evaluation Dakar, December 2008 Data Collection Top to Bottom (Skipping some stuff."— Transcription de la présentation:

1 Second Cross-country Workshop of the Africa Program for Education Impact Evaluation Dakar, December 2008 Data Collection Top to Bottom (Skipping some stuff in the middle) Moussa Blimpo and David Evans Africa Impact Evaluation Initiative (AIM), World Bank

2 For impact evaluation, you want Baseline Follow up (1, 2…) When could you use existing data? Regular surveys (reliable, regular EMIS) Regular testing (annual achievement tests) Most of our countries, insufficient administrative data Why do a survey?

3 Collecting your own data Who should collect? Bureau of Statistics: has capacity & good place to build capacity Other firm: could be better (but might not be) University: maybe cheaper, often less existing structure & so more work, more monitoring Allow time to contract Procurement, disbursement all take time

4 How much is this going to cost? [hint: quite a bit] 320 primary schools 10 student questionnaires test of 40 students 1,000 primary schools head teacher questionnaire teacher questionnaire parent questionnaire

5 How much is this going to cost? [hint: quite a bit] USD $35,000 USD $200, primary schools 10 student questionnaires test of 40 students

6 How much is this going to cost? [hint: quite a bit] USD $50,000 USD $60,000 1,000 primary schools head teacher questionnaire teacher questionnaire parent questionnaire

7 How much is this going to cost? [hint: quite a bit] USD $50,000 USD $200,000

8 Large variations in cost 320 schools USD $50,000 1,000 schools USD $200,000 Big differences! Scale of survey Size of country Labor costs Difficulty in getting to schools Household surveys: More expensive

9 How long will it take? 15 working days for 275 schools 10 working days for 320 schools 40 working days for 2,000 households Factors: Number of teams, size of teams Small group: longer time, better monitoring Big group: shorter time, harder to monitor Enumerator training: ~ one week Pre-testing: 1-2 weeks Design: ~ one month (or more, ideally)

10 Not cheap and not fast, but… Maximize value by delivering multiple products Baseline / follow-up for impact evaluation Social issues: Corporal punishment (home & school) in the Gambia Performance: Student achievement in Sierra Leone for previously unmeasured grades

11 Questionnaire design 1.Identify relevant issues Make sure consider intermediate outcomes School grants: measure school materials, school infrastructure SBM: activity of SMC, frequency of meetings, visits to school And final outcomes like student achievement Gather info to help understand mechanisms Gambia – school-management training deals with a range of areas Measures from each can suggest which elements are working and which are not

12 2. Draft questionnaire a.Harmonize Lots of instruments already available: using them allows easy comparison Cross-country: Making the Grade, classroom observation Within-country: EMIS Existing APEIE: Sierra Leone, the Gambia, Rwanda, Madagascar, Senegal b.Write questions

13 Question pointer: Specific questions Does your teacher assign homework? Did your teacher assign homework yesterday? Do you have regular PTA meetings? Can you recall the dates of the last two PTA meetings?

14 Question pointer: Verify when possible

15 Survey pointer: Leave room Leave space for enumerators to note aberrations Gambia: 43% head teacher absenteeism Yikes! but all off administering a national test

16 b.Distribute draft Get input from sectoral experts Get input from technical experts c.Finalize draft

17 3. Field test But Im an expert: Why do I need to field test? Literacy in Sierra Leone Testing Class 4 Passage from Class 1 book

18 3. Field test a.Train real enumerators b.Go to real schools c.Test on a small sample of students d.Analyze Test again Analyze Field test again (as needed) … e.Finalize questionnaires

19 Sampling With school-based impact evaluation, often survey all schools involved in the intervention Needed for statistical power If sampling students within school to interview, identify a random process

20 Sélection et formation des enumérateurs. 1. Les enumérateurs sont des acteurs très importants dans le processus: ils collecteront les données qui déterminent les résultats des interventions 2.Ils doivent alors être formes quelque peu sur les élément de base de lévaluation dimpact: Afin quils soient alertes sur les sujets tel que la contamination. Afin quils soient alertes sur les aspects qui pourrait compromettre lévaluation dimpact.

21 Composition des équipes Un superviseur Des enumérateurs Autre expertise en fonction du contexte Antropometriste Examinateurs (Gambie: Enumérateurs) Instructions du test de lecture non suivi Chauffeur Autres Matériels et outils nécessaires

22 La Sélection: Gambie Un test avec un volet de connaissances élémentaires en statistique et un volet spécifique aux questions relatives a la collecte de données.

23 La Sélection II Dabord, sélection initiale de 40 sur 151 candidats Ensuite, entrainement des 40 présélectionnés pendant une semaine sur les instruments et lEI. Enfin, donner ensuite un test pour retenir les 30 enumérateurs. Avantage: La formation est prise au sérieux par les enumérateurs car le job nest pas garantie. On aura 10 enumérateurs de réserve forme et prêt a travailler au besoin.

24 Challenges: Gambie Beaucoup de réticences a cette procédure. Sélection traditionnellement basée sur les relations et lexpérience. Lentrainement est limite uniquement a la maitrise des instruments Nombre insuffisant de formateurs des enumérateurs Ecart de 2 semaines entre la fin de la formation des enumérateurs et le départ sur le terrain.

25 Equipe typique en Gambie Pour la Gambie on a eu besoin de 10 équipes de 3 enumérateurs Pendant 3 semaines dont 15 jours effectif de travail. En moyenne 2 écoles enquêtées par jour et par équipe.

26 B. Suivi sur le terrain 0. Importance du suivi des le départ pour corriger les erreurs. Une page manquantes dans quelques questionnaires Doit pas supposer que la supervision sera bien faite par lagence de collecte de données: ex: Supervision limitée en Gambie 1. Est ce que les questionnaires sont bien remplie? La sélection aléatoire des élèves est elle bien faite au niveau de lécole? 2. Rester en contact avec les enumérateurs et partager leur expérience avec les autres. Cela évite que les autres commettent les mêmes erreurs.

27 Apurement 1. Détecter les erreurs dans les données: Incohérences des réponses (Ex. Élève de 5 ans au CM2) et dautres erreurs. Gambie: Beaucoup derreurs dans les données soumises. Près de 3 mois pour tout corriger. 2. Correction des erreurs: Revoir les questionnaires, contacter les enumérateurs, éventuellement retourner sur le terrain. Solution non désirable: Exclure de lanalyse les observations erronées, mais il faut documenter toute suppression.

28 Technologie dapurement Questionnaires remplis directement sur des ordinateurs portables. Détecter immédiatement les incohérences Economie au niveau de la saisie Utile surtout pour les enquêtes de grande envergure. Utilise en ce moment en Tanzanie

29 Une fois données de base collectées La collecte des données de suivi est beaucoup plus simple, moins couteuse, rapide. Utilisation des mêmes instruments Non nécessité de faire un nouveau pré-test Moins besoin de formation (si on utilise les même)

30 Conclusions La collecte des données nécessite beaucoup dargent et defforts Mais cela est essentiel pour lévaluation dimpact. ET peut répondre a plusieurs attentes Concevoir en tenant compte de tous les aspects Suivi attentif Apurement (data cleaning) minutieux Meilleurs connaissances des écoles!


Télécharger ppt "Second Cross-country Workshop of the Africa Program for Education Impact Evaluation Dakar, December 2008 Data Collection Top to Bottom (Skipping some stuff."

Présentations similaires


Annonces Google