Africa Program for Education Impact Evaluation Dakar, Senegal December 15-19, 2008 Les Etapes de lImplémentation dune Evaluation dImpact Moussa P. Blimpo Africa Impact Evaluation Initiative World Bank

2 Etape 1: Identifier les Priorités Examiner le plan du secteur Identifier les grandes priorités –Education Incitation des enseignants Matériel dapprentissage Gestion au niveau de lécole –Si plus de moyens sont dirige vers lincitation des enseignants, alors cest une opportunité dapprendre dans ce domaine.

3 Etape 2: Comprendre limplémentation et les opportunités dévaluation dimpact. Comment est ce que le programme dincitation des enseignants est-il implémenté? –Programme pilote avec un groupe décoles aléatoirement tirées? –Sur toute létendue national? –Seulement dans des écoles satisfaisant certaines conditions? Chacun de ces cas présente une différente opportunité dévaluation dimpact.

4 Etape 3: Faire Une Conception appropriée Garder de vu Lobjectif de lintervention: Destinée aux écoles en besoin. Lévaluation: Exploiter lopportunité dun assignement aléatoire au traitement. Subvention par exemple: 1,000 école vont recevoir des subvention sur 3 ans Assigner aléatoirement 300 a chacune des phases 1-3 Identifier les 500 écoles qui ont le plus besoin et les assigner au phases 1 et 2.

5 3. Plus sur la conception Déterminer la portée: Grande échelle ou pilot? –Grande échelle Représentatifs a léchelle national Implémentation plus couteuse Meilleur information sur lefficacité a léchelle nationale –Pilot (Ex. Dans 2 districts) Plus facile a implémenter Pas aussi efficace en terme de leçons a tirer.

6 Etape 4: Allocation Aléatoire Assigner […] de façon aléatoire au groupe de traitement et de contrôle. –Lunité de traitement peut être a léchelle de lindividu, école, clinique, ou village. Subventions: A léchelle de lécole Immunisation: A léchelle de lindividu Trade off: Lassignement au niveau agrégé (ex. Ecole) Implique un besoin dun plus grand échantillon.

7 Etape 5: Recueillir les Données de Base Les données de base ne sont pas strictement indispensable: La randomisation assure que les groupe de traitement et contrôle sont similaires mais Permet de vérifier que les group sont a priori similaire. Utiles pour lanalyse dimpact Analyse suivant certaines caractéristiques davant traitement (statu de pauvreté, statu familiale, etc.) Permet de mesurer les effets dinclusion et dexclusion.

8 5+ Questionnaires de base Inclure les éléments essentiel a lévaluation dimpact. Les variable de résultat les plus importants Les variables intermédiaires dont on croit qui vont être affectes. Profiter de lopportunité pour collecter des données importants pour le secteur Gambie: Punition corporelle. Qui est ce qui collecte les données? Bureau de statistique: Intégrer avec des données existants Une agence privée: Meilleur contrôle qualité

9 Etape 6: Vérifier la similarité des groupes Traitement et contrôle sont-ils similaire au départ? Si non, rien nest perdu Les données de bases peuvent être utilise pour ajuster lanalyse. PauvretéFemme Chef de ménage Nombre denfants dans le ménage Travail dans le domaine formel Traitement 70%64%3.120% Control 68%66%2.918%

10 Etape 7: Mise en place de lintervention Suivre tout le processus pour sassurer de limplémentation Eviter que le traitement/program soit implémenté a tout le monde. Ex.: Nouveau tableaux distribues a toutes les écoles Lévaluation est compromise: Besoin de suivi! Imagine que tous les ménages de control reçoivent dautres aides et transfères. Exemple: Une ONG se décide didentifier et daider les ménages de control avec des suppléments en nourriture.

11 7+ Information sur le déroulement En réalité, qui a reçu quel traitement? Pourrait affecter limpact mesure Y a t-il quelque chose autre que lintervention initialement planifiée? Exemple: On apprend que ceux qui distribuent les équipements aux cliniques ont également donne des cours détaillés de gestion de cliniques. Limpact va donc inclure leffet de ces cours.

12 Etape 8: Données de suivi Collecter les données de suivie dans les groups de traitement et de control. Quelle intervalle de temps? Déterminer le temps nécessaire avant dobserver les premiers changement. Petit échantillon a 6 mois? Changements intermédiaires. Une année –Résultats initiaux –Ajuster le programme si besoin Deux Ans: Changement des variables de long terme? Apres le programme: Effets persistent?

13 Etape 9: Estimations des impactes Randomisation: Comparer simplement les moyennes entre traitement et control. Autre Méthode: Supposer des hypothèses statistiques et estimer limpacte.

14 9+ Quelle est la portée de limpact? Est ce statistiquement significatif? Les simple test statistiques permet de le savoir. Est important en terme de politique publique? Un programme anti VIH très couteux avec avec un effet marginal nest peut être pas important…

15 Etape 10. Disséminer! Si personne nest au courant des résultats, aucune action ne sera prise! Sassurer que linformation atteint le haut niveau des décideurs. Forums Séminaire Rapport Conférence

16 Etape 11: Réitérer Examiner a nouveau les priorités du secteur. Ou, peut être les impacts ne sont pas aussi grand que celles escomptes Tester des variantes Essayer une autre interventions pour affecter les même variables (ex: meilleur équipements des écoles) Tester! Tester! Tester!