Quest–ce que lévaluation dimpact… et comment sen servir? Deon Filmer Development Research Group, The World Bank Atelier de gestion des politiques publiques en éducation axée sur les résultats Programme dÉvaluation dImpact de lÉducation en Afrique (APEIE) Accra, Ghana mai 2010

Quelques exemples Mon gouvernement doit-il distribuer gratuitement des manuels scolaires aux élèves pour promouvoir lapprentissage? Doit-on offrir des bourses scolaires aux enfants pauvres pour promouvoir la fréquentation scolaire? Doit-on récompenser les enseignants à lorigine des améliorations dapprentissage de leurs élèves? Les décisions de gestion doivent-elles être dévolues aux écoles? Lévaluation dimpact est un moyen de répondre à ces questions en se servant dun constat bien fondé

Quest-ce que lévaluation dimpact? Exemple Vous voulez distribuer des manuels scolaires aux élèves comme moyen daméliorer leur apprentissage et résultats. Votre intuition vous dit que les manuels scolaires sont importants. Mais sur quoi cette intuition est-elle fondée? – Sa propre expérience – Le bon sens – Lobservation de lenfant à lécole – La comparaison entre élèves avec et sans manuels scolaires. Lévaluation dimpact, dans cette situation, à pour but de fournir – Un constat bien fondé, – Fondé sur une expérience réelle, – De ce quest limpact réel de fournir des manuels scolaires.

Quest-ce que lévaluation dimpact? Comment lévaluation dimpact atteint-elle cet objectif? – En établissant la causalité de limpact des manuels scolaires sur les résultats dapprentissage – Cest lobjectif final de lévaluation dimpact. Ce atelier répondra aux questions suivantes: – Quest-ce quune bonne estimation? – Comment estimer cet impact? – Comment interpréter cette estimation?

Pourquoi avoir recours à lévaluation dimpact? Pour déterminer lefficacité des politiques – Une intervention envisagée peut-elle être efficace (démonstration de son bien fondé)? – Peut-on élargir le champ dintervention? – Quelles sont les autres options dintervention pour atteindre un objectif particulier, et quelle est la meilleure?

Pourquoi avoir recours à lévaluation dimpact? Déterminer les avantages du programme, et lefficacité-coût des options. – Il est nécessaires dobtenir de bonnes données sur les coûts et les avantages Comprendre la distribution des gains et des pertes Les contraintes budgétaires contraignent à la sélection. De mauvais programmes et politiques équivaut à dilapider des ressources et peuvent être nuisibles.

Pourquoi avoir recours à lévaluation dimpact? Démontrer aux politiciens, à la population, aux bailleurs de fonds que le programme est efficace Cest essentiel pour la soutenabilité Cela nourrit les convictions et les attentes

Placer lévaluation dimpact dans le contexte Suivi Évaluation dimpact Collecte et diffusion périodiques de linformation pour savoir si les résultats atteints sont les résultats attendus Efforts danalyse pour répondre aux questions spécifiques concernant la performance du programme/des activités liées au programme. Efforts danalyse pour établir des liens de causalité La question essentielle: que serait-il advenu en labsence dintervention?

Suivi, évaluation, et évaluation dimpact Collecter périodiquement des données sur les indicateurs et comparer les résultats obtenus avec les objectifs définis. Identifier les goulots détranglement et les signaux dalarme (retards, flux des fonds) Indiquer les besoins denquête futurs Suivi Collecte et diffusion périodiques de linformation pour savoir si les résultats atteints sont les résultats attendus

Suivi, évaluation, et évaluation dimpact Analyser les raisons pour lesquelles les résultats attendus ne sont pas atteints Vérifier lefficacité du ciblage Étudier les résultats non- voulus Permet de tirer des leçons et démettre des recommandations en vue daméliorations. Évaluation Efforts danalyse pour répondre aux questions spécifiques concernant la performance du programme/des activités liées au programme.

Suivi, évaluation, et évaluation dimpact Quelle est linfluence du programme sur les résultats? Quelle est lampleur du changement dans la situation des bénéficiaires suite à lintervention? Quelle serait linfluence de programmes élaborés différemment sur les résultats? Le programme touche-t-il les personnes différemment (femmes, pauvres, minorités)? Quelle est lefficacité-coût du programme? Évaluation dimpact Efforts danalyse pour établir des liens de causalité. La question essentielle: que serait-il advenu en labsence dintervention?

Le problème central dans lanalyse dévaluation dimpact: Le contrefactuel Afin détablir limpact du programme, nous devons savoir ce qui serait advenu en labsence du programme Et essentiellement aux personnes ayant de fait bénéficé du programme

Le problème central dans lanalyse dévaluation dimpact: le contrefactuel Quel est limpact des bourses scolaires sur les inscriptions? Nous voulons observer les unités de traitement dans deux situations Cette observation est-elle possible? Élisabeth au 1 Juillet 2010 avec bourse scolaire Élisabeth au 1 Juillet 2010 sans bourse scolaire

Le problème central dans lanalyse dévaluation dimpact: le contrefactuel Cest impossible! – Nous ne pouvons jamais observer le même individu avec et sans programme en un même point dans le temps Le contrefactuel nest jamais réellement observé Il doit être estimé Lanalyse dévaluation dimpact est axée sur les différentes approches pour estimer le contrefactuel

Pourquoi le contrefactuel est-il important? La session suivante portera en détail sur le contrefacturel Voici juste un exemple

Exemple de limportance du contrefactuel Question: quelle est la meilleure estimation de limpact du programme sur les inscriptions? Temps Inscriptions AprèsAvant A B Programme Impact?

Exemple de limportance du contrefactuel Question: quelle est la meilleure estimation de limpact du programme sur les inscriptions? Inscriptions AprèsAvant A B C? D? Temps Programme Impact?

Quest-ce que lévaluation dimpact? Limpact est… la différence entre les résultats avec et sans programme Lévaluation dimpact implique… Destimer le contrefactuel de manière à ce que les changements dans les résultats puissent être attribués au programme

Quimplique la mise en oeuvre dune évaluation dimpact? Déterminer pourquoi une évaluation dimpact est nécessaire. Comprendre le programme et lenchaînement de résultats associés Définir ce que lon à mesurer Définir la méthodologie Entreprendre – La collecte des données (point de référence, suivi) – La mise en œuvre du programme – Analyse et rapport danalyse Ajuster la politique

Déterminer la nécessité dune évaluation Intervention proposée – Transfert en espèces aux étudiants – Bien identifier le programme de formation des enseignants se rapportant à curriculum donné – Bien identifier le programme de subventions scolaires se rapportant à une structure donnée Autres interventions/interventions complémentaires – Choix entre subventions aux écoles et formation denseignants comme moyen daméliorer les résultats – Information et subventions aux écoles pour encourager leur redevabilité et performances Programme entier/groupe dactivités Réforme du programme Quels sont les bénéficiaires dune évaluation (les concepteurs de politiques, les technocrates, le grand public)?

Comprendre le programme en utilisant lenchaînement des résultats Enseignants Manuels scolaires Subventions scolaires (ce que fait le programme) Formation denseignant Établissement de conseils de classe Transferts conditionnels en espèces Incitatifs salariaux (Biens & Services) Augmentation des inscriptions Réduction de labsentéisme des enseignants Résultats Taux dachèvement dans lenseignement élémentaire plus élevés Facultés dapprentissage plus élevées des élèves Résultats de long terme Chômage plus faible Réduction de la pauvreté Meilleure répartition du revenu IntrantsActivités Produits Cet enchaînement de résultats fournit des indications sur ce quil faut mesurer

Déterminer quoi mesurer Sappuyer sur lenchaînement des résultats Choisir les indicateurs pour lévaluation – Indicateurs définis avec précision – Pouvant être mesurés de manière précise – Reflétant les influences du programme… – … pendant la période dévaluation Quelles sont les importantes sous-populations – Ex: âge, genre, urbain/rural, statut socio- économique…

Comprendre le programme en utilisant lenchaînement des résultats Enseignants Manuels scolaires Subventions scolaires (ce que fait le programme) Formation denseignant Établissement de conseils de classe Transferts conditionnels en espèces Incitatifs salariaux (Biens& Services) Augmentation des inscriptions Réduction de labsentéisme des enseignants Résultats Taux dachèvement dans lenseignement élémentaire plus élevés Facultés dapprentissage plus élevées des élèves Résultats de long terme Chômage plus faible Réduction de la pauvreté Meilleure répartition du revenu IntrantsActivités Produits Indicateurs liés à la mise en oeuvre dun programme

Définir les indicateurs en se servant de lenchaînement des résultats Enseignants Manuels scolaires Subventions scolaires (What the program does) Formation denseignant Établissement de conseils de classe Transferts conditionnels en espèces Incitatifs salariaux (Biens& Services) Augmentation des inscriptions Réduction de labsentéisme des enseignants Résultats Taux dachèvement dans lenseignement élémentaire plus élevés Facultés dapprentissage plus élevées des élèves Résultats de long terme Chômage plus faible Réduction de la pauvreté Meilleure répartition du revenu IntrantsActivités Produits Indicateurs liés aux résultats dun programme

Définir la méthodologie Nous parlerons plus longuement de: – Méthode expérimentale – Méthode quasi-expérimentale Quelques principes: – Préférence pour la méthode qui complémente le mieux le programme – Préférence pour la méthode qui ne modifie pas la conception du programme ou sa mise en œuvre de manière substantiellement – Préférence pour la méthode qui nexclut personne quant à loctroi des bénéfices

Le cycle de lévaluation dimpact Collecte des données de référence Mise en œuvre du programme Suivi de la collecte des données Analyse et diffusion des données Ajustements du programme Phase de conception

L objectif de lévaluation dimpact Améliorer les politiques Comment passer de cette situation de lenseignement…

L objectif de lévaluation dimpact Améliorer les politiques …à cette situation?

Merci!