Évaluations d’impact de la politique d’éducation Dialogue de CABRI sur l’éducation Accra, le 27 février 2013 Laboratoire d’action contre la pauvreté –

Présentation au sujet: "Évaluations d’impact de la politique d’éducation Dialogue de CABRI sur l’éducation Accra, le 27 février 2013 Laboratoire d’action contre la pauvreté –"— Transcription de la présentation:

1 Évaluations d’impact de la politique d’éducation Dialogue de CABRI sur l’éducation Accra, le 27 février 2013 Laboratoire d’action contre la pauvreté – Abdul Latif Jameel _________________________ TRADUIRE LA RECHERCHE EN ACTION

2 ÉVALUATIONS D’IMPACT DE LA POLITIQUE D’ÉDUCATION Enseignements tirés des données factuelles de J-PAL Accra, Ghana

3 Vue d’ensemble  Qui sommes-nous?  Pourquoi des essais contrôlés randomisés (ou essais cliniques aléatoires)  Examen des données factuelles de la politique d’éducation  Analyse coût-efficacité

4 Qui sommes-nous?  Établi par 3 professeurs d’économie au Massachusetts Institute of Technology (MIT), maintenant un réseau de 66 chercheurs à travers le monde  Notre objectif est de promouvoir l’efficacité des programmes sociaux en mettant à la disposition des décideurs des données factuelles d’une rigueur hautement scientifique  Nous y parvenons en : conduisant des évaluations d’impact aléatoires des programmes de pauvreté renforçant les capacités d’autrui pour effectuer des évaluations aléatoires diffusant les résultats  334 évaluations achevées ou en cours, dans 31 pays 4

5 Où travaillons-nous ? 5 Santé Autre Gouvernance Bureau du J-PAL

6 Secteurs dans lesquels nous travaillons 6 Santé Gouvernance Autonomisation des femmes Corruption VIH/SIDA Eau Microfinance Santé

7  De nombreuses questions intéressantes de politique, pour lesquelles les réponses données ne sont pas toujours très bonnes  Corrélations ne créent pas des effets de causalité  Évaluation de processus s’arrête avec les résultats  Dans une optique de responsabilisation (obligation de rendre compte)  Études d’incidences budgétaires  Quel est l’impact sur les bénéficiaires à court terme, à long terme conséquences non voulues, retombées positives  Affectation des ressources :  Existe-t-il d’autres programmes qui peuvent offrir des avantages de manière plus efficiente ?  Permet aux décideurs d’acquérir les connaissance réelles sur les impacts des programmes 7 Pourquoi évaluer ?

8 Le problème d’attribution J p..x l … Je peux lire 8 Année 0Année 1 Facteurs de confusion Intervention

9  La différence entre ce qui est arrivé (avec le programme) …et -ce qui serait arrivé (sans le programme) =IMPACT du programme  Deux types d’informations  Ce qui s’est produit avec le programme  Ce qui se serait produit en l’absence du programme = CONTREFACTUEL 9 Définition

10  Le contrefactuel représente la manière dont les participants au programme se seraient comportés en l’absence de programme  Problème : Le contrefactuel ne peut pas être observé  Solution : Il faut “simuler” ou “construire” le contrefactuel  Diverses méthodologies d’évaluation d’impact diffèrent sur la manière dont elles créent le contrefactuel Contrefactuel

11 En quoi consiste l’impact ? Temps Résultat principal Impact Intervention

12 Avec personne pour comparer Impact Intervention Résultat principal Temps

13 Qu’arriverait-il si ? Impact Intervention Impact Résultat principal Temps

14 Études a posteriori… nous en savons trop peu Impact ? Intervention Résultat principal Temps

15 Pourquoi des évaluations aléatoires ?  Façons normales de mesurer l’impact :  Changement au fil du temps  Comment les bénéficiaires se comparent-il aux non bénéficiaires ?  Mais cela ne distingue pas l'impact du programme d'autres facteurs  Les enfants apprennent au fil du temps (avec ou sans un programme)  En premier lieu, s’inscrire à un programme n’est pas une action typique (par ex., microfinance)  Évaluations randomisées  Ont été adaptées des essais pharmaceutiques  Les bénéficiaires ne sont pas différents des non bénéficiaires (à l’exception du programme)  Plusieurs façons d'introduire la randomisation qui :  Sont d’ordre éthique  Répondent aux besoins des organismes d'exécution/de mise en œuvre  Randomisation n'est pas toujours nécessaire ou appropriée.

16 Quand effectuer une étude d’impact ?  Lorsqu’il existe une question importante pour laquelle vous voulez/vous avez besoin d’obtenir une réponse  Programme commun avec peu de preuves (données factuelles)  Incertitude quant à choix de la stratégie alternative à utiliser  Question clé qui sous-tend beaucoup de programmes différents  Sur le point de déployer un nouveau programme de grande envergure, des questions de conception importantes  Ni trop tôt et ni trop tard :  Test une fois que les nœuds de base ont été défaits  Avant le déploiement à grande échelle  Le programme est représentatif, ne considèrent pas que le plaqué or (les catégories aisées).  Pour faire les choses correctement, il faut du temps, de l’expertise et de l’argent

17 Quand ne pas effectuer une évaluation aléatoire?  Lorsque le programme est prématuré et nécessite encore d’être sérieusement “perfectionné” pour bien fonctionner  Lorsque le projet est mené à trop petite échelle pour randomiser en deux groupes “représentatifs”  Si on a déjà démontré à l’aide d’une méthodologie rigoureuse l’impact positif et si les ressources sont suffisantes pour couvrir (inclure) tout le monde  Si le programme a déjà commencé et que vous n’allez pas le déployer ailleurs

18 Examen des données factuelles de la politique d’éducation Conférence J-PAL Accra, Ghana

19 Vue d’ensemble  De la scolarisation à la fréquentation des écoles  Interventions en faveur de la santé à l’école  Les filles  Favoriser l’apprentissage  Temps d’apprendre, au bon niveau  Apprentissage assisté par ordinateur  Interventions en petite enfance  Questions liées aux enseignants (lorsqu’ils viennent travailler)

20 Se manifester est le premier pas

21 Scolarisation  Réussite importante de la politique à travers l’Afrique pour améliorer la scolarisation  Aucun frais de scolarité, repas à l’école, autres subventions  Transferts en espèces (conditionnels ou inconditionnels)  Les interventions ne sont pas toutes tout aussi rentables  La fréquentation scolaire continue de représenter un défi  De nombreuses raisons de manquer l’école  De s’attaquer aux problèmes de santé peut être particulièrement efficace  Les filles, pas si différentes

22 Cure de vermifuge  Le déparasitage des enfants kenyans a entrainé une augmentation de 7 pour cent de la fréquentation des écoles  Même les enfants qui n'étaient pas directement traités ont profité de plus faibles taux d'infection au sein de la communauté camarades, sœurs et frères cadets  Programme est extrêmement rentable, “achetant” 14 ans d’éducation supplémentaire par 100 USD dépensé.  Résultats à long terme sur le marché du travail aussi  Données factuelles limitées (mais en pleine croissance) sur l'importance des maladies non infectieuses comme obstacles à la scolarisation  Lunettes  Micronutriments

23 Coupes menstruelles  De nombreuses filles ratent l’école pendant leurs règles  Une étude au Népal a utilisé des journaux détaillés  A montré un fort absentéisme  Mais pas dû aux règles  Recours élevé aux coupes menstruelles  Les filles les ont aimées et les ont utilisées  Aucune réduction de l’absentéisme  A réduit de 22 minutes le temps passé à laver leurs vêtements

24 Qu'avons-nous appris sur l'amélioration de l'apprentissage?

25 Favoriser l’apprentissage  Trop d'enfants vont à l'école mais n’apprennent pas  Seulement 54 % des élèves en 3 e année du primaire et 45 % des élèves en 6 e année du primaire ont un niveau en lecture et écriture qui correspond à la norme décrétée pour leur âge/classe dans la Province du Cap occidental  Les intrants éducatifs ne font aucune différence  Ni le rapport élèves/enseignant  Les manuels scolaires (au Kenya) n’ont profité qu’aux bons élèves  Enseigner au bon niveau  Enseignement correctif  Effectuer le suivi de tous les avantages  Apprentissage assisté par ordinateur (si bien conçu !)

26 Enseignement correctif  Littéraire pour les enfants qui prennent du retard  En Inde,15% des enfants âgés entre 7 et 14 ne pouvaient pas reconnaître les lettres ; 39% des enfants ne pouvaient pas lire une histoire d’un niveau de 1 re année du primaire  Pratham a recruté des bénévoles pour donner des cours du soir  Les enfants qui pouvaient lire les lettres avaient 26 % de plus de chances de lire et de comprendre l’histoire, par rapport au groupe témoin  Pratham a formé des enseignants du public pour qu’ils enseignent la lecture et l’écriture  Des progrès importants (1 et) lorsque les enseignants donnaient des cours d’été  Aucun progrès lorsqu’ils enseignaient dans des écoles normales

27 Est-ce que la technologie peut aider?  L’apprentissage assisté par ordinateur de Pratham a permis d’enregistrer d’importants gains  A procuré des logiciels amusants et interactifs  Plus de temps pour apprendre  Mais les données factuelles sont contrastées  Peut améliorer l'apprentissage, ou vice versa  N’est pas toujours rentable  Le secret consiste à augmenter son utilisation, concernant les programmes éducatifs

28 Gains importants, à des coûts modestes  De nombreux enseignants, parents et élèves considèrent la scolarité comme une loterie risquée  Donnent la priorité à la couverture du Programme de cours plutôt qu’à l’apprentissage  Ceux qui prennent du retard, renoncent  Il faut mettre l’accent sur les compétences de base :  Reconnaître avant tout que chaque enfant peut les maîtriser, tant qu’il et son professeur, y consacrent suffisamment d’efforts  Les orthopédagogues peuvent être efficaces avec relativement peu de formation et à peu de frais, au moins dans les petites classes  De nombreuses façons de cibler le niveau par rapport à l’apprenant

29 Motiver les enseignants, les parents et les élèves

30 Questions liées aux enseignants  Mais il est difficile de les amener à venir travailler  Sautent en moyenne un jour par semaine  Les données factuelles sont mitigées en ce qui concerne la manière de motiver les enseignants  Caractéristiques sont de mauvaises variables explicatives  Réussite des étudiants (ou rendement scolaire) Enseignement axé sur les contrôles  Liberté d’appréciation du superviseur  Contrôle communautaire Taux d’absentéisme dans les écoles primaires Ouganda Bangladesh Inde Indonésie Équateur Pérou

31 Contrôler l’absentéisme  Essentiel d’avoir une mesure objective, un processus qu’il est difficile de corrompre  Photos prises deux fois par jour avec les apprenants, enseignement horodaté  Salaire tributaire de l’existence de photos  Baisse de 20 % de l’absentéisme des enseignants  Améliorations considérables des résultats de contrôles des élèves

32 Motiver les parties prenantes  Récompenser les élèves peut-être une approche efficace mais controversée  Reposant sur les résultats obtenus aux examens annuels; cette initiative a considérablement amélioré les résultats scolaires au Bénin.  Une étude des États-Unis : la récompense devrait être en fonction des intrants (comme les efforts) plutôt qu’en fonction des extrants (résultats obtenus aux contrôles).  Amener les parents à la table de l'éducation (les impliquer)  Concours de bourses pour les filles ont motivé les parents à tenir les enseignants pour responsables, et cela a profité à tout le monde, (même aux garçons et aux élèves les plus faibles)  En France, les réunions avec les parents ont permis d’améliorer le comportement des adolescents à l’école, ont eu des retombées positives sur les camarades dont les parents n’ont pas pu se rendre aux réunions

33 Analyse coût- efficacité

34 Présence des enseignants et incitations ʃ Résultats multiples Incitations Contrôle communautaire 50 jours 45 jours 4 jours ʃ 0 jour 0 jour 0 jour 0 jour 0 jour Contrat vs Bourses au Contrôle Contrôle Contrôle Informations par Incitations & Incitations/ Incitations/ Service mérite pour par caméra communautaire communautaire la communauté supervision notes obtenues assiduité public les filles aux contrôles KENYA KENYA INDE OUGANDA MADAGASCAR INDE KENYA KENYA INDE Analyse coût-efficacité de J-PAL : Jours supplémentaires de présence du prestataire par 100 USD dépensé

35 Student Participation ANALYSE COÛT-EFFICACITÉ : ANNÉES SUPPLÉMENTAIRES DE PARTICIPATION DES ÉLÈVES PAR 100 USD DÉPENSÉ Programme réalise divers résultats ans Informations sur Déparasitage École primaire Bourses au mérite les rendements par le biais des gratuite et pour les filles aux parents écoles primaires uniformes gratuits aux contrôles (MADAGASCAR) (KENYA) (KENYA) (KENYA)

36 Je vous remercie ! mngatia@povertyactionlab.org www.povertyactionlab.org