Évaluation dun programme de subvention basé sur des tests pour des écoles privées à faible coût : Preuve de la discontinuité de la régression au Pakistan Felipe Barrera-Osorio Dhushyanth Raju (La Banque mondiale)

Vue densemble de létude : Stratégie et résultats Stratégie destimation – Étant donné que lentrée dans le programme est une fonction des taux minimaux de réussite au test des élèves (moyenne au niveau de lécole), nous avons utilisé une approche de discontinuité de la régression dans deux vagues dentrée des écoles (Phases 3 et 4) – Nous avons utilisé à la fois les données administratives et celles collectées par nous à travers une enquête téléphonique auprès des écoles proches du point de discontinuité Résultats – Pour les candidats de la Phase 4, nous trouvons dimportants impacts positifs sur le nombre délèves, denseignants, de salles de classe et de tableaux noirs. Le ratio élèves-enseignant reste constant. Limpact apparaît après une courte période – En utilisant la Phase 3 (conception grossière), nous navons pas trouvé dimpact statistiquement significatif 2

Environnement du programme De manière générale, le Pakistan affiche de médiocres performances pour les indicateurs éducationnel – Le taux de participation à lécole officielle (année 1+) des enfants de 6 à 15 ans était de 65,7 % – Alors de 91,8 % des enfants âgés de 12 à 16 ans achèvent lécole primaire, seuls 40,7 % terminent le secondaire (année 10) – Les scores moyens obtenus aux évaluations nationales sont inférieurs à 50 % Le secteur public est le principal pourvoyeur denseignement, avec peu de redevabilité et un médiocre système dincitations Croissance spectaculaire de lécole privée depuis la moitié des années 1990 (Andrabi et coll., 2007 ; Andrabi et coll., 2006 ; Das, 2006) – 25 % des enfants fréquentant lécole (âgés de 6 à 17 ans) fréquentent lécole privée – Spécialement les pauvres et en milieu rural – Les frais dans les écoles privées sont généralement bas : en 2000, les frais annuels médians par élève étaient de 960 roupies (zone rurale) et de 751 roupies (zone urbaine) LÉtat a établi un partenariat avec le secteur privé dans le but daugmenter le taux de scolarisation et la qualité de lenseignement, en particulier pour les familles défavorisées 3

Programme décoles assistées par la Fondation (EAF) : Structure et couverture Administration : Conçue et gérée par la Fondation pour léducation du Panjab (FEP), une organisation semi-autonome Objectifs : Augmenter la fréquentation scolaire et le niveau des résultats au sein des enfants de familles défavorisées Calendrier : Programme mis en place en 2005 et étendu par phases (4 achevées) Couverture : – Districts : 18 sur les 35 districts du Panjab ; 87 % des écoles de 7 districts – Écoles : écoles privées à faible coût – Élèves :

Programme EAF : conditions déligibilité 1.Conditions initiales déligibilité aux avantages a.Minimum 100 élèves inscrits b.Passer une inspection qualitative conduite par la FEP c.Au moins 67 % des élèves testés ont obtenu un score de 33 % ou plus 2.Conditions déligibilité à la continuation des avantages a.Maintenir un nombre minimal dinscriptions de 100 élèves b.Supprimer tous les droits de scolarité et frais pour tous les élèves : panneau daffichage à lextérieur des portes de lécole pour annoncer la gratuité de la scolarité et fournir linformation sur les points de contact de la FEP c.Faire chaque mois rapport sur les chiffres des inscriptions d.Au moins 67 % des élèves testés ont obtenu un score de 40 % ou plus Première violation : sanctions (par ex. gel des inscriptions). Seconde violation : exclusion permanente du programme 5

Programme EAF : Avantages Subvention : 300 roupies (4,3 dollars EU) par élève et par mois Niveau de la subvention fixé à la limite supérieure de la fourchette des prix du secteur à faible coût Grande liberté dutilisation de la subvention Bonus pour les enseignants : roupies (143 dollars EU) par enseignant et par an pour 5 enseignants dans les écoles où au moins 90 % des élèves des classes testées ont obtenu un score de 40 % ou plus au test dassurance qualité (TAQ) 370 % du salaire moyen de référence des enseignants Bonus pour lécole : roupies (714 dollars EU) pour lécole ayant obtenu dans chaque district le plus haut taux de réussite au TAQ 76 % de la subvention mensuelle moyenne payée aux écoles sur la base du nombre moyen des inscriptions de référence 6

Programme EAF : Tests Test à lentrée : Test dassurance qualité pour létablissement de la liste des candidats admissibles (TAQLC) : – Pour faire partie du programme, au moins 67 % des élèves testés doivent obtenir un score de 33 % ou plus au TAQLC – Version simplifiée du TAQ – Élaboré et géré par la FEP – Appliqué à deux ou trois années au cours dune visite non annoncée dans lécole Test de continuation : Test dassurance qualité (TAQ): – Pour continuer à faire partie du programme, au moins 67 % des élèves des années testées doivent obtenir un score de 40 % ou plus au TAQ – Basé sur des échantillons des syllabi et manuels utilisés dans les écoles privée à faible coût – Matières sélectionnées : anglais, urdu, mathématiques, et sciences. – Appliqué deux fois par an dans deux ou trois années 7

Programme EAF : Processus de mise en œuvre et nombre décoles 8 Nombre décoles PHASE 3 PHASE 4 Les écoles postulent à laide du formulaire FAS Les écoles passent une inspection physique et prennent le TAQLC Les écoles passent le TAQLC Les écoles bénéficient des avantages

Identification Processus dentrée : – Les écoles postulent quand un appel à candidatures est émis – Les écoles dont la demande est acceptée sont soumises à une inspection physique – Pendant les phases 3 et 4, les écoles qui ont passé linspection physique se voient offrir le TAQLC Assignation au programme EAF (traitement) basé en fin de compte sur le taux de réussite au TAQLC de lécole – Pour faire partie du programme, au moins 67 % des élèves testés doivent obtenir un score de 33 % ou plus au TAQLC – Pratiquement toutes les écoles qui on atteint au moins le seuil déligibilité ont accepté le traitement (taux de participation de 94 % dans la Phase 3 et de 98 % dans la Phase 4) – Pas dabandon du traitement à ce jour 9

Lissage local des résultats moyens de référence Comparaison des moyennes de ceux qui ont raté de peu le TAQLC et de ceux qui lont réussi de peu : pas de différence statistiquement significative, sauf au niveau du score moyen au TAQLC (scores positifs corrélés avec les taux passés) Estimations LLR : Quelques ruptures statistiquement significatives mais rien de systématique nindique une chute de létat du lissage conditionnel pour lidentification RD 10

Données utilisées pour lévaluation Données davant le programme – Source : données administratives – Données sur les caractéristiques des écoles et les résultats non liés à lapprentissage obtenues des demandes maintenues sous forme électronique par la FEP – Données sur le taux de réussite au TAQLC et les performances moyennes au test des écoles obtenues à partir des données informatiques de la FEP sur les scores individuels réalisés par les élèves – Nombre décoles : 747 (Phase 3) et 830 (Phase 4) Données daprès le programme – Source : Entretiens téléphoniques (numéro de téléphone des écoles dans les demandes) – Données récoltées sur les caractéristiques des écoles – Nombre décoles (ayant réussi ou échoué de justesse) : 192 (Phase 3), 236 (Phase 4) – Données récoltées 14 et 10 mois après le premier paiement de la subvention aux admis des Phases 3 et 4 (couvre partiellement deux années académiques) 11

Principaux constats Effets positifs importants sur les inscriptions, les enseignants, les salles de classe et les tableaux noirs, dans une courte période de traitement de 10 mois Estimations prudentes : +85 enfants (37 % par rapport à la moyenne de référence) ; +3,4 enseignants (37 %) ; +4 salles de classe (47 %) ; et +2.8 tableaux noirs (27 %) Le coût annuel par élève de laugmentation des inscriptions de 1 % est de 97 roupies (1,4 dollar EU) –Un des rapports coût-efficacité les bas estimés

Études en cours Des recherches supplémentaires sur lévaluation sont prévues à partir de plusieurs sources de données : – Recensement annuel des écoles publiques – Données sur les scores aux tests de la Commission dexamen du Panjab – Données administratives supplémentaires du programme EAF fournies par la FEP – Données de base de lenquête, tirées des échantillons décoles privées à faible coût Quelques exemples de questions clés : – Quels sont les effets du programme EAF sur lapprentissage des élèves – Le programme EAF a-t-il un quelconque impact sur la répartition socioéconomique des élèves (en particulier en termes de genre et de situation économique) – Le programme a-t-il éloigné les élèves des écoles publiques situées dans leur voisinage et dans quelle mesure