Evaluation des performances des établissements scolaires et amélioration de la gestion des systèmes éducatifs africains 4 ème atelier régional AGEPA – Niamey du 16 au 20 février 2009 J-Mathieu Laroche - Contact: Projet dappui aux Etats pour la création de système nationaux dévaluation et de pilotage de la qualité

Le projet dappui Dans la lignée dAGEPA Dans la lignée dAGEPA Promouvoir des systèmes nationaux dévaluation capables dassurer une gestion locale quotidienne de la qualité Promouvoir des systèmes nationaux dévaluation capables dassurer une gestion locale quotidienne de la qualité

Les scores de mathématiques et de français aux tests PASEC de 5 ème année (score sur 100) Source : PASEC et Pôle de Dakar pour la RCA, enquêtes réalisées en 1996 et 2006 Pourquoi la qualité ?

Relation entre progrès quantitatif et qualitatif sur la période Sources : données EDS, MICS et QUIBB, années 2000 ou proches et calculs Pôle de Dakar

CamerounMadagascar 1995/962004/051997/982004/2005 Eau courante (robinet à la maison) 61%81%78%88% Réfrigérateur59%85%87%95% Téléviseur45%68%69%75% % délèves de 5 ème année ne disposant pas de certaines commodités ou ne possédant pas certains biens à la maison (PASEC)

Le poids des différents facteurs dans le processus dacquisition des écoles africaines Source : PASEC, 10 pays enquêtés

Conclusions Insuffisance de données disponibles/ exploitables par établissements Insuffisance de données disponibles/ exploitables par établissements Problème de qualité des apprentissages Problème de qualité des apprentissages Grande diversité au sein des pays avec de fortes inégalités Grande diversité au sein des pays avec de fortes inégalités Evolution de la composition du public délèves Evolution de la composition du public délèves Importance des effets classe – maître – école Importance des effets classe – maître – école Entrée projet dappui : les systèmes nationaux dévaluation Entrée projet dappui : les systèmes nationaux dévaluation

Les systèmes nationaux dévaluation Exhaustivité des informations par établissement Exhaustivité des informations par établissement Enracinement dans le fonctionnement courant des systèmes éducatifs Enracinement dans le fonctionnement courant des systèmes éducatifs Diffusion dune culture et de techniques dévaluation Diffusion dune culture et de techniques dévaluation Renforcement des capacités des acteurs du système éducatif à juger de son fonctionnement Renforcement des capacités des acteurs du système éducatif à juger de son fonctionnement Analyse de la valeur ajoutée des établissements Analyse de la valeur ajoutée des établissements

Le projet dappui : Objectifs Faciliter la production régulière dindicateurs légitimes et simples de performances des établissements (données élèves) Faciliter la production régulière dindicateurs légitimes et simples de performances des établissements (données élèves) Analyser, par les acteurs eux-mêmes, de la variété des résultats obtenus. Analyse des effets environnementaux à partir des données par établissement Analyser, par les acteurs eux-mêmes, de la variété des résultats obtenus. Analyse des effets environnementaux à partir des données par établissement Développer, à partir des analyses (des différences de résultats entre établissements), les activités évaluatives et pédagogiques structurantes au bénéfice de la qualité des apprentissages Développer, à partir des analyses (des différences de résultats entre établissements), les activités évaluatives et pédagogiques structurantes au bénéfice de la qualité des apprentissages

Méthodologie Diagnostic « qualité » Diagnostic « qualité » Estimation des indicateurs de performance des établissements Estimation des indicateurs de performance des établissements Analyse des indicateurs de performance des établissements Analyse des indicateurs de performance des établissements

Diagnostic qualité Phase dexpertise de la faisabilité du projet dans un pays, qui implique lexamen: Phase dexpertise de la faisabilité du projet dans un pays, qui implique lexamen: Du système dexamen et de la pertinence de chacun deux Du système dexamen et de la pertinence de chacun deux De la chaîne actuelle de collecte, saisie, diffusion des résultats aux examens De la chaîne actuelle de collecte, saisie, diffusion des résultats aux examens De propositions de réaménagement des examens et de la chaine informatique de gestion des résultats aux examens De propositions de réaménagement des examens et de la chaine informatique de gestion des résultats aux examens

Estimation des indicateurs de performance des établissements Formation densemble à lévaluation/analyse des données Formation densemble à lévaluation/analyse des données Présentation des modalités daction des phases suivantes (activités de questionnement/ remédiation à mettre en œuvre) Présentation des modalités daction des phases suivantes (activités de questionnement/ remédiation à mettre en œuvre) Disponibilité des indicateurs dans quelques régions support de sensibilisation aux autres équipes qui seront concernées par la généralisation Disponibilité des indicateurs dans quelques régions support de sensibilisation aux autres équipes qui seront concernées par la généralisation

Analyse des indicateurs de performance des établissements processus danalyses des écarts de performance processus danalyses des écarts de performance Ciblage des sites Ciblage des sites mobilisation et organisation des équipes dencadrement, enseignantes, actions collectives à entreprendre (projets mobilisateurs, dexperimentation) mobilisation et organisation des équipes dencadrement, enseignantes, actions collectives à entreprendre (projets mobilisateurs, dexperimentation) Suivi des actions Suivi des actions

La valeur ajoutée Lanalyse est constituée de trois étapes : Lanalyse est constituée de trois étapes : estimation de la relation moyenne entre les résultats à lexamen et les caractéristiques des élèves prédictives de la réussite (Cel) estimation de la relation moyenne entre les résultats à lexamen et les caractéristiques des élèves prédictives de la réussite (Cel) R = f (Cel) estimation du résultat attendu pour chaque établissement i (Ri) en fonction des caractéristiques moyenne des élèves accueillis (Celi) estimation du résultat attendu pour chaque établissement i (Ri) en fonction des caractéristiques moyenne des élèves accueillis (Celi) Ri = f (Celi ) calcul de la valeur ajoutée par létablissement par différence entre le taux de réussite observé (Roi ) et le taux attendu (Ri) calcul de la valeur ajoutée par létablissement par différence entre le taux de réussite observé (Roi ) et le taux attendu (Ri) VAi = Roi - Ri

Lexemple de la valeur ajoutée calculée par la DEP en France Lycées Valeur prédite (base nationale) Valeur prédite (Base régionale) Valeur réelle Valeur ajoutée (base nationale) A75,671,283,0 + 7,4 B67,068,075,0 + 8,0 C80,378,268,0 - 12,3 D78,776,181,4 + 2,7 E74,272,079,2 + 5,0 …………… …………… Y67,167,367,0 - 0,1 Z90,093,084,0 - 6,0