RESULTAT D’AUTO EVALUATION DES STATISTIQUES DE L’EDUCATION DU MESSRS

Présentation au sujet: "RESULTAT D’AUTO EVALUATION DES STATISTIQUES DE L’EDUCATION DU MESSRS"— Transcription de la présentation:

1 RESULTAT D’AUTO EVALUATION DES STATISTIQUES DE L’EDUCATION DU MESSRS
BURKINA FASO Programme d’appui à la gestion des finances publiques et des statistiques Par-Gs Projet financé par le Fonds européen de développement UNION EUROPEENNE RESULTAT D’AUTO EVALUATION DES STATISTIQUES DE L’EDUCATION DU MESSRS Ouagadougou, 7-8 Mai 2013 Athanase KAGAMBEGA, Expert en statistiques sociales

2 Application du cadre d’évaluation du MEBA Auto évaluation
Aperçu Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Application du cadre d’évaluation du MEBA Auto évaluation Évaluation individuelle Synthèse Plénière de validation

3 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points forts Textes portant organisation du MESSRS responsabilisent la DEP/MESSRS pour la collecte, le traitement et la diffusion de l’information statistique du Ministère Harmonisation du système d’information avec ceux de la sous région. Inscription au Budget de l’Etat d’une ligne pour la production statistique au niveau central et déconcentré. Soutien de la production statistique par les PTF (UNESCO, Projet ARCS, Banque Mondiale, Pays Bas, etc.)

4 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points faibles Faible autorité de la DEP en matière de collecte des informations statistiques Non formalisation du système d’information statistique du MESSRS (multiplicité des structures de production statistique, Faible coordination) Non maîtrise du budget de production statistique (structures centrales, déconcentrées)

5 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points faibles Taux de couverture des activités statistiques par le budget national faible Absence de connexion à Internet Applications informatiques de productions statistiques non maîtrisées par les agents chargés de la production statistique Absence de cadres supérieurs statisticiens au sein de la DEP/MESSRS Confidentialité des réponses non assurée Absence d’une démarche qualité

6 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité El Ind 2007 Conditions préalables de la qualité 01 Cadre juridique et institutionnel favorable à l'établissement des statistiques 011 Responsabilité de la collecte, du traitement et de la diffusion des statistiques clairement définie 0.1.2 Partage des données et coordination entre les organismes chargés de les produire adéquats 013 Données fournies par les déclarants confidentielles, utilisées exclusivement à des fins statistiques 014 Déclaration des statistiques exigée par la loi ou assurée par d'autres mesures LNC LNC LC LNC LC LNC

7 Ressources à la mesure des besoins des programmes statistiques
Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité El Ind 02 Ressources à la mesure des besoins des programmes statistiques 021 Effectifs, moyens informatiques et ressources financières à la mesure des besoins des programmes statistiques 0.2.2 Mesures mises en œuvre pour garantir l’utilisation efficace des ressources 03 Autres aspects de la gestion de la qualité 0.3.1 Méthodes centrées sur la qualité mises en place 0.3.2 Méthodes de suivi du programme statistique mises en place 0.3.3 Prise en compte de la qualité dans la planification du programme statistique LNC LNC LNC LNC LNC C LNC

8 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité RECOMMANDATIONS Relire l’organigramme pour prendre en compte l’articulation du système d’information statistique Diffuser des extraits de la loi statistique auprès des structures fournissant des données au système d’information Élaborer des modules de formation en statistique et les diffuser régulièrement auprès des agents du niveau central et déconcentré chargés des opérations statistiques

9 Points forts Textes garantissent l’indépendance de la DEP/MESSRS
Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points forts Textes garantissent l’indépendance de la DEP/MESSRS Produits de la DEP/MESSRS identifiables Choix méthodologiques conformes aux normes

10 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points faibles L’indépendance professionnelle de la DEP/MESSRS n’est pas encore acquise. La DEP ne pratique pas de revue de la presse (la DEP/MESSRS ne réagit pas quand il y a eu interprétation erronée de ces statistiques). De manière générale, la culture statistique n’est pas très développée au Burkina en dehors des professionnels, aucune information n’est fournie au public quant à des accès administratifs à l’information préalables à sa diffusion.

11 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points faibles la confidentialité des données individuelles n’est pas assurée (collecte par voie administrative). Les changements méthodologiques ne sont pas annoncés. Pas de description de la méthode utilisée.

12 Méthode Résultats Assurance d'intégrité
Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité El Ind 2006/ 2007 Assurance d'intégrité 11 Professionnalisme comme principe fondamental des politiques et pratiques statistiques 111 Impartialité des statistiques 112 Choix des sources, de la méthodologie et des modes diffusion des données fondées sur des considérations statistiques 113 Organisme statistique habilité à formuler des observations en cas d’interprétation erronée ou d’utilisation abusive des statistiques LNC LNC LC LC NC

13 Méthode Résultats Utilisation
Préalables Intégrité Utilisation Exactitude Rigueur Résultats Utilité Accessibilité 12 Transparence des politiques et pratiques statistiques 121 Dispositions régissant la collecte, le traitement et la diffusion des statistiques diffusées au public 122 Accès des agents de l’État aux données avant leur diffusion signalé au public 123 Produits des organismes et services statistiques clairement identifiés 124 Changements majeurs de méthodologie, de données de base et de techniques statistiques indiqués au préalable 13 Normes déontologiques régissant les politiques et pratiques statistiques 131 Règles déontologiques en place et connues du personnel LNC LC NC LC NC LC LC

14 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité RECOMMANDATIONS Accompagner chaque publication d’une description de la (des) source(s) et méthodologie(s) et identifier toutes les sources extérieures. Élaborer et diffuser auprès des agents en charge de la production statistique les normes déontologiques régissant les politiques et les pratiques statistiques (confidentialité, règles de publication des données, etc.) Faire une revue de presse et sélectionner les articles contenant des statistiques de l’éducation afin de les comparer avec celles officielles.

15 Utilisation des concepts internationaux
Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points forts Utilisation des concepts internationaux

16 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points faibles Absence d’un manuel de définition des normes et concepts Couverture de la population non encore assurée (les écoles de formation relevant de certains ministères ne pas incluses dans le champ d’investigation). Élèves à temps partiels (cours du soir) non pris en compte. Nomenclature des différentes filières de formation non bien définie Publications non accompagnées de la description de la structure éducative

17 Méthode Résultats Rigueur méthodologique 21
Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité El Ind 2006/ 2007 Rigueur méthodologique 21 Concepts et définitions conformes aux normes internationales 211 22 Champ d'application conforme aux normes internationales 221 23 Classification/ sectorisation conformes aux normes internationales 231 24 Enregistrement conforme aux normes internationales 241 LNC LNC LNC LNC LNC LNC LNC LC

18 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité RECOMMANDATIONS Diffuser les documents méthodologiques de l’ISU et du SISED auprès du personnel en charge des statistiques Élaborer un manuel sur les différents concepts statistiques de l’éducation et le diffuser au sein du ministère Examiner les modalités de prise en compte des différentes structures de formation ne relevant pas du MESSRS

19 Élaborer une nomenclature des filières
Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité RECOMMANDATIONS Élaborer une nomenclature du système éducatif burkinabé en procédant à une adaptation de la CITE au cas du Burkina Faso Développer l’utilisation de répertoires communs : répertoire des établissements secondaires et supérieurs, répertoire des centres ou écoles de formation professionnelle, répertoire des centres de formation à temps partiel (cours du soir) Élaborer une nomenclature des filières

20 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points forts Un guide de remplissage accompagne les questionnaires du MESSRS. Les responsables des établissements ont été formés au remplissage de la fiche. L’introduction de StatEDUC a permis d’attribuer un identifiant à chaque établissement

21 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points forts Il y a une maîtrise de la base de recensement avec l’introduction de l’application StatEDUC L’application de saisie comporte des contrôles. Les indicateurs sont calculés directement à partir des données brutes grâce à une application informatique « annuaire » donc les erreurs liées à la manipulation des données sont maîtrisées.

22 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points faibles Plusieurs variables pertinents manquent, (résultats aux examens des élèves par établissement, dépenses des ménages). Certaines variables paraissent superflues pour un traitement statistique (décompte du matériel de bureau ou des équipements). La fiabilité de certaines variables (dépenses et ressources des établissements) n’est pas garantie.

23 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points faibles L’utilisation d’un identifiant unique n’est pas encore une pratique courante. Les sources des données externes utilisées (données démographiques, examens et concours, finances publiques) ne sont pas souvent mentionnées et décrites. Le taux de réponse à l’enquête n’est pas calculé. Les informations manquantes ne sont pas évaluées.

24 Points faibles Il n’y a pas de redressement des données manquantes.
Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points faibles Il n’y a pas de redressement des données manquantes. La gestion des identifiants, bien qu’améliorée, ne permet pas de lien simple avec la carte éducative. (département- province-région). Il n’y a pas de production d’un rapport de traitement des données Le logiciel de gestion de la base de données utilisé actuellement n’est pas adapté à la manipulation des bases multi- annuelles. Le logiciel de publication des données présente des insuffisances en matière de tabulation statistique.

25 Méthode Résultats Exactitude et fiabilité Données de base appropriées
Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité El Ind 2006/ 2007 Exactitude et fiabilité 31 Données de base appropriées 311 Données de base recueillies dans le cadre de programmes adaptés au pays 312 Données de base conformes aux critères de définition, de champ d’application, de classification, d’évaluation et de date d’enregistrement 313 Données de base obtenues à temps 314 Sources des données extérieures utilisées pour le calcul d'indicateurs indiquées et décrites LNC LC LNC C C NC

26 Méthode Résultats 32 Techniques statistiques saines 3.2.1
Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité 32 Techniques statistiques saines 3.2.1 Traitement des données adapté 3.2.2 Autres procédures statistiques (ajustements, modifications, analyses) saines 33 Vérification des données de base 3.3.1 Données de base régulièrement évaluées du point de vue du champ couvert, des erreurs d'échantillonnage et de mesure et processus statistiques guidés par ces évaluations LNC C NC NC NC

27 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité 34 Données intermédiaires et produits statistiques évalués et validés 341 Résultats intermédiaires validés par d'autres informations 342 Discordances des données intermédiaires évaluées et analysées 343 Discordances entre les produits statistiques évaluées et analysées 35 Études de révision (Suivi et exploitation des révisions 351 Études et analyses des révisions utilisées en interne pour l'amélioration des processus NC LNC NC NC NC NC

28 Estimer les données manquantes
Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité RECOMMANDATIONS Relire les outils de collecte pour éliminer les informations non pertinentes à cause de l’utilité ou de la qualité des réponses Voir s’il n’est pas mieux de demander une copie des rapports financiers des établissements que de faire remplir le questionnaire Indiquer chaque fois la source des données extérieures et donner une brève description de leur production Estimer les données manquantes Élaborer une liste de contrôles (manuels comme informatiques) pour chaque opération statistique

29 Élaborer des outils informatiques de tabulation complémentaires
Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité RECOMMANDATIONS Produire un rapport à chaque étape du processus de production statistique Acquérir des logiciels adaptés à la manipulation des bases multi-annuelles Élaborer des outils informatiques de tabulation complémentaires Publier les indicateurs à des niveaux géographiques détaillés avec prudence tant que les statistiques démographiques ne sont pas fiables à ces mêmes niveaux. Créer un comité de validation des données.

30 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points forts Un registre de suivi des consultations de l’annuaire est mis en place. Le délai de parution de l’annuaire du secondaire a été raccourci Les délais de diffusion sont conformes aux normes internationales. Publication des variations annuelles

31 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points faibles Il n’y a pas suffisamment d’échanges avec les utilisateurs. Il n’ y a pas d’étude sur les utilisateurs La couverture des besoins est partielle : par exemple les résultats scolaires, les acquisitions scolaires, les coûts de l’éducation et son financement ne sont pas suffisamment pris en compte. La documentation des données n’est pas suffisante (les changements de méthodologie et les ruptures de série ne sont pas mentionnés ). Il n’y a pas de publication de série chronologique. Les publications papier paraissent avec un grand retard.

32 Méthode Résultats Utilité
Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité El Ind 2006/ 2007 Utilité 41 Pertinence de l'information statistique sur le domaine 4.1.1 Suivi des besoins des utilisateurs 42 Périodicité et délais de diffusion acceptables selon les normes internationales 4.2.1 Délais de diffusion dans les normes internationales 4.2.2 Périodicité dans les normes internationales LC LC C LC C C

33 Méthode Résultats Cohérence des données
Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité 43 Cohérence des données 431 Cohérence au sein du même ensemble de données 432 Statistiques concordantes dans un intervalle de temps raisonnable 433 Cohérence avec d'autres données de base, d'autres cadres statistiques 44 Politiques et pratiques de révision 441 Calendrier de révision établi et transparent 442 Statistiques préliminaires bien identifiées 443 Études et analyses de révision diffusées au public LC C LC C NC NC NC NC

34 Instaurer un dialogue régulier avec les utilisateurs
Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité RECOMMANDATIONS Instaurer un dialogue régulier avec les utilisateurs Établir un chronogramme des opérations statistiques permettant de visualiser les liens avec les utilisations possibles, afin d’optimiser la programmation des travaux et des publications.

35 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points forts Diffusion d’un CD-ROM comprenant les publications de la DEP/MESSRS Accès à l’annuaire sur le site de l’INSD Production d’un tableau de bord « rapport d’analyse » Gratuité des produits de la DEP

36 Points faibles L’annuaire est très volumineux (3 tomes)
Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité Points faibles L’annuaire est très volumineux (3 tomes) Les utilisateurs potentiels ne sont pas informés de l’existence ou de la disponibilité des publications de la DEP Le site Internet du MESSRS ne comporte pas les publications statistiques du MESSRS.

37 Méthode Résultats Accessibilité
Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité El Ind 2006/ 2007 Accessibilité 51 Accessibilité des données (statistiques claires, compréhensibles, présentées de manière impartiale et sur un support adapté) 511 Statistiques facilement interprétables, comparaisons faciles (texte, tableaux et graphiques clairs) 512 Moyens et supports de diffusion adéquats 513 Calendrier de diffusion annoncé à l'avance 514 Diffusion simultanée à tous les utilisateurs 515 Statistiques non diffusées systématiquement disponibles sur demande LNC LC LC LC NC C LC

38 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité 5.2 Accessibilité des métadonnées (métadonnées à jour et pertinentes) 5.2.1 Diffusion d’une documentation sur les concepts, le champ d’application, les classifications, les bases d’enregistrement, les sources et les techniques statistiques et leurs écarts par rapport aux normes internationales 5.2.2 Niveau de détail adapté au public visé 5.3 Assistance aux utilisateurs 5.3.2 Catalogues des publications, documents et autres services accessibles au public, avec tarifs éventuels LNC NC C LNC LNC

39 Méthode Préalables Intégrité Exactitude Rigueur Résultats Utilité Accessibilité RECOMMANDATIONS Etablir une liste de diffusion pour chaque publication ou produit statistique. Les utilisateurs, prouvés (ayant déjà adressé une demande d’information par visite, courrier, courriel, etc.) et potentiels, devraient être répertoriés et informés de chaque sortie d’une nouvelle publication par courrier ou courriel Diffuser un catalogue des publications comprenant un calendrier de publication Inclure un minimum de métadonnées et un glossaire dans chaque publication

40 Méthode Préalables Intégrité Innovation 2007/08 Exactitude Rigueur Résultats Utilité Accessibilité RECOMMANDATIONS Diffuser l’annuaire aux décideurs locaux, mais sous une forme adaptée (par exemple un CD-ROM interactif) Promouvoir le tableau de bord à travers une conférence et/ou des communiqués de presse. Mettre à disposition du grand public une publication annuelle très synthétique (genre « Quatre pages ») présentant les chiffres essentiels et les évolutions.

41 Innovation dans le rapport 2007/08
Introduction du bilan de la mise en œuvre des recommandations Recommandations Actions menées au cour de l’année Etat de la mise en œuvre Synthèse des recommandations Dimensions Eléments de qualité Indicateurs normatif Points faibles recommandations Services (s) responsable(s) observations