Mesurer la qualité des apprentissages des enfants au Sénégal 9e Colloque francophone sur les sondages Abdou Salam FALL, Rokhaya CISSE, Fatou DIA, Codé LO LARTES – IFAN Gatineau, 11 au 14 octobre 2016

Plan de la présentation Qu’est-ce que Jàngandoo? Contexte Déroulement de l’enquête Echantillonnage Défis rencontrés Questionnaires et tests pédagogiques Vérification des données Conclusions

Jàngandoo : Apprendre ensemble Baromètre réalisé par le LARTES-IFAN de l’UCAD et financé par la Fondation William et Flora Hewlett. Collaboration LARTES et ONGs dans les 14 régions du Sénégal Evaluation citoyenne et indépendante Mesure de la qualité des apprentissages des enfants au Sénégal 2012 : Pilote 2013 – 2014 : représentativité régionale 2016 : représentatvité départementale Enquêtes ménage - enfant- communautaire Tests des enfants Enquête sur tablettes numériques. D’autres pays le font

Contexte (1/2) Statistiques exhaustives sur les données éducatives souvent absentes Base de sondage pas à jour Diversité des formes d’apprentissage Enfants hors lieu d’apprentissage

Contexte (2/2) Cible : enfant 9-16 ans (fréquentant un lieu d’apprentissage ou non)  Entrée par les ménages et non par les écoles !

Déroulement de l’enquête ECHANTILLONNAGE Mise à jour cartographie Dénombrement des ménages Sélection des 22 ménages à enquêter ENQUETE MENAGE Questionnaire ménage Tests pédagogiques Questionnaire enfant RECHECK Recheck des données collectées ENQUETE COMMUNAUTAIRE Questionnaire communautaire

Echantillonnage (1/3) Base de sondage : Agence Nationale de la Statistique et de la Démographie (ANSD, Sénégal) Issue de la cartographie du dernier recensement général (RGPHAE) de 2013 17 165 districts de recensement (DR) Il faut bien spécifier les deux degrés pour faciliter la compréhension : 1er degré : tirage des DR 2e degré : tirage des ménages Expliquer à l’oral ce que c’est un DR, ses avantages Donner les avantages de cette méthode et dire pourquoi par exemple on n’a pas recouru au 3e degré Donner la taille en ménages :16 412 ---- 17 165 districts de recensement (DR). L’échantillon Jàngandoo 2016 concerne 16 412 ménages et est représentatif au niveau départemental. Ces ménages sont issus d’un tirage aléatoire, stratifié à deux degrés : le tirage des DR dans chaque département (1er degré) et ensuite, la sélection des ménages dans chacun de ces DR (2e degré) à l’aide d’un tirage aléatoire à probabilité égale établi à partir d’un pas de sondage. Nous avons ainsi un sondage stratifié proportionnel (encore appelé sondage auto pondéré). Ce type de sondage a l’avantage de se dépouiller comme un recensement et évite donc d’avoir recours à des calculs complexes pour extrapoler les données de l’échantillon ou pour calculer des indicateurs. De plus, il permet de former un échantillon final représentatif au niveau départemental.

Echantillonnage (2/3) Echantillonnage stratifié à deux degrés : 1er degré : tirage des DR dans chaque département 2e degré : tirage des ménages dans chaque DR Echantillon probabiliste (aléatoire) Plan à 2 degrés auto pondéré Représentativité au niveau du département 746 DR enquêtés au niveau national : 392 en rural et 357 en urbain. Donner des indications sur la pondération Il faut donner aussi les limites de notre méthodologie,

Echantillonnage (3/3) Tirage systématique de 22 ménages fixes dans chaque DR avec un pas de sondage (=taille DR/22)  16 412 ménages Entrée dans chaque ménage pour rejoindre les enfants Limite Parfois difficultés à rejoindre les enfants

Défis méthodologiques (1/2) Taille des DR sélectionnés non à jour Nouvelles concessions Disparition de concessions Nouveaux ménages Etc.  Nouvelle cartographie des DR juste avant l’enquête. Vanter les avantages du dénombrement, les difficultés aussi liées à la carto

Défis méthodologiques (2/2) Choix de l’indicateur pour estimer la taille de l’échantillon (variable d’intérêt).  Deux indicateurs ont été choisis : proportion d’individus de 9- 16 ans au primaire et au moyen. Après arbitrage, l’indicateur qui a donné la taille la plus faible a été retenu : la proportion d’individus de 9-16 ans au primaire. Ces indicateurs souvent désignés sous le vocable de variables d’interet. Cela, pour une meilleure qualité de l’estimation. Pourquoi on a choisi celle dont la taille est plus petite ? Enquête coûte chère, plus la taille augmente, plus les couts et le temps de l’enquête augmente, etc.

Questionnaire ménage Caractéristiques de la localité. Caractéristiques du ménage. Caractéristiques des enfants âgés entre 9 et 16 ans. Vanter les avantages de la tablette numérique,

Questionnaire ménage-Défis Définition du ménage et du chef de ménage Langue d’entretien : attention à la traduction Formation des enquêteurs Traduction des questionnaires : mise à disposition de didacticiels en différentes langues Pré-test des questionnaires Il faut bien préciser ces notions et dire qu’on a pris ménage au sens ansd (donc au sens onu) pour être cohérent. Je ne vois pas ici le recheck (effet dissuasif, contrôle des données) Dire que des ménages de remplacement sont sytematiquement tirés Un aspect sur l’organisation hiérarchique de l’enquête.

Questionnaire enfant Mini-questionnaire administré à l’enfant juste après le test Conditions d’apprentissage dans le ménage. Conditions d’apprentissage dans le lieu d’apprentissage. Occupations de l’enfant en dehors des heures d’apprentissage. Trois catégories d’enfants concernées Ecole formelle Daara ou école communautaire. Abandon ou exclu. Gérée par l’application

Questionnaire enfant - Défis Adhésion du parent ou tuteur Formulation des questions Possible influence de la présence du parent ou tuteur

Enquête communautaire Elle renseigne sur les : Caractéristiques de l’environnement d’apprentissage de l’enfant. Conditions matérielles et de travail au sein des lieux d’apprentissage. Sélection des lieux d’apprentissage les plus fréquentés par les enfants testés à partir de l’enquête ménage Questionnaire adressé aux directeurs/responsables des lieux d’apprentissage.

Enquête communautaire - Défis Appariement fichier ménage - communautaire

TESTS PEDAGOGIQUES Lecture, mathématiques et culture générale : en français ou en arabe au choix de l’enfant Calibrés sur un niveau médian (trois premières années d’apprentissage) Pré-testés et application de la théorie de réponse à l’item (IRT) Tests par palier si l’enfant réussi le niveau médian

QUALITE DES DONNEES En amont : Pendant l’enquête : A posteriori : Filtres intégrés dans l’application sur la tablette Exemple : âge, logique des réponses selon certaines variables, etc. Formation des enquêteurs et des superviseurs Mise à disposition de didacticiels Pendant l’enquête : Vérification des données synchronisées Supervision rapprochée des enquêteurs A posteriori : Appel dans les ménages Sélection aléatoire de ménages à ré-enquêter avec des enfants à re-tester (Recheck)

Application numérique Une application  sous 2 plateformes Une plateforme web qui représente le back Office développé sous Drupal Une application mobile sur android (JAVA).

CONCLUSIONS Des limites mais besoin d’adaptation au contexte Peu de cas de refus Données sur le niveau d’apprentissage Données sur les ménages et les lieux d’apprentissage

Merci de votre attention LARTES 206 IFAN DAKAR - Sénégal - Camp Jérémy Tel : (+221) 77 252 8246 Fax : (+221) 33 825 9213 www.lartes-ifan.org Email : fatoudia.lartes@gmail.com 22