UNESCO Institute for Statistics Institut de Statistique de l’UNESCO Observatoire des mesures des résultats des apprentissages scolaires Introduction au catalogue des évaluations des acquis scolaires par Georges Boade & Andonirina Rakotonarivo Dakar, Mars 2015

UNESCO Institute for Statistics Contenu:  Ce qu’est le catalogue des évaluations auprès des élèves?  En quoi ce catalogue est-il important?  Quelques questions de recherche/politique  Produits attendus de ce projet du catalogue  Résultats attendus à la fin de l’atelier  Le questionnaire: comment le remplir?

UNESCO Institute for Statistics Ce qu’est le catalogue des évaluations auprès des élèves  Un résumé des caractéristiques des évaluations qui sont administrées aux élèves dans un pays donné, et qui ciblent chacune une population spécifique parmi ces élèves (inclus leurs environnements scolaires et familiaux), et dont les résultats sont utilisés à des fins précises comme la certification, la réforme des politiques en éducation, la sélection aux programmes scolaires de niveau supérieur, rendre les écoles/enseignants imputables ou apporter le support/assistance nécessaire, etc.  Cette enquête diffère des collectes de données régulièrement organisées, dans ce sens qu’il ne s’agit pas de collecter les données directement auprès de la population cible (élèves et autres parties prenantes).

UNESCO Institute for Statistics Le catalogue des évaluations auprès des élèves? (fin.)  L’unité d’intérêt est surtout en lien avec le processus d’évaluation. Pour cette raison, les statistiques au sens traditionnel du terme et les indicateurs associés ne sont pas parmi les données prioritaires que le catalogue est censé collecter, mais plutôt les métadonnées descriptives du processus d’évaluation, ou mieux il s’agit de données à propos des données!  Pour cette enquête, les évaluations nationales et internationales, ainsi que les examens publics nationaux administrés auprès des élèves du primaire, et du premier cycle du secondaire de l’enseignement général et technique constituent notre population cible.  Les évaluations conduites par les établissements scolaires sont donc exclues de cette enquête. 4

UNESCO Institute for Statistics Trois types d’évaluations auprès des élèves sont ciblées:  Évaluations nationales, définies comme un outil pour obtenir des renseignements sur un nombre limité d'indicateurs de résultats qui sont considérés importants par les décideurs politiques, les politiciens et la communauté éducative (Greaney & Kellaghan,2008). En général, elles sont basées sur des échantillons, mais aussi parfois des recensements! Elles sont à enjeu faible pour les élèves, mais ce n’est pas toujours le cas pour les enseignants et les établissements scolaires. Par exemple, l’Australie, le Botswana, le Brunei Darussalam, le Costa Rica, Cuba, le Mexique, l’Uruguay, et le Chili administrent des évaluations nationales par recensement (ISU&DFID).  Évaluations internationales, dans lesquelles un nombre de pays suivent les mêmes procédures pour obtenir de l’information sur les résultats des apprentissages des élèves. Les évaluations internationales courantes sont basées sur des échantillons des élèves. Pour cette enquête les évaluations régionales sont inclues dans cette catégorie.

UNESCO Institute for Statistics Trois types d’évaluations auprès des élèves sont ciblées:  Examens publics nationaux, sont généralement des recensements (couvrant généralement tous les élèves d’un niveau scolaire ou tous ceux qui remplissent certaines conditions), sont à enjeu élevé pour les candidats et parfois pour les enseignants dans les institutions scolaires privées lorsque la réputation est généralement fondée sur les résultats de leurs élèves à ces examens. Ces examens visent en général la diplomation et la sélection des élèves les plus performants. Note: certaines évaluations comme EGRA sont considérées comme internationales, pourtant les contenus et les populations ciblées diffèrent souvent d’un pays à un autre et d’un cycle d’administration à un autre. De telles évaluations sont nationales pour cette enquête même si la littérature les désignent d’hybrides puisque se trouvant à cheval entre les évaluations nationales et les évaluations internationales

UNESCO Institute for Statistics Trois types d’évaluations à exclure:  Les évaluations organisées par les écoles et par des institutions d’enseignement décentralisées, et destinées principalement à la sélection en vue d’un passage d’une année d’études à une autre ou d’un programme à un autre.  Les tests qui ne ciblent pas spécifiquement les apprenants inscrits dans des programmes d’enseignement et auxquels sont soumis tous les candidats à une qualification professionnelle, généralement sans scolarisation préalable dans un programme d’enseignement officiel général ou technique équivalent. Ce type de test est décentralisé et peut être organisé par des syndicats ou des associations professionnelles. Les examens pour l’obtention du permis de conduire ou dans le but de devenir membre d’une association professionnelle en sont deux exemples.  Les évaluations des résultats de l’apprentissage réalisées au niveau des ménages, même si elles visent des enfants scolarisés dans des programmes de niveau 1 ou 2 de la CITE.

UNESCO Institute for Statistics En quoi le catalogue est-il important? Pour les communautés nationale et internationale, ce catalogue:  Fournit des données de base pour l’agenda de l’après 2015 en éducation eu égard la place des indicateurs des résultats des apprentissages  Fournit les paramètres justifiant de la nécessité de renforcer des capacités techniques, en identifiant les manquements et besoins dans les pays ayant des capacités techniques limitées en matière d’implémentation des standards internationaux pour administrer des évaluations nationales à grande échelle  Génère des informations de première main pour le développement des études internationales portant sur les évaluations des élèves en vue de faire le suivi sur les compétences acquises, et d’évaluer les effets des politiques en matière d’éducation à l’échelle régionale  Permet le suivi sur la manière dont l’introduction des technologies de l’information et de la communication (TIC) change ou transforme les processus d’évaluation des apprenants dans le monde.

UNESCO Institute for Statistics En quoi le catalogue est-il important? (fin.)  Génère des données de base en vue d’explorer l’alignement entre les systèmes éducatifs nationaux, et pour les besoins de mise à l’échelle des résultats d’apprentissage et des contenus d’évaluation  Fournit des éléments qui peuvent expliquer les disparités dans les performances des élèves dans les évaluations internationales et régionales existantes  Aide à la décision de la part de pays membres de l’UNESCO qui considèreraient l’opportunité de participer ou non à une évaluation régionale ou internationale quelconque, sur la base de leurs caractéristiques telles qu’elles sont décrites dans le catalogue (est-ce que les cadres d’évaluations sont appropriées pour le pays, quelles sont les capacités techniques requises, etc.).

UNESCO Institute for Statistics Quelques questions de recherche:  Pourquoi les pays conduisent-ils les évaluations à grande échelle auprès des élèves?  Quels sont les programmes scolaires (niveaux CITE) dans lesquels les pays ont choisi de conduire des évaluations nationales et internationales à grande échelle, ou les examens publics nationaux?  Quelles matières ou disciplines, et quels domaines sont-ils évalués à travers les pays?  Est-ce que les évaluations nationales sont alignées sur les programmes scolaires nationaux, régionaux ou provinciaux existants?

UNESCO Institute for Statistics Quelques questions de recherche (fin.)  Est-ce que les compétences du 21e siècle sont aussi mesurées dans les évaluations courantes?  Est-ce que les épreuves sont orientées vers la mesure des connaissances ou celle des compétences?  À quel point les évaluations scolaires/provinciales/régionales sont-elles importantes dans les évaluations nationales à enjeu élevé et dans les examens publics ou nationaux?  Comment les données sont-elles diffusées?

UNESCO Institute for Statistics Deux produits attendus de ce projet de catalogue: Catalogue en ligne (consulter quelques résumés disponibles en ligne) Catalogue en ligne Les profils pays Rapports pays (à moyen terme)  Sur la base des données collectées et la documentation mise à notre disposition, des études spécifiques seront conduites avec pour objectif de produire des rapports analytiques dans lesquels des réponses aux questions précédemment posées pour justifier l’importance de ce projet, trouveront un début de réponse, en collaboration avec les partenaires nationaux (vous!) et internationaux.

UNESCO Institute for Statistics Structure du questionnaire  Section 0: Information générale  Section 1: Information de contact  Section 2: Liste des évaluations ciblées: nationales, internationales et les examens publics nationaux  Section 3: Champs d’application, objectifs et financement  Section 4: Construction du test  Section 5: Couverture et échantillonnage  Section 6: Traitement des données  Section 7: Résultats  Section 8: Dissémination des données 13

UNESCO Institute for Statistics Résultats attendus à la fin de l’atelier  Les participants partagent la même compréhension des termes techniques du questionnaire  Chaque participant s’est exercé à remplir chacune des sections du questionnaire à partir des données d’au moins une évaluation nationale ou un examen public national de son choix  Une date pour fournir à l’ISU les questionnaires dûment remplis est connue, fruit de la concertation entre les participants  Appropriation du projet par les participants pour contributions aux étapes suivant cet atelier 14

UNESCO Institute for Statistics Format de l’atelier par section:  Présentation de la section du catalogue  Application

UNESCO Institute for Statistics Merci! 16