Quelques principes de référence pour l’évaluation des systèmes éducatifs Alain Mingat Décembre 2013

Principes de niveau 0 Sur tous les sujets concernant l’école, il existe des opinions tranchées, à l’allure rationnelle mais souvent contradictoires → contrôler le discours par des faits pertinents L’évaluation d’un système cible de façon générale les politiques suivies et les moyens mobilisés → on ne peut les évaluer en elles/eux-mêmes car les politiques et les moyens n’ont de valeur que dans leur impact sur les résultats (couverture, qualité, équité, insertion professionnelle, …)

2 aspects essentiels à prendre en compte Il convient de considérer qu’il y a des contraintes de ressources (argent, temps, compétences, ..) et que tout usage de ressources dans un facteur a un usage alternatif potentiel dans d’autres facteurs. → La comparaison est la vertu cardinale → La mise en relation comparative des impacts et des ressources est indispensable (coût-efficacité) Les impacts ne sont jamais linéaires avec le volume de ressources affectées au moyen qui l’a produit → La prise en compte des conditions initiales et approche différentielle des impacts

Distinguer concepts et réalité La politique éducative est faite de concepts et de mots pour les décrire (informatique à l’école, pédagogie centrée sur l’élève, formation des enseignants, ...) → mais les évaluations portent de façon jointe sur la valeur du concept et sur celle des modes particuliers de mise en œuvre (éventuellement question de temps) Les question de modalités de mise en œuvre sont aussi importantes à considérer que les concepts → si possible, faire porter l’évaluation sur plusieurs modes alternatifs de mise en œuvre → Contrôler les conditions de mise en œuvre s’il existe des variétés sur ce plan au sein de l’échantillon évalué

Processus cumulatifs dans le temps Le temps est un ingrédient fondamental des apprentissages et ceux-ci se construisent de manière cumulative le long de la carrière d’un élève Lorsqu’on cible un cycle d’études, les élèves ont déjà un passé scolaire et social Analyse du résultat dans le cycle en contrôler le niveau à l’entrée dans le cycle : principe de «valeur ajoutée»  Possibles biais de sélection dont il faut tenir compte Ceci vaut aussi pour le pattern temporel de constitution des disparités (sociales, géographiques) Identifier ce qui se constitue en pendant et avant le cycle

Evaluer une technologie particulière On vise des apprentissages et pour cela on cible les enseignants et les moyens qui leur sont fournis → mais les enseignants peuvent au mieux «enseigner», ce sont les élèves qui apprennent → Dans la technologie éducative (contrairement aux productions classiques) les moyens n’ont pas d’effets par eux-mêmes, seulement des effets facilitateurs Dans quelle mesure les facteurs mis en œuvre modifient-ils effectivement les comportements et pratiques des enseignants et le travail des élèves ?

Facteurs multiples et effets joints Les facteurs qui sont susceptibles d’avoir une incidence sur le résultats sont nombreux : Caractéristiques personnelles et sociales de l’élève, Caractéristiques de l’école et de son contexte social Caractéristiques de l’enseignant et de la classe Caractéristiques observables et non observables des pratiques au sein de la classe Méthodes économétriques appropriées pour : Assembler l’influence de différents facteurs Identifier leurs effets spécifiques

Un centre et beaucoup de succursales Un système éducatif est comparable à une entreprise comme «Mac Donald», qui : A des produits bien identifiés au niveau central Un grand nombre de succursales et de franchises A besoin d’un système de gestion fort pour vérifier que : Les moyens sont disponibles et bien utilisés au niveau local Les résultats sont conformes aux attentes Mais les systèmes éducatifs : Peuvent être caractérisés par une variabilité excessive dans la répartition des moyens et dans les résultats Ce qui manifeste des défaillances significatives dans leurs systèmes de gestion aux plans administratif et pédagogique