Evaluer les acquis et les processus éducatifs : Prendre en compte les lieux et les temps Colloque «Evaluation des acquis des élèves : état des lieux et perspectives» Alger, Juin 2015 Alain Mingat

Des pratiques variées à caractériser Il est courant de chercher à développer des évaluations dans un système éducatif : évaluation des élèves et/ou évaluation du système ? Est-ce une fin ? Oui, parfois Est-ce un moyen ? Oui aussi, souvent Si c’est un moyen, c’est un moyen pour quoi ? Une perspective interne à la classe : évaluation formative à l’usage du maître Une perspective interne au système : conformité des dispositions prises pour son fonctionnement (on a décidé ceci : l’a-t-on fait, l’a-t-on bien fait ?) Une perspective externe concernant les résultats obtenus à usage diagnostic Quel est alors l’objet du diagnostic ? La connaissance (performance en arabe..) et la comparaison (internationale, intra-nationale) La révision des programmes d’enseignement La révision des modes d’organisation des services à un niveau d’études donnée (pour plus d’efficience et plus d’équité) Un regard sur la pertinence de la politique éducative du pays à un niveau plus global

De bonnes pratiques génériques notamment pour l’évaluation des systèmes Le besoin de prendre en compte la multi-dimensionnalité Des résultats Des variables qui entrent en jeu Le besoin de disposer de variables correctement mesurées Des passages difficiles des concepts à la mesure Des erreurs de mesure Le besoin de spécifier et de valider les spécifications Choix instrumental des formes fonctionnelles Souvent non linéarité des impacts Substitution, complémentarité, interactions La possibilité de biais de sélection Le besoin d’évaluer la robustesse des résultats d’évaluation

Evaluer la conformité dans les allocations de moyens: Généralité et prégnance de la spécificité des lieux Dans les allocations de moyens (de personnels) aux établissement, il y a généralement une idée normative simple dans laquelle : Les établissements qui ont davantage d’élèves ont davantage d’enseignants Des établissements avec le même nombre d’élèves ont le même nombre d’enseignants * La ligne en pointillés représente la généralité et la politique éducative globale : il y a X élèves/enseignant * La dispersion représente la spécificité des différents lieux; Elle est notable (le degré de conformité est assez modéré) Par exemple pour un établissement secondaire qui compte 700 élèves, le nombre d’enseignants peut varier de 32 à 55: On peut aussi trouver 40 enseignants dans des établissements dont l’effectif varie de 450 à 800 élèves

Dispersion des résultats des élèves selon les variables structurelles et selon «les lieux» (1) Les évaluation sont souvent construites dans un contexte de «généralité» C’est généralement la perspective des décideurs de la politique éducative Ils s’intéressent souvent surtout aux aspects formels, notamment s’ils ont une contrepartie financière C’est aussi la perspective des praticiens de l’évaluation dont la référence est celle de la «science normale» ( dispositif d’évaluation qui prend 10 élèves par école) Il y a soit une tendance à s’attacher aux variables structurelles (comme le souhaite les décideurs) ou bien à cibler des pratiques spécifiques en oubliant un peu les contextes structurels dans lesquelles elles sont inscrites Mais cela peut résulter en une vision réductrice, car la réalité est faite d’une articulation parfois improbable entre les aspects structurels formels et les pratiques des acteurs qui vont exercer un rôle parfois considérable

Dispersion des résultats des élèves selon les variables structurelles et selon «les lieux» (2) L’expérience montre alors : Que la distribution des variables structurelles n’est pas nécessairement homogène selon les lieux Que la différenciation des pratiques est aussi affaire de lieux, la dimension locale étant souvent très prégnante Le travail de l’INRE sur les établissements secondaires en est une illustration dans le contexte algérien Pour le décideur politique la prégnance du local est généralement perçue comme manifestant des dysfonctionnements Qu’il peut souhaiter ignorer; ce n’est pas forcément une bonne approche Dont il peut accepter l’existence; mais cela va introduire des politiques éducatives de nature nouvelle auxquelles il n’est pas forcément bien préparé (pilotage par les résultats, incitation, responsabilisation des personnes, les agents étant alors devenus des acteurs)

Dispersion des résultats des élèves selon les variables structurelles et selon «les lieux» (3) Pour le chercheur évaluateur, l’identification de l’intensité de la composante locale dans l’explication d’un phénomène Constitue déjà un résultat d’une importance significative : par exemple poids respectif des modes d’organisation génériques et de la façon dont les établissements utilisent les ressources qui leur sont confiées Quelles implications pour la politique éducative ? Est une occasion de progresser dans la connaissance Mais il convient de ne pas rester bloquer sur la singularité des situations La recherche de schéma explicatifs généraux reste centrale à considérer Prise en compte de la variabilité des pratiques locales Mais ces travaux qui articulent plusieurs niveaux d’analyse demandent qu’on ait recours à des instrumentations statistiques particulières

La dimension temporelle est aussi cruciale à considérer L’éducation est un processus qui se déroule d’abord dans le temps Pour apprendre, il faut du temps; et c’est le premier ingrédient des apprentissages A un moment donné, ce que l’individu (l’élève) connait résulte de tout ce qu’il a appris dans tous les lieux (école, famille,..) et dans tous les temps (depuis sa naissance) Dans ces conditions, on peut certes mesurer le niveau des acquis des élèves de manière transversale, à un moment donné du temps, mais il convient de le mettre en regard avec une référence externe, normative ou comparative Mais il est alors peu pertinent de référer (chercher à expliquer) ce résultat (sa variabilité) avec les conditions d’enseignement qui prévalent au moment où les acquis des élèves ont été mesurés

Un cadre de valeur ajoutée pour structurer l’évaluation Il est préférable d’adopter une méthodologie dite de valeur ajoutée dans laquelle : i) on définit une période (1 année/ 2 années, un cycle) avec une mesure initiale (A0) et une mesure finale (A1) des acquisitions des élèves ii) on mesure les conditions d’enseignement (CE) ayant prévalu sur la période considérée iii) on analyse la variabilité du score final en fonction de celle du score initial et des conditions d’enseignement sur la période iv) on évalue ainsi l’impact des différents facteurs de l’organisation scolaire sur les apprentissages effectués sur la période, en tenant compte de l’éventualité de non linéarités et d’interactions et en considérant l’influence des facteurs sociaux qui ont pu joué avant et pendant la période

Une perspective temporelle pour une approche système plus globale Les évaluations comme les politiques éducatives ont une tendance à se focaliser de façon séparée sur les cycles d’études sans accorder une grande importance à ce qui se passe dans leur articulation alors que cet aspect peut être primordial L’ensemble des transitions entre cycles sont potentiellement concernées, mais celle entre le primaire et le premier cycle secondaire est souvent spécialement importante Dans la plupart des pays, la France par exemple, mais aussi la plupart des pays d’Afrique sub-saharienne, l’Algérie ne faisant pas vraiment exception La configuration générale est celle d’une situation apparemment assez satisfaisante dans le primaire avec peu d’abandons et de redoublements et un premier cycle secondaire marqué par des difficultés plus manifestes en matière d’apprentissages et de flux d’élèves

Comment peut-on alors décrire le problème ? Un premier point pour identifier la possibilité d’un problème dans l’articulation primaire-secondaire consiste à détecter un régime significativement différent dans le pattern des flux scolaires (abandons d’études et redoublements) entre les 2 cycles d’études. Dans l’exemple, le taux de redoublement du primaire est de l’ordre 6 à 8 %, alors qu’il monte à % dans le premier cycle secondaire Génériquement, les difficultés constatées dans le premier cycle secondaire peuvent tenir à : * Un mauvais fonctionnement du 1 er cycle secondaire. un programme trop ambitieux compte tenu des acquis des sortants du primaire. Des modes d’organisation inappropriés * Des acquis insuffisants dans le primaire compte tenu des ambitions du programme du secondaire

Une Structure analytique pour traiter le problème * Structure exigeante en matières de données * Besoin de dispositions analytiques appropriées pour l’estimer

Types de résultats qu’il est alors possible d’obtenir Plusieurs types de résultats peuvent être obtenus avec ce cadre d’analyse qui vise à comprendre l’origine des difficultés constatées dans le premier cycle secondaire; on identifie ainsi : Quelle part des difficultés du secondaire proviennent d’apprentissages insuffisants dans le primaire (compte tenu des exigences du secondaire) ? Quelle(s) discipline(s) sont plus spécialement concernée(s) ? Quelle part des difficultés du secondaire proviennent au sens large des modalités de fonctionnement inappropriées du secondaire lui-même Dans les exigences académiques excessives qu’il impose ou dans ses pratiques pédagogiques Dans ses modes d’organisation (classes trop chargées, enseignants insuffisamment qualifiés, volumes horaires mal ciblés..) Identification des directions pour la politique éducative

Exemple de résultats obtenus De façon globale, l’impact des groupes de variables sur la variabilité du risque d’abandon au 1 er cycle secondaire 1. Donne le poids de 58 % aux acquis en primaire, avec la totalité pris par les maths, la langue n’ayant aucun impact 2. Donne un poids de 16 % aux variables sociales sur lesquelles la politique éducative n’a pas de prise (encore que des politiques peuvent chercher à le réduire) 3. Les modes d’organisation en 1 er cycle secondaire, variables d’un établissement à l’autre, ne comptent que pour 14 % 1. Il convient donc prioritairement de traiter la question des lacunes du primaire dans les acquis en mathématiques, compte tenu des ambitions du programme du secondaire en mathématiques) : sont elles excessives ou non ? Si non, comment agir (primaire/secondaire) 2. Il convient aussi d’identifier dans l’analyse sur quels facteurs de l’organisation du secondaire il serait pertinent d’agir pour améliorer la situation (taille des classes, temps,..)

De grandes potentialités pour l’analyse évaluative des systèmes éducatifs Besoin de plus en plus ressenti de générer des évidences empiriques pour instruire les décisions de politique éducative visant à promouvoir la qualité dans un contexte où l’équité prennent aussi de l’importance et où les moyens sont limités Complémentarité i) de la construction de la structure analytique (comment on pense) ii) des activités de mobilisation de données et iii) de la réalisation des traitements économétriques (comment on conduit les estimations) Grandes possibilités de flexibilité dans la construction analytique pour aborder des thèmes très variés sur l’ensemble du système (capacité cognitive/analytique) Développer i) une culture du résultat/l’évaluation dans le corps social (décideurs et acteurs), et ii) des compétences analytiques/techniques dans celui des évaluateurs La prise en compte de la diversité des lieux et l’inscription des phénomènes dans leur cadre temporel seront souvent des préoccupations essentielles