Des études IEA à PISA Marcel Crahay Université de Genève

La création de l’Association Internationale pour l’Évaluation du Rendement Scolaire (IEA) = un tournant capital dans le domaine de l’analyse des systèmes éducatifs. Pour l’IEA, le monde peut être considéré comme un gigantesque laboratoire de pédagogie.

En procédant à des évaluations comparatives du rendement scolaire par la technique des surveys normatifs, l’IEA projette : d’identifier scientifiquement les déterminants des effets éducatifs; et, par la même voie, de soumettre à l’épreuve des faits les assertions, sinon les clichés, relatifs aux vertus et faiblesses des différents systèmes éducatifs.

Le survey normatif est une étude conçue pour déterminer les normes de performance pour certaines variables, dans une population donnée. Par exemple, on peut s’attacher à mesurer le rendement scolaire en mathématique ou en sciences dans l’année terminale de l’enseignement secondaire d’un pays. Dans la plupart des surveys normatifs modernes, on s’efforce de dépasser le simple constat en recueillant des informations sur les variables de processus par la voie de questionnaires (plus rarement, d’observations) afin d’appliquer l’analyse corrélationnelle à l’ensemble des données.

Avec l’IEA, le comparatisme en éducation entre de plain-pied dans la sphère de l’analyse quantitative.

Toutes les études de l’IEA répondent aux trois exigences suivantes Les tests utilisés sont des outils de mesure valides, fiables et standardisés de telle sorte que les élèves testés dans chaque partie du monde sont confrontés aux mêmes tâches; Des questionnaires standardisés, voire des grilles d’observation, sont soumis aux enseignants et aux élèves de tous les pays participant afin de recueillir un maximum d’informations susceptibles d’expliquer les variations de rendement observées entre systèmes scolaires et à l’intérieur de chaque système; Les échantillons d’écoles et d’élèves soumis à l’épreuve dans chaque pays sont comparables et représentatifs des populations scolaires concernées.

La construction d’un test de rendement n’est pas simple, surtout à un niveau international. Il ne s’agit pas d’évaluer une caractéristique psychologique universelle, indépendante du contexte dans lequel se développent les individus. En fait, les performances de ceux-ci ne présentent pas d’intérêt en elles-mêmes ; le chercheur s’y intéresse dans la mesure où il considère qu’elles reflètent la qualité de l’enseignement dispensé dans les écoles des pays participant au survey. Or, par sa composition, le test peut correspondre selon des degrés divers à ce qui a été enseigné aux élèves.

Problématique essentielle des tests de rendement La validité de contenu ou validité curriculaire.

Ainsi, “ un test de connaissance qui ambitionne de faire l’inventaire des acquisitions à la fin d’un cycle d’études, suivant un programme déterminé, doit réellement couvrir les aspects importants de ce programme ”.

Graphique 2 :Emboîtement de niveaux curriculaires envisagés dans le cadre des études IEA.

PISA Programme International pour le Suivi des Acquis des élèves de 15 ans

3 domaines : littératie (lecture/écriture, mathématiques, sciences) élèves testés. En CF, 103 écoles de tous les réseaux. Elèves de 15 ans où qu’ils en soient dans leur parcours scolaire (différentes années, différents types d’enseignement). Objectif = évaluer quel est le bagage d’acquis des élèves à 15 ans (à la fin de la scolarité obligatoire) 32 pays ont participé à PISA 2000.

Tous les élèves passent des épreuves identiques traduites dans les différentes langues. Durée du test = 2 heures. En lecture, divers genres de textes, de démarches, de questions. Les épreuves ont été élaborées en collaboration avec les pays participants. Un questionnaire de contexte Elève et Etablissement.

Des procédures communes de choix de l’échantillon, d’administration, de corrections dans les différents pays. De nombreux contrôles de qualité indépendants du pays.

Le programme PISA (Programme International pour le Suivi des Acquis des élèves) de l’OCDE est configuré selon un schéma input  output analogue à celui de l’IEA. Il présente l’intérêt d’être planifié en cycles de trois ans. À chaque évaluation, trois domaines seront investigués, l’un selon un mode majeur et les deux autres selon un mode mineur

Tableau 3 : Organisation en cycles de PISA.

S’inscrivant dans un contexte culturel marqué par la mondialisation, l’ambition des concepteurs de PISA procède d’une double évolution par rapport aux études IEA :  Un assouplissement du lien entre test et curriculum et donc l’abandon du modèle Intented  Implemented  Attained curriculum.  Un renforcement de la fonctionnalité des épreuves.

Tableau 5 : Échelle PISA relative aux compétences en compréhension de l’écrit. Description des tâches de lecture par démarche et par niveau.

On aboutit, en définitive, à ce qui peut être considéré comme une échelle universelle du savoir-lire.

Ce « thermomètre » international permet la hiérarchisation des systèmes éducatifs en fonction de leur rendement en lecture (mais aussi en mathématique et en sciences).

Performances dans les trois domaines par pays 1er groupe.

LectureMathématiquesSciences Les jeunes des pays ci-contre réalisent des performances qui ne se distinguent pas de manière statistique-ment significative de celles des jeunes interrogés en Belgique (Communauté française) États-Unis Danemark Suisse Espagne Tchéquie Italie Allemagne Liechtenstein Hongrie Pologne Belgique (Communauté française) Grèce Portugal Russie Lettonie Danemark Islande Liechtenstein Suède Irlande Norvège Tchéquie États-Unis Belgique (Communauté française) Allemagne Hongrie Russie Espagne Pologne États-Unis Hongrie Islande Suisse Espagne Allemagne Pologne Danemark Italie Liechtenstein Belgique (Communauté française) Grèce Russie Lettonie Portugal Luxembourg

LectureMathématiquesSciences Les performances des jeunes des pays ci-contre sont nettement inférieures à celles des jeunes interrogés en Belgique (Communauté française) Luxembourg Mexique Brésil Lettonie Italie Portugal Grèce Luxembourg Mexique Brésil Mexique Brésil

Mais PISA, comme l’IEA, fournit aussi de l’information qui a trait à l’équité au sein de chaque système éducatif.

Caractéristiques des systèmes éducatifs et réduction des inégalités de résultats entre élèves

Deux façons d’organiser l’école Liberté de choix de l’école Redoublement Education spécialisée pour les élèves à besoins spécifiques Sectorisation (carte scolaire) Promotion automatique Intégration des élèves à besoins spécifiques

Indicateurs (Monseur & Demeuse, 2000) : Redoublement versus promotion automatique Taux de retard à 14 ans Regroupement par âge (variance expliquée de l’âge des élèves) Filières à 14 ans versus « collège unique » Choix d’école versus sectorisation Taux d’élèves dans l’enseignement spécial Mixité réelle des écoles Mixité réelle des classes

Figure 8. Description des pays de l’UE selon qu’ils privilégient ou non l’hétérogénéité. (Source : Monseur & Demeuse, 2000).

Figure 9 : Carte des pays de l’UE en fonction de leur façon de gérer les différences individuelles (Monseur & Demeuse, 2000)

Modèle d’intelligibilité de l’organisation pédagogique adoptée dans les pays d’Europe du Nord au niveau de l’enseignement obligatoire.

Effet d'agrégation = les élèves d'aptitude élevée se retrouvent préférentiellement dans certains établissements ou, autrement dit, la distribution des aptitudes parmi les écoles ne se fait pas de manière aléatoire.

Figure 11. Indicateurs d'efficacité et d'équité de l'enseignement de la lecture dans quelques pays ayant participé à l'enquête IEA sur les compétences en lecture (Sources :*IEA Litteracy-Lafontaine, 1996 et # Ocdé, 1996)

Les trois premiers indicateurs ==> trois observations principales : Les pays qui privilégient l’hétérogénéité se caractérisent par une moyenne générale égale ou supérieure à 500 et une part de variance du rendement imputable à l'école inférieure à 10 % ; Parmi les pays qui se caractérisent par un ou plusieurs mécanisme(s) ségrégatif(s) (redoublement, existence de filières, liberté de choix d'écoles), il arrive que la moyenne générale soit égale ou supérieure à 500 (France, Portugal, etc..). Par contre, la part de variance liée à l'école fréquentée est toujours supérieure à 22 % ; Enfin, en ce qui concerne le pourcentage d'élèves faibles, on remarque que, dans tous les pays d'Europe du Nord, il est inférieur à 15 %.

NB : On retrouve des tendances analogues dans l’analyse des études PISA

Analyse des effets d’agrégation (avec Ch Monseur)

Différences garçons-filles

Dans tous les pays, les filles ont en moyenne de meilleurs performances en lecture que les garçons! MAIS

Filles (510) Garçons (480) Portugal OCDE 500 Finlande 5461 Flandre 5323 Mexique Luxemb Brésil France Suisse CFB Filles (495) Garçons (460) Filles (519) Garçons (490) Filles (456) Garçons (429) Filles (553) Garçons (518)

Différences liées au background socio- économique

Différences de performances en lecture en fonction de l'occupation des parents

SES 25% sup. (536) SES 25% inf. (412) Portugal OCDE 500 Finlande 5461 Flandre 5323 Mexique Luxemb Brésil France Suisse CFB SES 25% sup. (552) SES 25% inf. (469) SES 25% sup. (549) SES 25% inf. (434) SES 25% sup. (497) SES 25% inf. (394)

Analyse des effets d’agrégation liés au SES : Dans chaque pays, les élèves sont classés en deux catégories –Les élèves dits défavorisés (les 25% qui ont le SES le plus faible) –Les élèves dits favorisés (les 25% qui ont le SES les plus élevé). Dans chaque pays, les écoles sont classées en trois catégories –Le SES des élèves a été standardisé (moyenne = 0 et écart-type = 1). –Toute école dont la moyenne (30 élèves ont été testés par école) est inférieure à - 0,35 est dite défavorisée. Celles dont la moyenne est comprise entre -0,35 et +0,35 sont dites normales et celles dont la moyenne est supérieure à +0,35 sont dites favorisées

Analyse des effets d’agrégation liés au SES (2°: Analyse du résidu de la prédiction des scores en lecture par le SES des élèves Analyse du résidu en fonction du SES propre à l’élève et du type d’école –Résidu négatif = performance réelle est inférieure à la performance prédite –Résidu positif = performance réelle est supérieure à la performance prédite

Constats: Dans tous les pays, les résidus sont négatifs lorsque les élèves fréquentent des écoles défavorisées Dans tous les pays, les résidus sont positifs lorsque les élèves fréquentent des écoles favorisées Les résidus sont positifs ou faiblement négatifs lorsque les élèves fréquentent des écoles « moyennes »

Dans tous les pays, on constate un effet de la composition socio- économique des écoles sur les performances en lecture des élèves

Cet effet est très marqué dans certains pays. Il est plus ténu dans les pays du Nord de l’Europe.

Différences entre étudiants natifs et immigrés

Portugal OCDE 500 Finlande 5461 Flandre 5323 Mexique Luxemb Brésil France Suisse Nés en France de parents français (512) Nés en France de parents nés à l’étranger (471) Elèves nés à l’étranger (434) CFB Nés en Suisse de parents suisses (514) Nés en Suisse de parents nés à l’étranger (460) Elèves nés à l’étranger (402) Nés en CFB de parents belges (490) Nés en CFB de parents nés à l’étranger (414) Elèves nés à l’étranger (406) Nés au Luxemb. de parents lux. (474) Nés au Luxemb. de parents nés à l’étranger (399) Elèves nés à l’étranger (370) Nés en Flandre de parents français (541) Nés en Flandre de parents nés à l’étranger (418) Elèves nés à l’étranger (470)

Méthode: Les élèves sont classés en natifs et non-natifs Les écoles sont classées en fonction de la population des élèves: –favorisés = majorité de natifs –défavorisés = majorité de non-natifs Calcul du score moyen des élèves en fonction du type d’élèves et du type d’école Calcul de la différence des moyennes entre natifs et non-natifs selon le type d’école fréquenté

Constats Hormis en Italie, la différence de performance en lecture entre natifs et non- natifs est plus grande lorsque les élèves sont issus d’écoles dans lesquelles il y a une majorité de non-natifs Il y a donc bien un effet de la composition des écoles sur les performances en lecture des élèves

The analysis must go on!

Merci de votre attention.