5 Les enquêtes internationales 1 Origines des études internationales 2 La notion d’indicateur 3 Fonctionnement, rendement et performance des systèmes éducatifs 4 Le design des recherches PISA Savoir lire : qq c’est ? Quelques résultats de PISA 7 forces et faiblesses des études internationales Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales > dès la fin des années 50 : 1ères études comparatives multinationales apparaissent dans le champ de l’éducation rendues possibles par le développement de l'informatique le monde comme un grand laboratoire >  apparaissent d'abord des études de rendement économique des systèmes de formation, conduites par la Banque mondiale ou l’OCDE (Organisation pour la Coopération au Développement économique) > puis des études comparées du rendement scolaire introduites par l’IEA (Association internationale pour l'évaluation du rendement scolaire) Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Fonctionnent par utilisation, création puis comparaison d'indicateurs Définition Les indicateurs sont des variables calculables qui doivent > fournir des informations sur le fonctionnement ou les prestations d'un système (évtl. en tenant compte du contexte dans lequel il s'insère) > être compréhensibles et autant que possible reproduisibles par tous > permettre de prendre des décisions "politiques" Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Quelques exemples d'indicateurs de fonctionnement des systèmes éducatifs : > part du budget de l'Etat consacrée à l'éducation > dépenses annuelles par élève (évtl découpées en salaires professeurs, équipement, etc...) > pourcentage d'enfants scolarisés à X ans > distribution des élèves par sections, filières ou types d'école à âge donné > âge moyen des enfants terminant la scolarité obligatoire > rapport du nombre de professeurs au nombre d'élèves (évtl. par secteur, degré, etc....) > ... Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Les indicateurs de performance des systèmes éducatifs Établissent la qualité des systèmes éducatifs en se basant sur la comparaison des taux de réussite ou d’échec des élèves Ou sur la performance des élèves à des épreuves ou des tests adhoc (ensemble de tâches) Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Les 8 critères de qualité des indicateurs de performance 1 Le rapport des tâches aux programmes et aux objectifs d'enseignement doit pouvoir être établi clairement 2 Les tâches doivent être accessibles de la même manière pour tous les élèves 3 Les limites à la généralisabilité des résultats doivent être connues 4 Le niveau de sollicitation cognitive des tâches doit être connu 5 Les tâches doivent renvoyer à des contenus pertinents dans les matières étudiées 6 Les tâches doivent couvrir largement la branche testée 7 Les tâches doivent être intéressantes, significatives et riches pour les sujets 8 Le coût de la mise sur pied et de la conduite d'analyses doit être approprié aux moyens disponibles (d’après Linn, 1991). Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Etudes internationales de rendement scolaire Problèmes liés à l'échantillonnage: > âge, degré scolaire ou années d'enseignement ? > système publique ou tous systèmes ? > période de l'année scolaire ? > volontariat et participation (temps et argent) Problèmes liés à la nature des compétences mesurées: Les études de l’IEA (cf TIMSS, 1995 ou Reading literacy, 1991) visent les compétences acquises par l’enseignement PISA vise quant à elle le bagage de savoirs et de savoirs faire des élèves d’un âge donné dans des domaines et compétences dont ils auront besoin pour faire face aux situations qu’ils rencontreront plus tard dans leur vie d’adulte Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Le schéma des études PISA: Plusieurs domaines sont testés à un âge donné à intervalles réguliers Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Calendrier de la 4ème enquête (2009) Janvier 2005 - Décembre 2006 Préparation des scénarii au niveau international et au niveau national. Préparation des options nationales Janvier - Novembre 2007 Participation aux développements internationaux. Préparation des échantillons Novembre 2007 - Mars 2008 Tirage des écoles et des élèves Préparation du matériel de test Février - Juin 2008 Organisation et réalisation de la PRE - ENQUETE Août - Novembre 2008 Choix des unités pour enquête principale Préparation des analyses et de la diffusion Novembre 2008 - Mars 2009 Tirage des écoles et des élèves Février - Juillet 2009 Organisation et réalisation de l'ENQUETE Août 2009 - Mars 2010 Validations et pondérations des données Avril - Décembre 2010 Diffusion: Analyses et rapport national (élèves de 15 ans) Janvier - Décembre 2011 Diffusion: Analyses et diffusion des résultats (élèves de 9e année). Données à disposition des cantons Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Et par rapports aux écoles et aux élèves 1e étape Octobre 2008 Les écoles sélectionnées reçoivent une information détaillée sur le programme PISA et le déroulement de l'enquête. 2e étape Novembre 2008 Chaque école désigne un coordinateur qui aide le responsable régional (ou cantonal suivant le cas) à établir une liste actualisée des élèves incluant un certain nombre d'informations. Cette liste est utilisée pour le tirage des élèves. 3e étape Dès Décembre 2008 Le responsable régional ou cantonal prend contact avec le coordinateur scolaire pour planifier les détails de l'enquête. 4e étape Mars 2009 Les élèves choisis et les enseignants concernés sont informés. 5e étape Avril - Mai 2009 Le jour dit, un administrateur de test se rend à l'école et procède à l'enquête, avec l'aide du coordinateur scolaire, auprès des élèves sélectionnés. Il faut environ trois heures et demi aux élèves pour répondre au test et au questionnaire. Parallèlement, la direction de l'école remplit un questionnaire sur l'établissement. Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Définition des domaines testés dans PISA: La culture mathématique est l’aptitude d’un individu à identifier et à comprendre les divers rôles joués par les mathématiques dans le monde, à porter des jugements fondés à leur propos et à s’engager dans des activités mathématiques en fonction des exigences de sa vie en tant que citoyen constructif, impliqué et réfléchi. Comprendre l’écrit c’est non seulement comprendre et utiliser des textes écrits, mais aussi réfléchir à leur propos. Cette capacité devrait permettre à chacun(e) de réaliser ses objectifs, de développer ses connaissances et son potentiel et de prendre une part active dans la société. La culture scientifique c’est la capacité d’utiliser des connaissances scientifiques pour identifier les questions auxquelles la science peut apporter une réponse et pour tirer des conclusions fondées sur des faits, en vue de comprendre le monde naturel (…) et de prendre des décisions à leur propos. Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Catégories d’indicateurs recueillis dans les études PISA: Les indicateurs de base : profil général des compétences et connaissances des élèves dans les domaines considérés Les indicateurs contextuels: à quelles variables démographiques, sociales, économiques et éducatives ces compétences sont-elles liées Les indicateurs de série temporelle : rendus possibles par le recueil cyclique de données dans un même domaine. Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Clés d’analyse : Globalement ou par sous-compétence (processus de lecture) Par type de texte (narratif, argumentatif, explicatifs, tableaux, schémas, graphiques, diagrammes, cartes) Par structure de texte (continu, non continu) Par type de questions (ouverte, fermée, QCM, …) Par item (taux de réponses justes, fausses, absentes) Par niveaux (0 - 5) Par points (scores) Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Détermination des niveaux pour une compétence donnée : Retrouver de l'information Niveau 1 : Localiser une ou plusieurs informations distinctes explicitement mentionnées dans le texte en n'appliquant qu'un seul critère. Niveau 2: Localiser un ou plusieurs éléments d'information, dont chacun peut devoir répondre à plusieurs critères. Traiter des informations contradictoires. Niveau 3: Localiser des fragments d'information et, dans certains cas, reconnaître la relation entre ces fragments, dont chacun peut devoir répondre à plusieurs critères. Traiter des informations contradictoires mises en évidence. Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Détermination des niveaux pour une compétence donnée : Retrouver de l'information Niveau 4: Localiser et éventuellement ordonner ou combiner de multiples fragments d'information dissimulés dans le texte, dont chacun peut devoir répondre à plusieurs critères, et ce dans un texte dont le contexte ou la forme ne sont pas familiers. En extraire les informations pertinentes pour la tâche à accomplir. Niveau 5: Localiser et éventuellement ordonner ou combiner de multiples fragments d'information parfaitement dissimulés dans le texte, dont certains peuvent se situer à l'extérieur du corps du texte. En extraire les informations pertinentes pour la tâche à accomplir. Traiter des informations contradictoires fort plausibles et/ou très fouillées. Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Détermination des niveaux pour une compétence donnée : Interpréter le texte Niveau 1 Identifier le thème principal ou l'intention de l'auteur dans un texte sur un sujet familier lorsque l'information requise est mise en évidence dans le texte. Niveau 2 Identifier l'idée maîtresse d'un texte, comprendre des relations, constituer ou appliquer des catégories élémentaires, ou dégager du sens d'une partie limitée du texte lorsque l'information n'est pas mise en évidence et qu'il est fait appel à des inférences de bas niveau. Niveau 3 Intégrer plusieurs parties d'un texte pour en identifier l'idée maîtresse, comprendre une relation ou inférer le sens d'un mot ou d'une phrase. Comparer, contraster ou classer par catégories en tenant compte de nombreux critères. Traiter des informations contradictoires. Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Détermination des niveaux pour une compétence donnée : Interpréter le texte Niveau 4 Utiliser une inférence textuelle de haut niveau pour appréhender le texte et appliquer des catégories à un contexte peu familier. Dégager le sens d'une section du texte, tout en considérant le texte dans son ensemble. Traiter des ambiguïtés, des notions inattendues et des idées formulées sous leur forme négative. Niveau 5 Soit dégager le sens d'un langage nuancé, soit faire preuve d'une compréhension exhaustive et approfondie du texte. Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Analyse comparative des facteurs de réussite liés au matériel de l'enquête (régions et cantons) Extrait du rapport thématique de l'enquête PISA 2000 Les compétences en littératie Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Répartition des élèves Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Répartition dans les niveaux de compétences Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Résultats généraux dans les quatre "pays" Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Scores en fonction de la langue parlée à la maison Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales L’après PISA en Suisse Synthèse et recommandations du groupe de pilotage PISA 1 Usage plus intensif, plus précoce et plus exigeant de la langue officielle 2 Extension des programmes scolaires et mesures de promotion spécifiques aux sexes 3 Aide plus soutenue là où la proportion d’allophones est grande 4 Généralisation de l’école enfantine 5 Mise en place de structures d’accompagnement scolaires 6 Instauration d’organes de direction dans les écoles 7 Examen périodique des objectifs de performance (standards de formation) 8 Transition facilitée vers le monde du travail 9 Procédures de sélection plus équitables 10 Développement de la formation des enseignants et de la recherche en éducation Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Mesures consécutives à PISA 2000 : Plan d’action décidé par la Conférence suisse des directeurs cantonaux de l’instruction publique (CDIP) Champ d’action 1 : Encouragement de la lecture pour tous Champ d’action 2 : Encouragement des compétences linguistiques chez les jeunes connaissant des conditions d’apprentissage défavorables Champ d’action 3 : Education préscolaire et scolarisation Champ d’action 4 : Organe de direction, promotion de la qualité de l’école Champ d’action 5 : Offre d’encadrement extrascolaire Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Forces et faiblesses des études internationales de rendement des systèmes scolaires Forces > attribution des investissements et des subventionnements > sources d'information pour étudier l'effet de variables globales > information en cas d'immigration > pilotage des systèmes - comparaisons internationales - comparaisons intranationales - entre matières - entre objectifs, programmes et résultats > mobilisatrices de potentiel de recherche (débouchés) Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales

5 Les enquêtes internationales Forces et faiblesses des études internationales de rendement des systèmes scolaires Faiblesses > font mal apparaître les causes > problèmes de généralisabilité - par matière - par groupes d'âge > problèmes du choix et de la nature des indicateurs > risque d’aspiration des fonds consacrés à la recherche Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009 chapitre 05 : Les enquêtes internationales