Enquêtes internationales et indicateurs d’équité

Présentation au sujet: "Enquêtes internationales et indicateurs d’équité"— Transcription de la présentation:

1 Enquêtes internationales et indicateurs d’équité

2 Trois exemples Disparités filles garçons Indicateurs relatifs et non pas absolus Disparités entre natifs et immigrés Dangers des indicateurs issus d’analyses bivariées Disparités entre établissements Erreurs d’interprétation qui peuvent conduire à des désastres pédagogiques Resituer l’interprétation des indicateurs dans le contexte méthodologique de la recherche

3 Disparités filles garçons
OCDE rapport initial: tables 5.1.a & 5.1.b Echelle combinée: 32 points Echelle Retrieving information: 24 points Echelle Interpreting texts: 29 points Echelle Reflecting: 45 points OECD Reading for change Echelle Textes continus: 39 points Echelle Textes non continus: 17 points

4 IEA Reading Literacy (1991)

5 Inconsistance de résultats
Choix des textes support pour les tâches de lecture Type de démarches évaluées Différence de populations Grade versus âge Format des questions

6 IEA Reading Literacy (1991)
Choix des textes IEA Reading Literacy (1991) PISA 2000 Textes continus narratifs informatifs/ descriptifs argumentatifs/ injonctifs 33 % 29 % 0 % 13 % 35 % 18 % Textes non continus 38 % 34 % Total 100 %

7 IEA Reading Literacy (1991)
Type de démarches IEA Reading Literacy (1991) PISA 2000 Retrouver ou restituer de l’information (sous forme littérale ou paraphrase) 42 % 30 % Interpréter (inférer, trouver l’idée principale) 58 % 50 % Réfléchir et évaluer 0 % 20 % Total 100 %

8 Choix de la population (Pisa 2000)
Pays Pourcentage d’élèves à l’heure dans l’échantillon initial Pourcentage de filles dans l’échantillon initial Pourcentage de filles dans l’échantillon d’élèves à l’heure Différence de pourcentage de filles entre les 2 échantillons Belgique 65 48 52 +4 Danemark 89 50 Espagne 72 51 54 +3 Finlande +1 France 53 Islande 98 Italie 76 49 Japon 100 Corée 44 Liechtenstein 78 Mexique 56 +6 Norvège 97 Nouvelle Zélande 88 Suède Moyenne 82 1.79

9 Ecarts de performances garçons-filles Pays pratiquant le redoublement
Changement Pays pratiquant la promotion automatique Ecarts de performances garçons-filles Pays pratiquant le redoublement Danemark -0.01 Belgique -0.13 Finlande Espagne Islande France Japon 0.00 Italie -0.05 Corée Liechtenstein Norvège Mexique -0.14 Nouvelle Zélande -0.04 Suède -0.02 Moyenne -0.011 -0.11

10 IEA Reading Literacy (1991)
Type de questions IEA Reading Literacy (1991) PISA 2000 QCM 75 % 45 % Question ouverte à réponse courte 22 % 11 % Question ouverte à réponse construite 3 % Total 100 %

11 Distribution des questions en fonction du type de questions et du type de démarches
Questions fermées Questions ouvertes Total Retrouver l’information 12 24 36 Interpréter 43 21 64 Réfléchir et évaluer 5 29 60 69 129

12 Disparités Filles Garçons et nature des questions
QCM: 0.19 écart-type Question ouverte: 0.29 D’où à quoi peut-on attribuer les différences entre filles et garçons? Nature des questions Type de démarches

13 Génération de nouvelles PVs
Six échelles Retrouver des informations QCM (12) Retrouver des informations QO (24) Interpréter des textes QCM (43) Interpréter des textes QO (21) Réfléchir et évaluer QCM (5) Réfléchir et évaluer QO (24)

14 Résultats France Six échelles
Retrouver des informations QCM: (14) Retrouver des informations QO: (10) Interpréter des textes QCM: (15) Interpréter des textes QO: (14) Réfléchir et évaluer QCM: (11) Réfléchir et évaluer QO: (17)

15 Différence Filles Garçons
France Moyenne Retrouver QCM 16.56 19.98 Retrouver QO 29.36 Interpréter QCM 26.87 28.11 Interpréter QO 30.78 35.42 Réfléchir QCM 30.27 32.43 Réfléchir QO 39.51 46.89

16 Analyse de variance Source Pourcentage de variance expliquée
Pourcentage de variance expliquée sur différences standardisées Pays 46,93 41,92 Nature des questions 16,21 17,60 Type de tâches 24,08 25,39 Pays * nature des questions 4,41 2,15 Pays * type de tâches 3,06 3,35 Nature des questions * type de tâches 1,87 6,65 Résidu (interaction de 3ème ordre) 3,44 2,92

17 Disparités F-G: conclusions
Disparités variables selon: Définition de la population Nature des questions Type de démarches Type de textes Absence d’indépendance statistique de la répartition des questions selon ces différentes dimensions Ne pas s’engager trop rapidement dans des interprétations théoriques

18 Disparités Natifs-Immigrés
Question 16 Es-tu né en France ? Ta mère est-elle née en France ? Ton père est-il né en France ? Question 17 Parles-tu le français à la maison ?

19 Résultats publiés par l’OCDE
Au départ de la question 16; Natif, 1ère génération, non natif Au départ de la question 17 Parle la langue du test à la maison, ne parle pas la langue du test à la maison

20 On peut lire: …. Concern about such differences is especially justified in those countries with significant performance gaps and comparatively large percentage of first generation students, including Belgium, France and Luxembourg. (…) Australia and Canada provide interesting exceptions to the general pattern

21 Réanalyse des données PISA
Répartition des élèves en 4 catégories en fonction de la question 16 et de la question 17 Elèves autochtones même langue Elèves autochtones autre langue Autres élèves même langue Autres élèves autre langue

22 Elèves autochtones Autres élèves Même Autre Autochtones Australie 73,15 3,85 9,70 13,29 534,73 494,51 536,79 507,15 531.55 519.32 Belgique 71,80 17,66 5,29 5,25 521,66 529,18 440,57 403,61 519.54 416.56 Canada 77,70 2,24 10,82 9,24 540,09 493,18 544,97 508,70 536.83 525.73 Suisse 75,33 4,51 5,80 14,36 515,63 480,68 476,38 407,92 512.65 426.99 France 88,21 1,04 6,75 4,00 512,88 471,39 481,52 441,36 510.82 463.67 Royaume-Uni 90,38 0,59 5,53 528,90 434,93 516,68 476,50 526.89 494.93 Italie 81,75 17,35 0,33 0,58 500,44 448,84 471,81 446,40 488.13 449.53 Luxembourg 63,07 2,98 8,21 25,73 475,58 409,26 407,10 378,21 469.88 385.10 Pays-Bas 75,78 13,03 5,94 545,78 524,38 481,65 458,68 541.09 463.80 Nouvelle-Zélande 79,76 1,38 10,00 8,86 541,38 454,74 549,75 470,24 534.83 506.77 Etats-Unis d’Amérique 84,23 2,25 4,98 8,54 514,05 412,73 519,72 445,79 509.57 472.02

23 Disparités entre établissements
Décomposition de la variance (rapport initial (F2.6)) Analyse multi niveaux Chap 8 rapport initial Chap 7 Reading for change Aucune définition du concept école

24 Disparités entre établissements
Belgique Etablissement et Implantation Pisa 2000: BFR=implantation et BFL=établissement PISA 2003: BFR=établissement et BFL=implantation France : collège et lycée: Dans PISA, on ne décrit aucun de ces deux types d’établissements Conclusions dangereuses

25 Création de collèges et lycées en BFR
France: Rho=0.50 BFR: 0.57 Avec collèges et lycées: 0.64

26 Conclusions Tout indicateur doit être interpréter à la lumière de la méthodologie employée pour éviter des interprétations hâtives voire erronées