L'effet de tests standardisés sur les résultats scolaires des élèves : Méta-analyses et résumé de la recherche Richard P. PHELPS Association Mondiale.

Présentation au sujet: "L'effet de tests standardisés sur les résultats scolaires des élèves : Méta-analyses et résumé de la recherche Richard P. PHELPS Association Mondiale."— Transcription de la présentation:

1 L'effet de tests standardisés sur les résultats scolaires des élèves : Méta-analyses et résumé de la recherche Richard P. PHELPS Association Mondiale des Sciences de l’Éducation, XVI Congrès, Monterrey, Mexique, juin, 2010 © 2010, Richard P PHELPS

2 La méta-analyse Une méthode pour résumer une littérature de recherche importante, avec une mesure unique et comparable © 2010, Richard P PHELPS

3 L'effet de tests standardisés sur les résultats scolaires des élèves
étude de 12 ans, presque fini analysé a peu pré de 700 études unique, et plus de 1500 effets unique 2000 autres études étaient passé en revue mais pas inclus (jugées inappropriés d’inclure) centaines autres ne passeront pas en revue – il n’y a pas assez de temps ou d’argent © 2010, Richard P PHELPS

4 Chercher les études d’inclure dans la méta-analyse
On a inclus les études qu’ont trouvé en effet d’un test sur les résultats scolaires des élèves ou sur les enseignements des enseigneurs… © 2010, Richard P PHELPS

5 Études inclus dans la méta-analyse
…quand: Un test est introduit de nouveau ou est enlevé La quantité de testing est augmenté ou est diminué Conséquences d’un test sont introduit ou sont enlevé © 2010, Richard P PHELPS

6 Nombre d’études et d’effets, par type de méthodologie
Nombre d’effets Quantitatives 188 575 Enquêtes et sondages d’opinion (EUA et Canada) 247 813 Qualitatives 245 TOTAL 680 1633 © 2010, Richard P PHELPS

7 Taille d’effet: d de Cohen
d = (YE - YC) / Spool YE = moyenne du groupe expérimental YC = moyenne du groupe contrôlé Spool = déviation standardisé © 2010, Richard P PHELPS

8 Taille d’effet: Autres formules
d = t*((n1+n2/n1*n2)^0,5 d = 2r/(1-r²)^0,5 d = (YE avant-YE après-YC avant+ YC après)/Spool après © 2010, Richard P PHELPS

9 Taille d’effet: Interprétation
d entre 0,25 et 0,50  un effet faible d entre 0,50 et 0,75  un effet moyen d plus de 0,  un effet fort © 2010, Richard P PHELPS

10 Études quantitatives © 2010, Richard P PHELPS

11 Études quantitatives : Taille d’effet
Taille d’effet calcul << squelettique >> : d ≈ +0,55 …en effet moyen Taille d’effet squelettique réglé pour la fiabilité (a cause de l’erreur qui résulte du procès quand on mesure) d ≈ +0,70 …en effet assez fort Il y a quelques autres règlements à faire pour des autres atténuations, probablement d sera entre 0,75 et 0,85 © 2010, Richard P PHELPS

12 Études quantitatives de tests de performance
Parmi à peu pré de 200 études quantitatives ... … il n’y en a guère © 2010, Richard P PHELPS

13 Enquêtes et sondages d’opinion
© 2010, Richard P PHELPS

14 Nombre et pourcentage d’items d’enquête, par groupe de répondeur et type d’enquête
Proviseurs d’éducation (e.g., professeurs) Consommateurs d’ éducation (e.g., élèves, parents) Total Nombre % Sondages d’opinion 98 12 348 43 446 55 Enquêtes des évaluations des programmes 290 36 80 10 370 45 388 48 428 52 816 100 © 2010, Richard P PHELPS

15 Nombre et pourcentage d’articles d’enquête, par conséquence de test et le groupe affecté
% Groupe affecté forte 507 62 Elèves 393 46 moyenne 184 23 Écoles 281 33 faible 4 Enseigneurs 116 14 pas connu 89 11 pas de conséquence 64 7 TOTAL 813 854 © 2010, Richard P PHELPS

16 Sondages d’opinion, par an
250 entre 1958 et 2008, aux États-Unis et en Canada 800 combinaisons uniques de question-réponse. a peut pré réponses uniques d’individuels © 2010, Richard P PHELPS

17 Enquêtes et sondages d’opinion : Tests standardisés simples et tests de performance (quelquefois complexes) Tests simples (N ≈125) Tests de performance (N ≈ 50) L’opinion des répondants d Connaissance des élèves est amélioré 1,2 1,0 …pondérée par la population de l’étude 1,9 0,5 Enseignement est amélioré 1,4 0,9 Tests aligne le programme scolaire © 2010, Richard P PHELPS

18 Études qualitatives : Résumé (On ne peut pas calculer un taille d’effet)
© 2010, Richard P PHELPS

19 Études qualitatives, par méthodologie
Méthode de recherche Nombre d’études % Dossiers 120 43 Expérimentes ou comparaisons avant-après 21 7 Entrevues (individu ou groupe) 75 27 Journaux 2 1 Revues des rapports officiels, enregistrements 33 12 Revues des recherches 8 3 Enquêtes 22 ÉTUDES TOTAL 281 100 © 2010, Richard P PHELPS

20 Études qualitatives: L'effet sur les résultats scolaires des élèves
244 études menées depuis 100 ans aux plus de 30 pays Direction d’effet Nombre d’ études Pourcentage d’études Pourcentage pas inféré Positive 204 84 93 Positive inféré 24 10 Mélangé 5 2 Pas de change 8 3 4 Négative 1 ÉTUDES TOTAL 244 100 © 2010, Richard P PHELPS

21 Études qualitatives : Le testing améliore les résultats scolaires et l’enseignement
Connaissance est amélioré Nombre d’études % Oui 200 95 Résultats mélangés 1 <1 Non 10 5 ÉTUDES TOTAL 211 100 Enseignement est amélioré Nombre d’études % Oui 158 96 Non 7 4 ÉTUDES TOTAL 165 100 © 2010, Richard P PHELPS

22 Études qualitatives: Variation par rigueur et conséquence de test
Direction d’effet Niveau de rigueur Études Total fort moyen faible Positive 95 67 42 204 Positive inféré 10 8 6 24 Mélangé 3 1 5 Pas de change 4 Négative ÉTUDES TOTAL 113 80 51 244 Direction d’effet Conséquence Études Total fort moyenne faible pas connu Positive 133 27 38 6 204 Positive inféré 12 5 7 24 Mélangé 4 1 Pas de change 2 8 Négative 3 ÉTUDES TOTAL 154 33 51 244 © 2010, Richard P PHELPS

23 Tests de performance (N = 69)
Études qualitatives : Tests standardisés simples et tests de performance (quelquefois complexes) Tests simples (N =176) Tests de performance (N = 69) Résultats d’étude % En générale, positifs 93 95 Conséquences de test fortes 71 42 Rigueur d’étude fort 46 48 Attitudes des élèves positives 60 Attitudes des enseigneurs positives 55 80 Connaissances des élèves amélioré Enseignement amélioré 92 100 Nombre des élèves important 86 68 © 2010, Richard P PHELPS

24 Une littérature de recherche énorme
Mais, prétentions que la littérature n’existe pas sont communes Quelques prétentions sont fait par ceux qui opposent le testing standardisé qui prennent leurs désirs pour la réalité Autres sont << prétentions de premierité >> © 2010, Richard P PHELPS

25 Revues des recherches dépréciants
Avec une revue de la littérature de recherche dépréciant un chercheur assure tout le monde que n’importe qu’autre chercheur a fait une étude sur le même sujet © 2010, Richard P PHELPS

26 Prétentions de premierité
Avec une prétention de premierité, un chercheur insiste qu’on est le premier à étudier un sujet © 2010, Richard P PHELPS

27 Les coûts sociaux Les recherches des faibles sont perdu; les résultats qui restes sont favorables aux puissants Décisions politiques sont basés sur leurs résultats On paie encore et encore pour les recherches déjà fait © 2010, Richard P PHELPS

28 L'effet de tests standardisé sur les résultats scolaires des élèves : Méta-analyses et résumé de la recherche Richard P. PHELPS © 2010, Richard P PHELPS