Séminaire du CRIE – Université de Sherbrooke : 2 avril 2009 Perspectives multiniveaux dans la recherche en éducation Pascal BRESSOUX Université Pierre-Mendès-France Grenoble Laboratoire des Sciences de lEducation

Plan de lexposé Considérations méthodologiques liées à lanalyse multiniveau Le modèle multiniveau Lexemple de lexpérimentation CP à effectif réduits Les modèles de croissance Lexemple du suivi à long terme des effets du CP à effectifs réduits Le modèle aléatoire croisé Lexemple de létude de leffet-maître sur le long terme

Buxelles: De Boeck 2008

Considérations méthodologiques liées à lanalyse multiniveau

Données sur plusieurs « niveaux » : - Un effet-classe sur les acquis des élèves ? - Un effet-juge sur les condamnations des prévenus ? - Un effet-quartier sur la délinquance des jeunes ? - Un effet-pays sur les résultats des élèves à PISA ? - Etc. Souvent, structure hiérarchisée. Exemple : des élèves (niveau 1) dans des classes (niveau 2), etc. Modèles multiniveaux (ou modèles hiérarchiques linéaires) Nés des avancées des modèles de contexte et des modèles mixtes. But : étudier les effets de lenvironnement sur le « comportement » individuel. Principes de lanalyse multiniveau

Académie 1Académie 2 Ecole 1Ecole 2 Classe 1Classe 2 Ecole 3Ecole 4 Classe 3Classe 4 él. 1él. 2él. 3él. 4él. 5él. 6él. 7él. 8 Niveau 1 (élèves) Niveau 2 (classes) Niveau 3 (Ecoles) Niveau 4 (Académies) Exemple dune structure hiérarchisée à quatre niveaux … / …

Non-indépendance des résidus Agrégation vs désagrégation (voir aussi diapo suivante) Hétérogénéité des relations Effets aléatoires et effets fixes Problèmes posés par lanalyse de données hiérarchisées

Le modèle multiniveau

Le modèle multiniveau à constantes aléatoires Les composants de la variance : Variance totale : Niveau 1 Niveau 2 Equation complète

Un exemple destimation avec constantes aléatoires Modèles expliquant le score final en français (données aménagement du temps scolaire ) ParamètresModèle 1Modèle2 Effets fixes Constante0,007 (0,078) Score initial en français0,690 (0,031) Effets aléatoires Variance des constantes0,103 (0,042)0,096 (0,034) Variance inter-élèves0,890 (0,057)0,442 (0,028) –2 log L1434, ,083 N = 516 Le score initial (modèle 2) « nexplique » quasiment pas la variance des constantes (variance interclasses), mais il « explique » environ la moitié de la variance inter-élèves (intraclasse).

Le modèle multiniveau complet : constantes et pentes aléatoires Niveau 1 Niveau 2 Equation complète

Les composants de la variance : Variance de Y devient fonction quadratique de X

Un exemple destimation avec constantes et pentes aléatoires Modèles expliquant le score final en français (données aménagement du temps scolaire ) ParamètresModèle 1Modèle2Modèle 3 Effets fixes Constante0,007 (0,078) 0,008 (0,069) Score initial en français0,690 (0,031)0,690 (0,041) Effets aléatoires Niveau 2 (classes) : Variances des constantes 0,103 (0,042)0,096 (0,034)0,092 (0,033) Covariance constantes-pentes0,014 (0,014) Variance des pentes0,016 (0,011) Niveau 1 : variance inter-élèves0,890 (0,057)0,442 (0,028)0,441 (0,025) –2 log L1434, , ,525 N = 516

Relation entre les scores initial et final : nuage de points et droites estimées pour chacune des classes

Relation entre les constantes et les pentes

Estimation des constantes et des pentes avec leurs intervalles de confiance Cette incertitude dans les estimations est très importante à prendre en compte dans les « palmarès » (type PISA).

Leffet de shrinkage Les droites sont « ramenées » vers la moyenne générale pour corriger les fluctuations aléatoires dues à la variance déchantillonnage. Chaque droite est affectée par les informations obtenues sur le groupe particulier et par linformation générale (estimation bayésienne). Plus N j est petit, plus la variance déchantillonnage est élevée et plus la droite sera ramenée vers la moyenne. La variance déchantillonnage est beaucoup plus importante pour les pentes que pour les constantes.

Application de lanalyse multiniveau: Lexpérimentation CP à effectifs réduits Méthode Participants 100 classes expérimentales (8 à 12 élèves par classe dans les faits avec une moyenne égale à 10,45) 100 classes témoins (15 à 27 élèves par classe dans les faits avec une moyenne égale à 21,29). Toutes dans des milieux défavorisés (écoles en zone déducation prioritaire) Le Ministère de lEducation Nationale français a lancé en une expérimentation denvergure visant à réduire la taille des classes de CP (1 ère année élémentaire) à 10 élèves dans les zones défavorisées.

Acquis des élèves en français-lecture évalués en début, en milieu et en fin dannée. (Dans les écoles témoins, ces évaluations nont porté que sur 10 élèves choisis aléatoirement.) Les scores dacquisitions des élèves ont été normalisés, centrés et réduits. Dans un premier temps, on nutilise pour lévaluation que les scores dacquisitions de début et de fin dannée. Procédure

ParamètresModèle 1Modèle 2 Effets fixes Constante0,030 (0,054)-0,115 (0,109) Score initial en français0,760 (0,027) Profession du père (référence = cadre sup) Agriculteur, artisan, commerçant ou chef dentreprise -0,063 (0,121) profession intermédiaire0,016 (0,110) employé-0,187 (0,106) ouvrier-0,138 (0,097) « autre »-0,201 (0,097) Effectif réduit0,249 (0,077) Ancienneté en 1 e année0,017 (0,005) Effets aléatoires Niveau 3 : variance inter-écoles0,075 (0,040)0,070 (0,037) Niveau 2 (inter-classes) : variance des constantes variance des pentes du score 0,115 (0,038)0,038 (0,014) 0,039 (0,011) Niveau 1 : variance inter-élèves0,801 (0,038)0,295 (0,015) –2 log V2873,631956,08 Modèles multiniveaux expliquant les acquis des élèves en 1 e année élémentaire

Le modèle multiniveau de croissance

X Y Y t t 1 t 2 t 3 Le modèle multiniveau de croissance Relation entre les scores initial et final pour un échantillon dindividus Relation entre le temps et les scores pour un individu donné

Classe 1 Elève 1Elève 2 mes. 1 Niveau 1 (Mesures) Niveau 2 (Elèves) Niveau 3 (Classes) Exemple dune structure hiérarchisée de croissance mes. 2mes. 3mes. 1mes. 2mes. 3 Classe 2 Elève 3Elève 4 … /…

Niveau 1 : Formalisation du modèle de croissance Niveau 2 : En intégrant dans une même équation : Rythme de croissance fonction aussi de Z Caractéristique qui varie avec le temps Caractéristique interindividuelle stable dans le temps Niveau initial moyen Rythme de croissance moyen Variance de Y fonction du temps (= gestion de lhétéroscédasticité des erreurs) Une mesure du déroulement du temps est nécessaire (âge, durée…)

Application du modèle multiniveau de croissance: reprise de lexpérimentation de réduction de la taille des classes

Application du modèle multiniveau de croissance Etude des effets à long terme de la réduction des effectifs Les élèves ont été suivis jusquau début de la 3 e année élémentaire Leurs acquisitions en français-lecture ont été testées en début et en fin de 2 e année élémentaire et en début de 3 e année élémentaire Précision : les épreuves nétant pas les mêmes, leurs scores ne sont pas directement comparables. Tous les scores ont été centrés réduits => On sintéresse aux progrès relatifs des groupes expérimental et témoin

Modèles longitudinaux de croissance expliquant les acquis des élèves avec modélisation dun effet quadratique du temps ParamètresModèle 1Modèle 2Modèle 3 Effets fixes Constante–0,039 (0,039)0,007 (0,040)0,269 (0,074) Temps–0,005 (0,001)–0,015 (0,006) Temps 2 0,0004 (0,0003) Profession du père : (réf = cadre sup) Artisan/commerçant Intermédiaire Employé Ouvrier Autre –0,399 (0,081) –0,153 (0,072) –0,282 (0,068) –0,462 (0,062) –0,492 (0,061) Fille0,175 (0,023) CP réduit0,136 (0,053) Temps × CP réduit0,026 (0,008) Temps 2 × CP réduit0,0012 (0,0004) Effets aléatoires Niveau 3 (écoles)0,088 (0,020)0,089 (0,021)0,095 (0,026) Niveau 2 (élèves) : Variance des constantes Temps Variance des pentes Temps Covariance constantes/pentes Temps Variance des pentes Temps 2 Covariance constantes/pentes Temps 2 Covariance pentes Temps/pentes Temps 2 0,326 (0,022)0,330 (0,022)0,178 (0,026) 0,0003(0,0002) 0,0189 (0,0038) 0,0000 (0,0000) –0,0007 (0,0002) 0,0000 (0,0000) Niveau 1 (intra-élèves)0,652 (0,011)0,650 (0,011)0,638 (0,011) –2 Log V20219, , ,76

Modélisation des acquisitions comme fonction quadratique du temps, selon que les élèves appartiennent au groupe expérimental ou témoin

Le modèle aléatoire croisé

Ecole 1Ecole 2Ecole 3Ecole 4 Quartier 1 Quartier 2 Quartier 3 Un exemple de structure aléatoire croisée transversale Année 2 Enseignant 1 Enseignant 2 Enseignant 3 Année 1 Enseignant 1 Enseignant 2 Enseignant 3 Un exemple de structure aléatoire croisée longitudinale

Modèle aléatoire croisé à 2 niveaux : Modèle aléatoire croisé à 3 niveaux :

Un exemple de modélisation aléatoire croisée : la question des effets à long terme des enseignants sur les acquis en mathématiques ParamètresModèle 1Modèle 2Modèle 3Modèle 4 Effets fixes Constante–0,007 (0,069)–0,016 (0,074)–0,015 (0,074) Score initial0,620 (0,036)0,627 (0,035)0,625 (0,035) Effets aléatoires Niveau 3 : variance inter-écoles0,000 (0,000) Niveau 2 : Variance inter-classes (année 2) variance inter-classes (année 1)0,103 (0,036) 0,113 (0,040)0,100 (0,043) 0,024 (0,029) 0,100 (0,043) 0,024 (0,029) Niveau 1 : variance inter-élèves0,543 (0,037)0,530 (0,036)0,519 (0,037) –2 log L1066,451055,761054,72 N i = 461

MERCI POUR VOTRE ATTENTION

… « Qui sassemble se ressemble » - Destin commun (partage dun même environnement) - interactions (influence mutuelle) « Qui se ressemble sassemble »… - Eventuelle sélection par les écoles - Eventuel choix des parents - Ségrégation spatiale en cas de carte scolaire « Similarité » des individus au sein des contextes

Illustration du biais dagrégation (Cf. observations classes DEP 95 : Relation entre jugement des enseignants et scores des élèves) Corrélation (toutes classes confondues) = 0,28 (p = 0,003). Corrélation inter-classes = –0,77 (p = 0,002). Corrélation médiane intra-classes = 0,73. Approche par la régression :

Lestimation de la part de variance inter-groupes Décomposition de la variance (ANOVA avec effets aléatoires) Coefficient de corrélation intra-classe Simulation…

GroupeNombres aléatoiresMoyenneEcart-type Total ρ = 0,059 (Proc ANOVA). Donc, part de variance inter-groupes = 5,9 % Données issues de tables de nombres aléatoires, groupées dans des macro- unités (extrait de Wonnacott & Wonnacott, 1991, p. 867)

Droites de régression avec constantes aléatoires

Droites de régression avec constantes et pentes aléatoires

Illustration de leffet de shrinkage Droites de régression estimées par le modèle multiniveau Droites de régression estimées par les moindres carrés ordinaires