De lévaluation des élèves à lévaluation des projets RAR Journée académique, Poitiers, le 25 janvier 2011 Bruno Suchaut www.brunosuchaut.fr.

Présentation au sujet: "De lévaluation des élèves à lévaluation des projets RAR Journée académique, Poitiers, le 25 janvier 2011 Bruno Suchaut www.brunosuchaut.fr."— Transcription de la présentation:

1 De lévaluation des élèves à lévaluation des projets RAR Journée académique, Poitiers, le 25 janvier 2011 Bruno Suchaut www.brunosuchaut.fr

2 La question Quelles articulations possibles entre évaluation à léchelle de lélève et évaluation du projet du Réseau Ambition Réussite ? Question pertinente et très actuelle qui est celle de larticulation entre évaluation politique et évaluation pédagogique Plusieurs niveaux dévaluation qui renvoient à des intentions, à des finalités différentes Multiplication récente des outils dévaluation à différents niveaux du système Besoin dune clarification et dune articulation de ces outils Question difficile à traiter…

3 Plan Le contexte actuel de lévaluation dans le système éducatif Les caractéristiques de lévaluation en éducation Un exemple dévaluation micro : analyse des compétences des élèves Un exemple dévaluation méso : lévaluation des RAR Conclusion

4 Le contexte actuel de lévaluation dans le système éducatif

5 Notion relativement récente qui sest développée à tous les échelons du système éducatif Des outils dévaluation aux finalités pas toujours bien définies et comprises Évaluations internationales, évaluations institutionnelles, évaluations scientifiques, pratiques quotidiennes dévaluation… Des connaissances et compétences limitées des acteurs dans lutilisation des outils et dans linterprétation des résultats Une certaine méfiance des acteurs de lécole face aux outils dévaluation et de leur utilisation

6 Les caractéristiques de lévaluation en éducation

7 juger valider examiner mesurer expertiser interpréter estimer appréciernoter constater chiffrer discerner comparer évaluer etc. … contrôler Evaluer : un terme polysémique

8 Définition générale : observer la réalité pour en déduire sa valeur. Quel référentiel de valeur selon quels acteurs ? – administrateur, gestionnaire, formateur, enseignant, politique, parents, chercheurs…) Quel paradigme en matière dévaluation ? Docimologique, sociologique, économique, pédagogique ? Trois intentions distinctes et complémentaires : – Mesurer : caractère quantitatif et objectif, sexprime en terme de performance. – Apprécier : en référence à des critères préalablement définis, mesure des écarts par rapport à des critères – Interpréter : donner du sens aux résultats observés, lévaluation est au service de laction, caractère qualitatif, évaluation formative Lévaluation : de quoi parle ton ?

9 Les niveaux de lévaluation : du micro au macro Elève Enseignant Etablissement Circonscription, Académie Pays Pratiques des enseignants Inspections Projets détablissements Contrats dobjectifs Evaluations internationales, évaluations institutionnelles PEDAGOGIQUEPOLITIQUE

10 Besoins ObjectifsMoyensRésultats Pertinence CohérenceEfficience Efficacité Utilité ENVIRONNE MENT PEDAGOGIQUE POLITIQUE Lévaluation : une aide à la régulation

11 La question de la mesure Quels indicateurs de résultats ? – Réussite aux diplômes – Parcours scolaires (redoublements, orientation…) – Niveau de compétences et de connaissances – Absentéisme, bien être, etc.… Caractéristiques de la mesure – Objective – Absolue – Relative – Comparative (spatiale et temporelle) Mesure normée ou critériée – Norme statistique (médiane…) – Critères

12 Evaluations internationales (PISA…) Echelle standardisée avec une moyenne fixée à 500 et un écart-type à 100 (les deux-tiers des élèves ont un score compris entre 400 et 600) Critères de niveau de compétences précis

13 Evaluations nationales CE1, CM2 Répartition des élèves en quatre groupes selon leur niveau de réussite

14 Evaluations nationales CE1, CM2 Élèves dont le taux de réussite est compris entre 33% et 50% Maîtrise encore insuffisante des fondamentaux. Doivent faire lobjet dune attention particulière. Élèves dont le taux de réussite est compris entre 50% et 66% Les savoirs sont à consolider. Élèves dont le taux de réussite est supérieur à 66% Bonne performance.

15 Les limites dans linterprétation des résultats Les faibles effectifs délèves Les erreurs déchantillonnage – Certains écarts constatés (entre élèves, entre écoles, entre zones géographiques, entre périodes dobservation) ne sont pas statistiquement significatifs (intervalles de confiance des moyennes)

16 Un exemple dévaluation micro : les compétences des élèves

17 17 Objectif et questions de départ Objectif : Comprendre comment les acquisitions scolaires se structurent au niveau transversal (à un moment donné de la scolarité) et au niveau longitudinal (au cours de lécole élémentaire). Les questions : – Quelle cartographie des acquisitions des élèves (nature des acquis et liens entre les acquis) – Quelles compétences expliquent le plus les différences dacquis entre les élèves ? – Quelles sont les compétences les plus prédictives de la réussite ultérieure? – Quels liens entre compétences scolaires, variables socio-démographiques et capacités cognitives des élèves?

18 18 Schéma de lévaluation des compétences des élèves Données départementales Evaluation nationale CE2 Evaluation nationale 6 ème Evaluation acquis scolaires 5 ème Evaluation capacités cognitives 5 ème Caractéristiques sociodémographiques et scolaires

19 19 Pertinence dune analyse des résultats basée sur les items Les problèmes de mesure liés aux compétences dans les évaluations nationales – échelle de mesure variable dune compétence à lautre suivant le nombre ditems qui la compose – définition dun seuil de réussite ? – identification de compétences faisant intervenir des items issus dexercices différents ? Intérêts de lanalyse des résultats centrée sur les items – échelle de mesure commune (0/1) – seuil de réussite défini : échec ou réussite – meilleur ciblage de la notion de compétence

20 20 Principaux résultats de lanalyse en variables latentes en CE2 Redéfinition empirique des compétences des élèves à lentrée au CE2 63 compétences (variables latentes) identifiées au CE2 5 dentre elles correspondent à des compétences des évaluations nationales, 43 correspondant de façon partielle à certaines compétences des épreuves nationales. Certaines variables latentes font intervenir des items de champs, voire de disciplines différentes.

21 21 Capacités attentionnelles, recherche dinformations (compétence n°4) N° itemDescription succincte des itemsExercice F2005 F2012 F2014 F2021 F2023 F2044 M2018 M2029 M2031 M2037 Souligner les mots qui commencent par « b » et se terminent par « a » Repérer des types décrits à partir dextraits de livres différents Répondre à une question sur un texte Reconstituer la chronologie des événements dans des textes Identifier certains aspects dun texte (retrouver des indices du féminin) Se repérer dans la journée Utiliser le calendrier Utiliser le calendrier (inférence pour répondre à la question) Choisir lunité la mieux adaptée à un mesurage Ex01F Ex03 F Ex04F Ex05F Ex10F Ex09M Ex13M Ex16M

22 22 Calcul mental Compétences orthographiques Capacités attentionnelles, recherche dinformations Les blocs de compétences au centre des apprentissages à lentrée au cycle III 4 62 26 1 64 54 24 43 60 30 47 48

23 23 Structure de dépendance des acquisitions en CE2

24 24 Structure des acquisitions au cycle III Orthographe Calcul mental Capacité attentionnelles Début CE2 Début 6ème Calcul Numération Compréhension Calcul mental

25 25 Liaisons entre compétences en fin décole maternelle et résultats à lentrée au collège

26 26 Origine sociale Capacités cognitives Progrès scolaires Capacités cognitives, acquis scolaire, origine sociale Les capacités cognitives, indépendamment du niveau scolaire initial, jouent un rôle positif sur les acquisitions scolaires à lentrée en 6ème Progrès des élèves, capacités cognitives et origine sociale sont liés

27 Un exemple dévaluation méso : lévaluation des RAR (Académie de Paris)

28 Objectifs et caractéristiques de lévaluation Porter un regard objectif sur le fonctionnement des RAR Fournir des pistes de réflexion sur la politique dEducation prioritaire au niveau local Evaluation externe Les évaluateurs ne sont pas impliqués dans le dispositif Distance par rapport à lobjet étudié Dimension comparative Non Education prioritaire, RRS, RAR Perspective temporelle (sur 3 années) Dimension quantitative Mobilisation de données concernant la population accueillie, les moyens et les résultats obtenus chez les élèves Dimension qualitative Analyse du discours des acteurs impliqués dans les projets RAR sur la base dentretiens

29 Logique et structure de lévaluation quantitative Evaluation 6ème DNB Caractéristiques des élèves Contexte scolaire Education prioritaire Scolarité au collège FIN 3 ème DEBUT 6 ème Données agrégées par établissement Orientation

30 ILe public accueilli dans les établissements Prise en compte de plusieurs critères classiques pour caractériser la population délèves Faibles écarts entre établissements RRS et RAR Un établissement RAR se différencie nettement des autres

31 IILe niveau des élèves à lentrée au collège Compte tenu des caractéristiques sociales de la population délèves, les résultats à lentrée en 6 ème ne sont pas inférieurs à ceux attendus pour les établissements relevant de lEducation prioritaire Compte tenu des caractéristiques sociales de la population délèves, les résultats à lentrée en 6 ème ne diffèrent pas entre les établissements RRS et RAR

32 IIILes parcours des élèves Une fluidité des parcours nettement moins bonne dans les collèges RAR Situation identique dans les 4 collèges RAR

33 IVLa réussite au DNB Compte tenu des caractéristiques sociales de la population délèves, les résultats au DNB ne sont pas inférieurs à ceux attendus pour les établissements relevant de lEducation prioritaire Compte tenu des caractéristiques sociales de la population délèves, les résultats au DNB ne diffèrent pas entre les établissements RRS et RAR Les caractéristiques du corps enseignant et les taux dencadrement nexercent pas dinfluence directe sur les résultats au DNB

34 VLorientation en fin de 3 ème Les orientations des élèves en fin de 3 ème diffèrent nettement selon le type détablissement A résultats du DNB donnés, on ne relève pas de différences entre les collèges RAR et les autres

35 VILe regard des acteurs sur les RAR Des retards et des difficultés dans la mise en place des projets qui nuisent à lefficacité du dispositif Un manque de stabilité dans les équipes Une coordination du dispositif qui nest pas optimale à différents niveaux Le statut et le rôle des personnels RAR (PR, AP) ne sont pas toujours bien compris et acceptés par les autres acteurs

36 VILe regard des acteurs sur les RAR Un problème dimage des RAR ? Un sentiment dimpuissance face aux caractéristiques de la population délèves Constat dune ghettoïsation : absence de mixité sociale et académique La liaison entre le premier et le second degré apparaît une condition nécessaire à lefficacité et elle demande à être améliorée Déséquilibre des moyens entre premier et second degré

37 Conclusions de lévaluation Les données mobilisées pour lévaluation sont imparfaites (nécessité de se doter doutils dévaluation plus complets et fiables au niveau primaire et secondaire mobilisant des données individuelles) La distinction entre RRS et RAR ne repose pas totalement sur des critères objectifs relatifs à la population délèves Selon les caractéristiques de leur public, les résultats des RAR ne sont pas inférieurs à ceux attendus mais les moyens supplémentaires des RAR ne permettent pas de combler les écarts de résultats

38 Conclusions de lévaluation Des dysfonctionnement sont repérés dans la mise en œuvre des projets Une certaine dispersion dans les actions conduites Des différences notables existent dun RAR à lautre dans la mise en œuvre et le fonctionnement des projets tenant en partie au rôle des pilotes

39 Pistes damélioration Un pilotage plus fort pour un ciblage plus précis des actions à mettre en œuvre au sein des RAR ? Centrage sur des actions précoces visant la maîtrise de la langue Des contraintes institutionnelles à lever ? Carte scolaire Affectation des enseignants Incitations plus marquées pour exercer en RAR et plus généralement en Education prioritaire Dimension pédagogique à mobiliser davantage dans les projets Logique de pratiques versus logique dactions

40 Conclusion générale Comment mieux articuler lévaluation de lélève et lévaluation des projets RAR ? – Lévaluation des résultats des élèves au niveau des établissements doit être réalisée par des spécialistes et comporte certaines limites (statistiques, temporelles…) – Constituer des bases de données longitudinales sur les résultats et les parcours individuels des élèves

41 – Le projet RAR doit intégrer des indicateurs dévaluation des élèves spécifiques aux pratiques en cours dans les établissements scolaires (distinguer les niveaux de lévaluation) – Les actions mises en place en Education prioritaire doivent cibler en priorité les besoins identifiés chez les élèves en termes de compétences – Laisser aux enseignants une autonomie dans le choix des outils dévaluation au niveau de létablissement Conclusion générale