QUELQUES PISTES POUR MIEUX COMPRENDRE LÉVALUATION CM2 DE JANVIER 2009 Roland Charnay - SNUIPP octobre 2009 1 Autopsie dune évaluation.

Présentation au sujet: "QUELQUES PISTES POUR MIEUX COMPRENDRE LÉVALUATION CM2 DE JANVIER 2009 Roland Charnay - SNUIPP octobre 2009 1 Autopsie dune évaluation."— Transcription de la présentation:

1 QUELQUES PISTES POUR MIEUX COMPRENDRE LÉVALUATION CM2 DE JANVIER 2009 Roland Charnay - SNUIPP octobre 2009 1 Autopsie dune évaluation

2 Mise en bouche… Roland Charnay - SNUIPP octobre 2009 2 La méthode doit être "incontestée et incontestable", ce qui n'a "pas été le cas". "Le contenu, le calendrier ou encore le système de notation ont fait l'objet de critiques parfois justifiées. Les évaluations seront d'autant mieux acceptées que la méthode ne pourra être contestée » (rapport dun groupe de travail UMP) En CM2, un taux élevé de réponses incomplètes, une faible qualité des données recueillies. Du coup les données indiquées sont accompagnées d'un taux d'erreur important et les objectifs sont revus. (Premiers documents budgétaires 2010)

3 Un cadre : les protagonistes… Roland Charnay - SNUIPP octobre 2009 3 Elèves EnseignantsSavoirs Institution, Politiques Parents, société

4 Des questions Roland Charnay - SNUIPP octobre 2009 4 Les finalités de cette évaluation sont-elles claires ? Lévaluation est-elle bien conçue ? Evalue-t-on ce qui est important ? Les résultats sont-ils exploitables ? Quels peuvent-être les effets de cette évaluation ? Quelles leçons peut-on tirer dexpériences à létranger ?

5 Roland Charnay - SNUIPP octobre 2009 5 Les finalités de cette évaluation sont-elles claires ? Lévaluation est-elle bien conçue ? Evalue-t-on ce qui est important ? Les résultats sont-ils exploitables ? Quels peuvent-être les effets de cette évaluation ? Quelles leçons peut-on tirer dexpériences à létranger ?

6 Pourquoi de nouvelles évaluations ? Réponse du MEN (sur son site) Roland Charnay - SNUIPP octobre 2009 6 mesurer les acquis des élèves à deux moments clefs de leur scolarité élémentaire, renforcer les compétences des élèves là où elles sont insuffisantes en mobilisant les dispositifs d'aide personnalisée, informer les parents et leur permettre de suivre les progrès de leur enfant, disposer d'indicateurs fiables des acquis des élèves pour mieux piloter le système éducatif et favoriser l'égalité des chances de l'école au niveau national.

7 Analyse Roland Charnay - SNUIPP octobre 2009 7 Les cibles principales semblent être : Linstitution (mesurer les acquis, piloter le système) Les parents Les enseignants ne sont pas nommes explicitement, sauf au travers de la référence à laide personnalisée (et non à travers leur enseignement en classe) Comme dans les évaluations précédentes, plusieurs cibles sont ainsi visées Mais à linverse des précédentes (CE2 et 6 e ), le pilotage institutionnel est prioritaire…

8 Ce que confirme cette phrase de JL Nembrini (Directeur général de lenseignement scolaire) Roland Charnay - SNUIPP octobre 2009 8 Les nouvelles évaluations des élèves en français et en mathématiques, en CE1 et en CM2, sont un des éléments majeurs de la réforme du premier degré. Dune manière générale, lévaluation des résultats des élèves est la clé de voûte du système que nous mettons en place. Selon « Le Robert », clé de voûte signifie « point important, partie essentielle, capitale dun système » Lévaluation serait donc là pour « soutenir » le programme 2008 !

9 Roland Charnay - SNUIPP octobre 2009 9 Les finalités de cette évaluation sont-elles claires ? Lévaluation est-elle bien conçue ? Evalue-t-on ce qui est important ? Les résultats sont-ils exploitables ? Quels peuvent-être les effets de cette évaluation ? Quelles leçons peut-on tirer dexpériences à létranger ?

10 Qui évalue ? Roland Charnay - SNUIPP octobre 2009 10 Ces évaluations ont été mises au point par la Direction de lenseignement scolaire qui avait produit les programmes… … alors quexiste un service spécialisé pour ce type détudes (avec un savoir-faire et des spécialistes) : la DEPP, direction de lévaluation, de la prospective et de la performance) Elle a dailleurs publié une étude qui pointe, en calcul, une baisse importante des scores obtenus entre 1987 et 1999 qui touche tous les niveaux de compétences et saccompagne dun accroissement de la dispersion des scores. Elle ajoute que : de 1999 à 2007, il sopère un « tassement » des résultats et émet lhypothèse que ce redressement est peut-être à mettre au compte de la remise à lordre du jour du calcul dans les programmes de 2002 avec, en particulier, laccent mis sur le calcul mental et lapprentissage des techniques opératoires.

11 Des questions Roland Charnay - SNUIPP octobre 2009 11 Pourquoi le MEN na-t-il pas confié à la DEPP la mise au point de cette évaluation ? Crainte de perdre le contrôle des compétences évaluées ? Peur de ne pas maîtriser la présentation des résultats et des analyses ? Quels acteurs sont impliqués dans lélaboration, la passation et la correction de ces épreuves ? Pour lélaboration, les auteurs ne sont pas connus Pour la passation, les conditions sont strictes, mais le risque de manque dhomogénéité est grand Pour la correction, les enseignants sur la base dun codage imposé par le MEN Dans les 2 cas, déresponsabilisation des enseignants

12 Aspects éthiques et scientifiques Roland Charnay - SNUIPP octobre 2009 12 Dun point de vue scientifique, mais aussi éthique, il est anormal que ceux qui élaborent les programmes et qui arrêtent les orientations de la politique éducative prétendent en évaluer les résultats (…). Elles interviennent au moment où la nécessaire autonomie scientifique de cette instance (la DEPP) chargée de lévaluation au sein du ministère semble être remise en cause (J-C Emin, interview au SE)

13 Aspects éthiques et scientifiques Roland Charnay - SNUIPP octobre 2009 13 La conception de ces épreuves standardisées est de plus en plus confiée à des autorités externes indépendantes des ministères qui assez logiquement ne peuvent pas être juges et parties quand ces tests servent à évaluer leur politique. Lexternalisation de lélaboration des tests est fondamentale pour trois raisons : elle permet de mobiliser une expertise accrue quil est difficile de trouver en vase-clos, elle est une des conditions de lassociation au dispositif des acteurs concernés sur le terrain – les enseignants- et donc de leur acceptation sociale finale du programme, elle garantit transparence et donc une légitimité démocratique au système. Cest donc aujourdhui le modèle largement dominant. Lévolution récente de la France (la dernière année) vers un dispositif qui privilégie les acteurs internes au ministère ne suit pas cette tendance de fond. Nathalie Mons, auteur du rapport « Les effets théoriques et réels de lévaluation standardisée), dans un entretien avec le Café Pédagogique (18/09/09)

14 Lévaluation est-elle adaptée à ses objectifs généraux ? Roland Charnay - SNUIPP octobre 2009 14 Non, sil sagit de disposer dindicateurs fiables pour « le système » Une évaluation sur échantillon suffit Une évaluation « externe » est indispensable, avec passation et correction par des personnes extérieures à la classe Le nombre dexercices doit être beaucoup plus important, ce qui est possible avec des échantillons différents (cf. travail de la DEPP, note dinfo n° 08-37 : 244 items sous la forme de 13 blocs de 17 items, chaque élève étant soumis à 4 blocs)

15 Lévaluation est-elle adaptée à ses objectifs généraux ? Roland Charnay - SNUIPP octobre 2009 15 Non, sil sagit de connaître les acquis et difficultés de chaque élève, de repérer les progrès Évaluation proposée à tous en janvier, sans tenir compte des progressions de chaque enseignant (malgré le rappel de la « liberté pédagogique ») ET donc évaluation ne distinguant pas ce qui a été travaillé ou retravaillé et ce qui ne la pas été Codage binaire ne permettant pas de repérer les réussites partielles, les procédures particulières, les types derreurs… Temps contraint qui ne laisse pas la possibilité à un élève de « réussir à son rythme »… En cours dannée, cest lenseignant qui est le mieux placé pour ce travail (avec laide possible de ressources : banques dexercices, résultats permettant des comparaisons…)

16 Les conditions de passation sont-elles correctes ? Roland Charnay - SNUIPP octobre 2009 16 Le choix de la date !!! Le choix des durées pour chaque exercice : quelques exemples étonnants 2 minutes pour 1 minute pour

17 Ou encore… Roland Charnay - SNUIPP octobre 2009 17 6 minutes pour… 3 minutes pour… Il semble que ce soit plus la longueur de lénoncé ou le nombre de données que la difficulté de la tâche qui ont décidé du temps …

18 Les compétences annoncées sont-elles toujours les compétences évaluées ? Roland Charnay - SNUIPP octobre 2009 18 Point crucial car ce sont les compétences de lélève qui sont observées car on va rendre public les résultats non par sur lexercice, mais sur la compétence Car on va porter un jugement sur lefficacité des enseignements Question particulièrement délicate lorsquil sagit de la résolution de problème du fait de la formulation dune compétence générale alors que de nombreuses compétences locales sont nécessaires Du fait que, plus encore quailleurs, le choix des problèmes posés influe sur le résultat.

19 Exemple 1 : Résoudre des problèmes concrets faisant intervenir des grandeurs et une ou plusieurs des 4 opérations Roland Charnay - SNUIPP octobre 2009 19 Deux exercices sont utilisés pour évaluer cette compétence 11. Pierre part de l'école à 16 h 35 min. Il va au centre de loisirs puis il rentre chez lui. Quand il arrive à la maison, il regarde lhorloge de la cuisine. Voici ce quil voit : Combien de temps sest-il écoulé depuis que Pierre a quitté lécole ? 17. On a dessiné ci-dessous le plan dun petit jardin, tous les angles sont droits et les longueurs, en mètre, de certains côtés ont été notées. Calcule laire de ce jardin. Fais tes calculs sur cette page à droite de la figure. 3 m 5 m 8 m

20 Quelles compétences sont nécessaires pour répondre ? (problème 11) Roland Charnay - SNUIPP octobre 2009 20 Lire et comprendre le texte, y prendre la bonne information Lire lheure, en tenant compte que cest laprès-midi (contexte) Calculer une durée (de 16h35 à 18h45) par addition ou par soustraction (peu de place pour gérer les calcul)s Rédiger la réponse sous la forme attendue « Depuis que Pierre a quitté lécole il sest écoulé deux heures dix minutes » 11. Pierre part de l'école à 16 h 35 min. Il va au centre de loisirs puis il rentre chez lui. Quand il arrive à la maison, il regarde lhorloge de la cuisine. Voici ce quil voit : Combien de temps sest-il écoulé depuis que Pierre a quitté lécole ? 11. Pierre part de l'école à 16 h 35 min. Il va au centre de loisirs puis il rentre chez lui. Quand il arrive à la maison, il regarde lhorloge de la cuisine. Voici ce quil voit : Combien de temps sest-il écoulé depuis que Pierre a quitté lécole ? En fonction de quoi peut-on affirmer quun élève nest pas capable de « Résoudre des problèmes concrets faisant intervenir des grandeurs et une ou plusieurs des 4 opérations » ?

21 Quelles compétences sont nécessaires pour répondre ? (problème 17) Roland Charnay - SNUIPP octobre 2009 21 Lire le texte, comprendre la notion de plan coté Décomposer la surface en 2 ou 3 rectangles ou faire apparaître un « sur-rectangle » Déduire la dimension manquante Connaître et utiliser la formule de laire du rectangle Additionner et soustraire des aires Formuler la réponse avec la bonne unité 17. On a dessiné ci-dessous le plan dun petit jardin, tous les angles sont droits et les longueurs, en mètre, de certains côtés ont été notées. Calcule laire de ce jardin. Fais tes calculs sur cette page à droite de la figure. 17. On a dessiné ci-dessous le plan dun petit jardin, tous les angles sont droits et les longueurs, en mètre, de certains côtés ont été notées. Calcule laire de ce jardin. Fais tes calculs sur cette page à droite de la figure. 3 m 5 m 8 m 3 m En fonction de quoi peut-on affirmer quun élève nest pas capable de « Résoudre des problèmes concrets faisant intervenir des grandeurs et une ou plusieurs des 4 opérations » ?

22 E xemple 2 : Calculer mentalement le résultat dune opération ou dune suite dopérations, ou le terme manquant dune opération Roland Charnay - SNUIPP octobre 2009 22 Un seul exercice est utilisé pour évaluer cette compétence 3. Complète les produits ci-dessous. 0,8 = 8 x ……... 0,50 = 2 x ……… 0,8 = 8 x ……... 0,50 = 2 x ……… Plusieurs remarques simposent : - Seule la dernière partie de la compétence est évaluée (pas la plus facile !) - Une seule opération est concernée : la multiplication - Sur un seul type de nombres : les décimaux - A un moment de lannée où ce type de calcul na peut-être été ni vu ni revu - La réponse à la 2 e question peut être correcte sur la base dune conception erronée des nombres décimaux !

23 Roland Charnay - SNUIPP octobre 2009 23 En résumé, on nest pas toujours sûr que la compétence énoncée soit bien celle qui est évaluée dans le problème posé. Dans la classe, cette question se trouve atténuée du fait du nombre de problèmes que lélève a à résoudre. Dans une évaluation « limitée » le risque de « diagnostic » erroné nest pas négligeable.

24 Roland Charnay - SNUIPP octobre 2009 24 Les finalités de cette évaluation sont-elles claires ? Lévaluation est-elle bien conçue ? Evalue-t-on ce qui est important ? Les résultats sont-ils exploitables ? Quels peuvent-être les effets de cette évaluation ? Quelles leçons peut-on tirer dexpériences à létranger ?

25 Analyse didactique de lévaluation dun concept Ce que suppose la maîtrise dun concept Roland Charnay - SNUIPP octobre 2009 25 PROBLEMES automatisées PROCEDURES raisonnées PROPRIETES THEOREMES analogique LANGAGE verbal symbolique

26 Vue globale sur les 21 questions de Eva CM2 Roland Charnay - SNUIPP octobre 2009 26 PROBLEMES automatisées PROCEDURES raisonnées PROPRIETES THEOREMES analogique LANGAGE verbal symbolique 7 questions - 6 problèmes dapplication directe - 1 problème nécessitant une démarche 7 questions - 6 problèmes dapplication directe - 1 problème nécessitant une démarche 2 questions (écriture de nombres) Aucune question 12 questions

27 Le cas des nombres décimaux Roland Charnay - SNUIPP octobre 2009 27 La connaissance la plus importante nest pas évaluée Valeur des chiffres en fonction de leur position Signification de lécriture décimale en relation avec des longueurs, des aires… Les points délicats sont évalués de façon imparfaite Écriture en chiffres, à partir dune désignation orale 2 questions : vingt-neuf unités et trois dixièmes ; cinquante-huit unités et soixante quinze centièmes Pas de question du type : dix-sept unités et quatre centièmes Comparaison : manquent des cas du type 12,8 et 12,14 Multiplication et division par 10, 100… non évalué

28 Le cas de la résolution de problèmes Roland Charnay - SNUIPP octobre 2009 28 Ce que nous apprend PISA Manque d'autonomie des élèves français : "Ils ne s'attaquent qu'aux questions qu'ils pensent pouvoir résoudre, ils ne disposent pas de stratégies pour aborder un problème qui ne leur est pas familier : essayer, expérimenter, bricoler… ne font pas partie des modes d'approche possibles". Antoine Bodin, Les mathématiques face aux évaluations, revue Repères (IREM), octobre 2006 Une évaluation dans laquelle le temps pour répondre est toujours compté ne permet pas dévaluer le comportement des élèves face à des problèmes dan lesquels il faut « chercher pour trouver » et non pas « trouver tout de suite pour répondre »

29 Roland Charnay - SNUIPP octobre 2009 29 Les finalités de cette évaluation sont-elles claires ? Lévaluation est-elle bien conçue ? Evalue-t-on ce qui est important ? Les résultats sont-ils exploitables ? Quels peuvent-être les effets de cette évaluation ? Quelles leçons peut-on tirer dexpériences à létranger ?

30 Sont-ils exploitables par linstitution ? Plusieurs points de fragilité Roland Charnay - SNUIPP octobre 2009 30 Le moment choisi pour lévaluation ne permet pas dévaluer des compétences de fin de cycle Les conditions de passation et de remontée ne garantissent pas la fiabilité des résultats Le choix des exercices pour évaluer une compétence sont parfois discutables (voir précédemment), en particulier un seul problème (de division) pour apprécier la maîtrise des problèmes relevant des 4 opérations ! Si un codage en 0/1 peut, à la limite, être accepté pour avoir une image globale des compétences des élèves, son utilisation dans cette évaluation est contestable Sont mis « dans le même panier », pour les tables de multiplication, les élèves qui échouent à 2 questions et ceux qui échouent à 10 questions ? Idem pour les élèves qui échouent à 1 question décriture de nombre entier ou décimal ou fractionnaire et ceux qui échouent systématiquement Ne crée-t-on pas ainsi artificiellement des résultats déficitaires, pour pouvoir annoncer que « 15 % des élèves nont pas les acquis suffisants » et « 20 % des acquis encore fragiles » ?

31 Roland Charnay - SNUIPP octobre 2009 31 Lévaluation ne tient pas compte de la programmation des apprentissages établie par lenseignant, certains résultats sont inexploitables Des points fondamentaux ne sont pas évalués Ils ne permettent pas une analyse fine des réponses Codage 1/0 inadapté, car il ne permet pas de repérer les réussites partielles les procédures utilisées les types derreurs Que signifie léchec à une question Inadaptation de la question ? Choix pédagogiques inappropriés ? Difficulté réelle de lélève ? Sont-ils exploitables par lenseignant ? Très difficilement…

32 Linterprétation des réponses suppose une analyse fine débouchant sur des hypothèses… (exemples analysés par le Directeur de lenseignement scolaire) Roland Charnay - SNUIPP octobre 2009 32 Voila un élève qui sait bien faire une addition, mais qui ne maîtrise pas le sens de la virgule ni sa valeur dans un nombre. - Sait-on « faire » une addition quand on ne sait pas la poser ? - Le sens de la virgule est peut-être en cause… mais ce peut être aussi une injonction souvent entendue par l élève daligner les nombres par la droite et qui na pas été encore remise en cause. Lélève a correctement posé lopération, mais il a fait une erreur de calcul. Il sait manipuler les nombres décimaux, a compris le mécanisme de la soustraction, mais les tables daddition ne sont pas maîtrisées. - La pose correcte de lopération peut aussi bien provenir dune « bonne manipulation des décimaux » que dune habitude à aligner les nombres par la droite. - On peut, au contraire, faire lhypothèse quil na pas compris le mécanisme de la soustraction si on observe la place de la retenue au-dessus et non à gauche de 5 (ce qui le conduit à calculer 16 – 7), auquel cas il connaît ce résultat de la table !

33 Roland Charnay - SNUIPP octobre 2009 33 Les finalités de cette évaluation sont-elles claires ? Lévaluation est-elle bien conçue ? Evalue-t-on ce qui est important ? Les résultats sont-ils exploitables ? Quels peuvent-être les effets de cette évaluation ? Quelles leçons peut-on tirer dexpériences à létranger ?

34 Effets sur « le système » (opinion, politiques, parents …) Roland Charnay - SNUIPP octobre 2009 34 Si aucune campagne dexplication et danalyse de cette évaluation nest conduite, lécole sera « jugée » et « pilotée » sur la base de résultats contestables dune évaluation contestable. Le risque de manipulation existe Comparaison entre écoles Comparaison dans le temps : elles ne sont possibles que sur la base des mêmes exercices passés dans les mêmes conditions… (cf. exemple page suivante) … sous réserve que le bachotage qui risque de sinstaller naltère pas ces comparaisons

35 Roland Charnay - SNUIPP octobre 2009 35 Le niveau baisse ! Le niveau monte ! Le niveau monte pour la multiplication d'un nombre à 3 chiffres par un nombre à 3 chiffres, avec 0 intercalé 759 x 109 1998 : 44,2 % 523 x 305 2005 : 56 % 759 x 109 1998 : 44,2 % 452 x 107 1993 : 68,3 % Le niveau baisse pour la multiplication d'un nombre à 3 chiffres par un nombre à 3 chiffres, avec 0 intercalé

36 Effets sur les enseignants Roland Charnay - SNUIPP octobre 2009 36 Risque de réduction du programme aux compétences évaluées chaque année (phénomène des impasses bien connu)… … renforcé par ce qui est dit dans une note de synthèse de lIGEN (juillet 2009) : Ces évaluations révèlent aussi lécart, qui peut être important, entre ce qui est enseigné et ce qui devrait lêtre. En ce sens les évaluations nationales sont un puissant levier pour une mise en ouvre complète des nouveaux programmes. Impact sur les méthodes denseignement : entraînement aux tests, centration sur les réponses plutôt que sur les procédures (cf. système de codage) Impression (ou réalité !) dêtre contrôlés à travers ces tests pression accrue sur les enseignants Remise en cause de la professionnalité et de la liberté pédagogique des enseignants, notamment : Sur leur responsabilité de programmer leur enseignement en fonction de leurs élèves Sur leur responsabilité de mettre en place des modalités dévaluation

37 Effets sur les élèves Roland Charnay - SNUIPP octobre 2009 37 Accroissement des phénomènes de stress et dangoisse déjà très présents chez les élèves français (cf. PISA) « Apprendre pour savoir » ou « apprendre pour bien répondre » FranceFinlandePays Bas Je suis très tendu(e) quand jai un devoir de mathématiques à faire 5377 Je deviens très nerveux (se) quand je travaille à des problèmes de mathématiques 391516

38 Roland Charnay - SNUIPP octobre 2009 38 Les finalités de cette évaluation sont-elles claires ? Lévaluation est-elle bien conçue ? Evalue-t-on ce qui est important ? Les résultats sont-ils exploitables ? Quels peuvent-être les effets de cette évaluation ? Quelles leçons peut-on tirer dexpériences à létranger ?

39 Remise en cause en Angleterre (cf. Café pédagogique du 22/09/2008 Roland Charnay - SNUIPP octobre 2009 39 Le pilotage par l'évaluation nuit à l'enseignement des maths affirme un rapport officiel britannique Les rapporteurs de l'Ofsted, l'organe d'inspection britannique, n'ont pas été dupes. S'ils relèvent qu'aux tests officiels, le niveau n'en finit pas de monter, en réalité peu d'élèves sont bons en maths, et ce sont plutôt des garçons. Les inspecteurs de l'Ofsted mettent directement en cause les tests d'évaluation qui sont utilisés en Angleterre pour évaluer les établissements et piloter le système éducatif. "A l'évidence des stratégies pour améliorer les résultats aux tests, y compris des leçons spéciales, des classes de révision, l'accent mis sur l'entraînement aux tests, réussissent à préparer les élèves à réussir les tests mais ne les équipe pas bien en compétences mathématiques pour le futur". Pour l'Ofsted les élèves ne comprennent pas les maths, ont peu confiance en eux, ne trouvent pas de sens dans ce qu'ils font. L'Ofsted recommande de changer les tests en mettant des exercices de compréhension. Cette étude vient après une série de travaux qui tous aboutissent à remettre en question le pilotage par l'évaluation.

40 Les études existent… Roland Charnay - SNUIPP octobre 2009 40 Voir le rapport de Nathalie Mons publié en août 2009 sur « Les effets théoriques et réels de lévaluation standardisée » pour Eurydice (recherches européennes sur lenseignement) Voir aussi son interview sur le Café pédagogique du 18 septembre 2009 Il faut avancer avec circonspection dans le domaine des politiques dévaluation standardisée. Loutil peut tout à fait avoir sa place dans un système éducatif mais les effets pervers que lon peut voir se développer dans certains contextes nationaux invitent à la prudence.

41 Roland Charnay - SNUIPP octobre 2009 41 Pour conclure… Il sagit avant tout de proposer aux maîtres un outil qui leur manquait pour leur propre pilotage pédagogique : un instrument commun de mesure (si josais, je dirais un thermomètre commun) référé à une unité commune de mesure : le programme, avec ses progressions. Discours du Directeur de lenseignement scolaire Beaucoup de questions se posent autour de la fabrication du thermomètre… Autant de concepteurs… autant de températures ! En réalité, il nexiste pas dévaluation objective.

42 Roland Charnay - SNUIPP octobre 2009 42 Dautres images… Evaluation - éclairage ?Evaluation – caméra de surveillance? Evaluation – radar ?