Formateurs : M. Pierre Yves Roux et M. Constantin Giosu, Atelier de dissémination de la formation « Evaluer les compétences des apprenants … pour les faire progresser », co-organisée par CREFECO, CIEP et MEN Formateurs : M. Pierre Yves Roux et M. Constantin Giosu, - le 21 novembre 2017- Centre international d’études pédagogiques Page d’ouverture

= Évaluation = notation ou plutôt Quelques rappels terminologiques Pour les « profanes », Évaluation = notation Or évaluation notation ou plutôt = Évaluation Notation

Notation Autres types d’évaluation Évaluation

Il existe a minima 4 types d’évaluation différents : - l’évaluation pronostique - l’évaluation diagnostique - l’évaluation formative l’évaluation sommative Que l’on peut croiser avec des notions comme interne – externe, auto et co, normative et critériée, etc. et à chaque type d’évaluation correspondent des moments et des fonctions différents…

L’évaluation pronostique : elle intervient pour prédire l’aptitude à réaliser certains apprentissages Exemples : - Test de positionnement pour des apprenants s’inscrivant à des cours de langue. Test d’orientation à l’entrée à l’université, etc.

L’évaluation diagnostique : elle fait le point de la situation de départ et permet notamment de vérifier les pré-requis

L’évaluation formative : elle consiste, compte tenu d’un objectif pédagogique préalablement déterminé, à vérifier si l’apprenant progresse et s’approche de l’objectif. Elle permet aussi de savoir si l’objectif visé est atteint ou non. Elle sera développée plus loin

L’évaluation sommative : elle a pour fonction de vérifier en fin de formation la possession par les sujets des connaissances et/ou des compétences visées. Elle revêt un caractère de bilan. Seule l’évaluation sommative peut justifier l’attribution de notes, voire l’établissement d’un classement (dans le cas d’un concours par exemple).

évaluation certificative. Remarque : si l’évaluation sommative débouche sur la délivrance d’une reconnaissance institutionnelle (diplôme), on parle d’… évaluation certificative. Exemples : - DELF, DALF, brevet, baccalauréat, etc.

« L’évaluation est une prise d’information en vue d’une décision » Mais quel que soit le type d’évaluation, on peut retenir la définition de Charles DELORME : vue L' prise une est information d’ décision. en d' évaluation une « L’évaluation est une prise d’information en vue d’une décision »

Formulation d’un objectif pédagogique Modification des objectifs Identification des prérequis utiles Evaluation des prérequis Problème général Prérequis insuffisants Prérequis présents Programmes compensatoires Problèmes spécifiques Enseignement Renforcement

Nouvel objectif pédagogique Enseignement Objectif atteint Evaluation Objectif non atteint 1. Identification des problèmes 2. Typologie des erreurs 3. Remédiation ciblée et différenciée

Nouvel objectif pédagogique Enseignement Objectif atteint Evaluation Objectif non atteint Évaluationsommative

Nouvel objectif pédagogique Enseignement Objectif atteint Evaluation Objectif non atteint 1. Identification des problèmes Évaluationformative 2. Typologie des erreurs 3. Remédiation ciblée et différenciée

Formulation d’un objectif pédagogique Modification des objectifs Identification des prérequis utiles Evaluation des prérequis Problème général Prérequis insuffisants Prérequis présents Programmes compensatoires Problèmes spécifiques Enseignement Renforcement

Nouvel objectif pédagogique Enseignement Objectif atteint Evaluation Objectif non atteint 1. Identification des problèmes 2. Typologie des erreurs 3. Remédiation ciblée et différenciée

+ + Amélioration des pratiques pédagogiques Cercle vertueux Motivation Amélioration des performances Appartenance Implication Sens Participation

Conséquences : Un élève est motivé si Un élève est démotivé si - Il considère la matière et les activités utiles et/ou intéressantes - Il se sent capable de faire ce qu’on lui demande - A l’impression qu’il a une part de responsabilité dans la réussite comme dans l’échec - Il considère la matière et les activités inutiles et/ou inintéressantes - Il ne se sent pas capable de faire ce qu’on lui demande - A l’impression qu’il n’a aucune responsabilité dans la réussite comme dans l’échec

Nouvel objectif pédagogique Enseignement Objectif atteint Evaluation Objectif non atteint 1. Identification des problèmes Évaluationformative 2. Typologie des erreurs 3. Remédiation ciblée et différenciée

Quatre remarques d’importance : Ce fonctionnement place l’évaluation formative au croisement entre la pédagogie différenciée et la pédagogie de l’erreur La différenciation ne signifie pas l’individualisation Les groupes de besoins ne sont pas des groupes de niveaux La phase d’analyse typologique de l’erreur est donc essentielle

 La différenciation pédagogique n’est pas synonyme d’individualisation pédagogique

EVALUATION T2 T1 R1 R2 1. Constat d’erreurs individuelles 2. Analyse typologique des erreurs constatées 3. Traitement différencié des erreurs Erreurs constatées (toutes différentes) E1 E2 E3 E4 E5 E6 E7 E8 E9 E10 E11 E12 T2 T1 R1 R2

Groupes de niveaux Groupes de besoins - Figés - Limitent les interactions - Accentuent les écarts - Danger du « conformisme déviant » - Evolutifs - Favorisent les interactions - Ne stigmatisent personne - Efficaces pour tous

La norme linguistique peut être définie comme l’ensemble des règles qui régissent le fonctionnement de la langue. L’évaluation normative cherchera à positionner l’apprenant par rapport à cette norme. Les critères sont définis par le référent (ou l’enseignant)sous la forme d’attendus. L’évaluation critériée cherchera à positionner l’apprenant par rapport à ces critères avec un principe : on ne peut évaluer (et pénaliser) que ce qu’on a enseigné.

car IL FAUT QUE + SUBJONCTIF (cf. Grévisse) Exemple Soit l’énoncé : « Il faut que je pars à 3 heures ». Sera considéré comme erroné (et donc pénalisé) dans une perspective normative car IL FAUT QUE + SUBJONCTIF (cf. Grévisse) Dans une perspective critériée, on devra d’abord se poser la question : « les sujets sont-ils censés connaître la règle Il faut que + subj  ? » - Si oui, l’énoncé est erroné et sera pénalisé - Si non, l’énoncé (erroné) ne sera pas pénalisé.

Implication : Dans une perspective critériée, on peut avoir une production comportant des erreurs mais à laquelle on attribuera pourtant la note maximale. Cette note maximale signifie que tout ce qui doit être connu et maîtrisé l’est effectivement.

Pédagogiquement, c’est la perspective critériée qui devrait être privilégiée, d’où l’importance de disposer d’un référentiel inventoriant les attendus : « évaluer, oui, mais par rapport à quoi ? »

Les 6 niveaux Utilisateur expérimenté indépendant élémentaire C2 : maîtrise Compétence opérationnelle globale, adéquation, précision expérimenté C1 : autonomie Compétence opérationnelle adéquate, efficacité, aisance B2 : avancé Réponse appropriée dans les situations courantes, argumentation indépendant B1 : niveau seuil Poursuivre une interaction, faire face A2 : intermédiaire Rapports sociaux, transactions simples élémentaire A1 : introductif Compétences introductives ou compétence « formule » Les 6 niveaux

Il est ensuite important de savoir ce que l’on évalue : - savoirs (linguistiques) ? - savoir-faire (linguistiques) ? - compétences (linguistiques) ? Vers une définition opérationnelle :

Ils sont décontextualisés 1. Les savoirs Ils sont décontextualisés Exemple : la conjugaison du conditionnel présent (je voudrais, tu voudrais, il/elle voudrait, nous voudrions, etc.)

Il s’agit de savoirs contextualisés 2. Les savoir-faire Il s’agit de savoirs contextualisés Exemple : savoir demander des informations en utilisant le conditionnel présent - Je voudrais savoir où se trouve la poste. - Pourriez-vous me dire à quelle heure ouvre la mairie ? - Serait-il possible de se voir à 10 heures ? Etc.

3. Les compétences Il s’agit de la combinaison de plusieurs savoirs-faire Exemple : rédiger une lettre de demande d’informations

Articulation entre savoirs, savoir-faire et compétences linguistiques : Il s’agit du principe des poupées gigognes (ou « poupées russes »)

xxxxxxxxxxxxxxxxxxxxxxxxxx Exemple : vous êtes intéressé(e) par une petite annonce et vous écrivez pour obtenir des informations supplémentaires. Xxxxxxxxx xxxxxxx, xxxxxxxx Xxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx. xxxxxxxxxxxxxxxxxxx xxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxx xxxxx Rédiger cette lettre est une compétence linguistique À l’intérieur de la lettre, je vais demander des informations (savoir-faire linguistique) Pour demander les informations, je peux utiliser le conditionnel présent (savoir linguistique)

Exemple de compétence : Rédiger une lettre de demande d’information Question : quels seraient les savoir-faire nécessaires pour réaliser cette activité ? Particulier loue studio Nice août et septembre. Proximité mer et commerces. Prix intéressant. Location semaine ou quinzaine possible. Ecrire P. Leroy, 3 rue Victor Hugo 06000 Nice Consigne : tu es intéressé(e) par cette petite annonce et tu écris à M. Leroy pour avoir plus d’informations. Tu poseras au moins 5 questions 36

- Savoir présenter sa lettre - Savoir introduire sa lettre Chacun de ces savoir-faire pourra faire l’objet d’un cours spécifique (ou de plusieurs) avant d’être globalisés en vue de l’objectif général En guise de réponse : - Savoir présenter sa lettre - Savoir introduire sa lettre - Savoir utiliser le ton adéquat - Savoir quelles questions poser - Savoir poser des questions - Savoir utiliser les articulateurs du discours - Savoir utiliser les formules de politesse - Savoir conclure sa lettre, etc. 37

Objectifs opérationnels IMPORTANT : Objectif général Objectifs opérationnels A B C D E Intégration / tâche Enseignement Critères Barème Remédiation Evaluation 38

Critères / Barème Remédiation Evaluation IMPORTANT : Savoir rédiger une lettre de demande d’infos Objectifs opérationnels : « savoir… Struc-turer… Emp-loyer… Poser… Iden-tifier… Etc. Intégration / tâche On enseigne successivement chacun de ces objectifs Critères / Barème Remédiation Evaluation Est ciblée en fonction des besoins et reprend les objectifs opérationnels Vous êtes intéressé (e) par la petite annonce et vous écrivez à … On reprend chacun des objectifs opérationnels 39

Quels outils d’évaluation? Exemple de typologie pour évaluer l’écrit : critère retenu : outils fermés vs outils ouverts Outils « fermés » Outils « ouverts » Caractéristiques : - Pas de production - Réponse proposée - Activité attendue : choix - Réponse unique - Réponse univoque - Compétences de compréhension - Notation objective Caractéristiques : - Production - Réponse à imaginer - Activité attendue : création - Réponses multiples - Réponses parfois équivoques - Compétences de production - Notation subjective « simple », globalité « complexe », détail

Exemples d’activités classées selon un axe « fermé / ouvert » - Questionnaire à choix multiple (QCM) - Tableau - Classement - Appariement - Texte lacunaire - Transformation - Questionnaire à réponse ouverte courte (QROC) - Production guidée - Synthèse - Analyse - Création Etc. (inventaire non exhaustif) © CIEP

Et 3 principes directeurs : 1. Les outils fermés serviront prioritairement à évaluer des savoirs et des savoir-faire, les outils ouverts les savoir-faire et les compétences 2. Dans une approche actionnelle, l’évaluation portera prioritairement sur les savoir-faire et les compétences, et la remédiation sur les savoirs et les savoir-faire 3. Dans une épreuve d’évaluation, on commencera par les outils fermés, puis semi-ouverts, et les outils ouverts viendront à la fin

Guide de relecture = inventaire de contrôle = « check-list » 1. Qu’évoquent ces termes pour vous ? 2. Mettez-vous ces pratiques en œuvre dans vos classes ?

Un exemple…

Voici les photos que vous avez prises pendant votre voyage à Paris Voici les photos que vous avez prises pendant votre voyage à Paris. A partir de ces photos, expliquez à vos amis où vous êtes allé(e)

Activité… D’après vous, pourquoi et comment peut-on différencier une épreuve d’évaluation ?

Types d’activités (ouvertes ou fermées) Langue de la consigne Activité guidée ou non Exigences (longueur, temps…) Aides pédagogiques Guide de relecture ou non Activités et modalités de remédiation, etc. font partie des pistes pour une différenciation

Seule l’évaluation formative peut être différenciée Seule l’évaluation formative peut être différenciée. L’évaluation sommative sera la même pour tous.

1. Validité (ou pertinence) : c’est le degré de précision avec lequel l’instrument mesure ce qu’il a pour objet de mesurer. 2. Utilité : l'évaluation doit produire de l'information compréhensible et utile, non seulement pour les apprenants mais aussi pour les concepteurs et les décideurs.

3.  Fiabilité (ou fidélité) : c’est la constance avec laquelle un instrument mesure une donnée. L'évaluation doit être "digne de confiance". Cela renvoie à l'exactitude des informations collectées. 4. Objectivité (ou équité) : c’est le degré de concordance entre les jugements portés par les différents examinateurs. Les conclusions de l'évaluation ne devront pas être influencées par le jugement personnel ou les positions institutionnelles des responsables de l'évaluation.

5. Représentativité : il n’est pas envisageable de tout évaluer. Ce qu’on aura retenu pour l’épreuve doit donner une image de ce qui n’a pas été retenu. 6. Discrimination : l’évaluation doit être discriminante, c’est-à-dire qu’elle doit pouvoir différencier les élèves en fonction de leurs connaissances et/ou compétences (ceux qui ont atteint les objectifs visés et les autres). 7. Transparence (ou clarté) : ce critère inclut l'idée que l'évaluation doit expliciter son propre "mode d'emploi" et ne rien laisser dans l’ombre. Tout doit être explicite.

1. Tout ce qui n’est pas explicitement interdit est autorisé. Le point 7 implique 3 principes essentiels pour la rédaction des consignes : 1. Tout ce qui n’est pas explicitement interdit est autorisé. 2. Toutes les exigences devront être clairement formulées : - format ; - signature ; - attendus, etc. 3. La langue des consignes doit faire partie des premiers objectifs de la classe de français. (sinon on pourra les donner en LM)

Exemple 1 : Consigne : reliez les éléments ci-dessous pour reconstituer quatre phrases correctes J’ai oublié le livre q Il s’agit du garçon q J’ai perdu la bague q Il habite la maison q q qui a une chemise noire. q que tu m’as offerte. q qui a des volets verts. q dont je t’ai parlé. 1. Quel serait le corrigé type ? 2. Comment évaluer la réponse suivante ? 3. Complétez la consigne pour exiger les productions attendues

Un effet déformant… Exemple : Soit la compétence xy

Priorités ? Modifie les objectifs et les priorités : On ne vise plus la connaissance ou la compétence, mais l’obtention de « bonnes notes »

Conduit l’élève à sélectionner les points qu’il va étudier « Si c’est noté, j’étudie, si ce n’est pas noté, je n’étudie pas »

Tente de mesurer des choses qui ne sont pas toujours mesurables

Est souvent « injuste » En dehors des activités fermées, aucune notation n’est objective

12/20 Absence d’information : La note en elle-même n’est porteuse d’aucune information pédagogique pertinente

Masque la complexité cognitive Donne des informations sur le résultat final mais pas sur la démarche d’apprentissage

Crée une hiérarchie et freine l’entraide

D’où l’importance de la notion de Zone Proximale de Développement

MAÎTRISE EXPERT ACQUIS EN VOIE D’ACQUISITION NON ACQUIS INACCESSIBLE Un exemple : Relève de l’évidence MAÎTRISE Peut expliquer à d’autres EXPERT Sait faire sans pouvoir expliciter ACQUIS PROGRESSION EN VOIE D’ACQUISITION Réussit parfois Ne réussit pratiquement jamais NON ACQUIS Ne possède pas les pré-requis nécessaires INACCESSIBLE

ambitionner (objectif) L’enseignement ne pourra occulter cette notion. Exemple : La maîtrise de la compétence ne peut être qu’une finalité MAÎTRISE EXPERT ACQUIS Ce que je dois ambitionner (objectif) EN VOIE D’ACQUISITION Quelles sont les compétences actuelles de l’élève ? NON ACQUIS INACCESSIBLE

12 principes fondamentaux L’apprenant a le droit de se tromper L’erreur doit être considérée comme un symptôme L’enseignant peut être à l’origine de certaines erreurs Toutes les erreurs n’ont pas la même importance

5. Toutes les erreurs n’ont pas la même origine 6. On ne peut « pénaliser » que ce qu’on a enseigné (évaluation critériée) 7. Toute correction ne sera pas forcément immédiate 8. L’enseignant n’a pas le monopole de la correction

9. Le relevé et le traitement des erreurs ne sont pas forcément exhaustifs 10. Il ne suffit pas de constater l’erreur, il faut y apporter remédiation 11. La remédiation n’est pas une simple redite 12. Le droit à l’erreur ne signifie pas « méthode des essais et des erreurs »

1. Identifier préalablement ce qu’on veut évaluer 2. Identifier l’outil/les outils le(s) mieux adapté(s) à ce qu’on veut évaluer Posséder un inventaire raisonné des outils (cf. typologie « ouverts-fermés ») 3. Analyser la tâche demandée en la décomposant en éléments observables

4. Vérifier que les savoirs, savoir-faire et compétences nécessaires appartiennent au document référent (ils sont censés être connus ou maîtrisés) 5. Imaginer et rédiger des consignes 6. Même s’il n’y a pas de corrigé-type, le concepteur se mettra à la place de l’évalué pour juger de la faisabilité de la tâche et estimer le temps nécessaire

7. Multiplier et varier les activités pour couvrir un champ le plus large possible 8. Les différents items (ou activités) seront complémentaires et non pas redondants 9. Le point 8 n’exclut pas le recoupement d’items (donc le recoupement d’informations)

10. Imaginer une progression interne 11. Vérifier que l’évaluation porte sur des points essentiels et non pas sur des « détails » 12. Élaborer un barème si nécessaire 13. Valider l’épreuve

14. Administrer l’épreuve 15. Corriger (repérer les erreurs récurrentes, et les analyser – typologie / Noter si nécessaire) 16. Remédiation différenciée et ciblée 17. Décider de la programmation + effectuer le suivi des élèves

Avec un souci constant de cohérence entre : - les programmes - les référents - les objectifs - l’enseignement - les activités d’évaluation - les critères - les barèmes liste a minima

1. En guise de synthèse, imaginez des mots ou des expressions pour compléter cet acrostiche V……………………… A……………………… L……………………… U……………………… T……………………… I……………………… O……………………… N………………………

Département langue française L’auteur de ce cours: M. Pierre-Yves ROUX Responsable de l’unité expertises et projets Département langue française 81

Animatrices: Loredana-Gabriela Stoian et Rodica Calota Atelier de dissémination de la formation « Evaluer les compétences des apprenants…pour les faire progresser » . Animatrices: Loredana-Gabriela Stoian et Rodica Calota - le 21 novembre 2017- Centre international d’études pédagogiques Page d’ouverture