Centre international d’études pédagogiques Atelier de dissémination de la formation « Evaluer les compétences des apprenants … pour les faire progresser », co-organisée par CREFECO, CIEP et MEN Formateurs : M. Pierre Yves Roux et M. Constantin Giosu, - le 21 novembre 2017-

Évaluation = notation Or évaluation notation ou plutôt Quelques rappels terminologiques Pour les « profanes », Évaluation Notation =

Autres types d’évaluation Évaluation

Il existe a minima 4 types d’évaluation différents : - l’évaluation pronostique - l’évaluation diagnostique - l’évaluation formative -l’évaluation sommative Que l’on peut croiser avec des notions comme interne – externe, auto et co, normative et critériée, etc. et à chaque type d’évaluation correspondent des moments et des fonctions différents…

L’évaluation pronostique : elle intervient pour prédire l’aptitude à réaliser certains apprentissages Exemples : - Test de positionnement pour des apprenants s’inscrivant à des cours de langue. -Test d’orientation à l’entrée à l’université, etc.

L’évaluation diagnostique : elle fait le point de la situation de départ et permet notamment de vérifier les pré-requis

L’évaluation formative : elle consiste, compte tenu d’un objectif pédagogique préalablement déterminé, à vérifier si l’apprenant progresse et s’approche de l’objectif. Elle permet aussi de savoir si l’objectif visé est atteint ou non. Elle sera développée plus loin

L’évaluation sommative : elle a pour fonction de vérifier en fin de formation la possession par les sujets des connaissances et/ou des compétences visées. Elle revêt un caractère de bilan. Seule l’évaluation sommative peut justifier l’attribution de notes, voire l’établissement d’un classement (dans le cas d’un concours par exemple).

si l’évaluation sommative débouche sur la délivrance d’une reconnaissance institutionnelle (diplôme), on parle d’… évaluation certificative. Remarque : Exemples : - DELF, DALF, brevet, baccalauréat, etc.

Mais quel que soit le type d’évaluation, on peut retenir la définition de Charles DELORME : vueL' prise d’décision. en uneest information d'évaluation une « L’évaluation est une prise d’information en vue d’une décision »

Enseignement Formulation d’un objectif pédagogique Identification des prérequis utiles Evaluation des prérequis Prérequis présents Prérequis insuffisants Problème général Modification des objectifs Problèmes spécifiques Programmes compensatoires Renforcement

Enseignement Evaluation Objectif atteint Nouvel objectif pédagogique 1. Identification des problèmes 2. Typologie des erreurs 3. Remédiation ciblée et différenciée Objectif non atteint

Enseignement Evaluation Objectif atteint Nouvel objectif pédagogique Objectif non atteint Évaluation sommative

Enseignement Evaluation Objectif atteint Nouvel objectif pédagogique 1. Identification des problèmes 2. Typologie des erreurs 3. Remédiation ciblée et différenciée Objectif non atteint Évaluation formative

Enseignement Formulation d’un objectif pédagogique Identification des prérequis utiles Evaluation des prérequis Prérequis présents Prérequis insuffisants Problème général Modification des objectifs Problèmes spécifiques Programmes compensatoires Renforcement

Enseignement Evaluation Objectif atteint Nouvel objectif pédagogique 1. Identification des problèmes 2. Typologie des erreurs 3. Remédiation ciblée et différenciée Objectif non atteint

Cercle vertueux MotivationAmélioration des performances Amélioration des pratiques pédagogiques SensParticipation Appartenance Implication ++

Conséquences : Un élève est motivé siUn élève est démotivé si - Il considère la matière et les activités utiles et/ou intéressantes - Il se sent capable de faire ce qu’on lui demande - A l’impression qu’il a une part de responsabilité dans la réussite comme dans l’échec - Il considère la matière et les activités inutiles et/ou inintéressantes - Il ne se sent pas capable de faire ce qu’on lui demande - A l’impression qu’il n’a aucune responsabilité dans la réussite comme dans l’échec

Enseignement Evaluation Objectif atteint Nouvel objectif pédagogique 1. Identification des problèmes 2. Typologie des erreurs 3. Remédiation ciblée et différenciée Objectif non atteint Évaluation formative

Quatre remarques d’importance : 1.Ce fonctionnement place l’évaluation formative au croisement entre la pédagogie différenciée et la pédagogie de l’erreur 2.La différenciation ne signifie pas l’individualisation 3.Les groupes de besoins ne sont pas des groupes de niveaux 4.La phase d’analyse typologique de l’erreur est donc essentielle

La différenciation pédagogique n’est pas synonyme d’individualisation pédagogique 

E1 E4 E3 E2 E5 E8 E7 E6 E9 E12E11 E10 1. Constat d’erreurs individuelles 2. Analyse typologique des erreurs constatées EVALUATION Erreurs constatées (toutes différentes) T1 T2 3. Traitement différencié des erreurs R1R2

Groupes de niveauxGroupes de besoins - Figés - Limitent les interactions - Accentuent les écarts - Danger du « conformisme déviant » - Evolutifs - Favorisent les interactions - Ne stigmatisent personne - Efficaces pour tous

La norme linguistique peut être définie comme l’ensemble des règles qui régissent le fonctionnement de la langue. L’évaluation normative cherchera à positionner l’apprenant par rapport à cette norme. Les critères sont définis par le référent (ou l’enseignant)sous la forme d’attendus. L’évaluation critériée cherchera à positionner l’apprenant par rapport à ces critères avec un principe : on ne peut évaluer (et pénaliser) que ce qu’on a enseigné.

Exemple Soit l’énoncé : « Il faut que je pars à 3 heures ». Sera considéré comme erroné (et donc pénalisé) dans une perspective normative car IL FAUT QUE + SUBJONCTIF (cf. Grévisse) Dans une perspective critériée, on devra d’abord se poser la question : « les sujets sont-ils censés connaître la règle Il faut que + subj ? » - Si oui, l’énoncé est erroné et sera pénalisé - Si non, l’énoncé (erroné) ne sera pas pénalisé.

Implication : Dans une perspective critériée, on peut avoir une production comportant des erreurs mais à laquelle on attribuera pourtant la note maximale. Cette note maximale signifie que tout ce qui doit être connu et maîtrisé l’est effectivement.

Pédagogiquement, c’est la perspective critériée qui devrait être privilégiée, d’où l’importance de disposer d’un référentiel inventoriant les attendus : « évaluer, oui, mais par rapport à quoi ? »

Utilisateur C2 : maîtriseCompétence opérationnelle globale, adéquation, précision expérimenté C1 : autonomieCompétence opérationnelle adéquate, efficacité, aisance Utilisateur B2 : avancéRéponse appropriée dans les situations courantes, argumentation indépendant B1 : niveau seuilPoursuivre une interaction, faire face Utilisateur A2 : intermédiaireRapports sociaux, transactions simples élémentaire A1 : introductifCompétences introductives ou compétence « formule » Les 6 niveaux

Il est ensuite important de savoir ce que l’on évalue : - savoirs (linguistiques) ? - savoir-faire (linguistiques) ? - compétences (linguistiques) ? Vers une définition opérationnelle :

1. Les savoirs Ils sont décontextualisés Exemple : la conjugaison du conditionnel présent (je voudrais, tu voudrais, il/elle voudrait, nous voudrions, etc.)

2. Les savoir-faire Il s’agit de savoirs contextualisés Exemple : savoir demander des informations en utilisant le conditionnel présent - Je voudrais savoir où se trouve la poste. - Pourriez-vous me dire à quelle heure ouvre la mairie ? - Serait-il possible de se voir à 10 heures ? Etc.

3. Les compétences Il s’agit de la combinaison de plusieurs savoirs-faire Exemple : rédiger une lettre de demande d’informations

Il s’agit du principe des poupées gigognes (ou « poupées russes ») Articulation entre savoirs, savoir-faire et compétences linguistiques :

Xxxxxxxxx xxxxxxx, xxxxxxxx Xxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx. xxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx. xxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx. xxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx. xxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx. xxxxxxxxxxxxxxxxxxx xxxxxxxx Rédiger cette lettre est une compétence linguistique xxxxxxxxxxxxxxxxxxxxxxxxxx xxxxx À l’intérieur de la lettre, je vais demander des informations (savoir-faire linguistique) Pour demander les informations, je peux utiliser le conditionnel présent (savoir linguistique) Exemple : vous êtes intéressé(e) par une petite annonce et vous écrivez pour obtenir des informations supplémentaires.

Exemple de compétence : Rédiger une lettre de demande d’information Question : quels seraient les savoir-faire nécessaires pour réaliser cette activité ? Consigne : tu es intéressé(e) par cette petite annonce et tu écris à M. Leroy pour avoir plus d’informations. Tu poseras au moins 5 questions Particulier loue studio Nice août et septembre. Proximité mer et commerces. Prix intéressant. Location semaine ou quinzaine possible. Ecrire P. Leroy, 3 rue Victor Hugo Nice

En guise de réponse : - Savoir présenter sa lettre - Savoir introduire sa lettre - Savoir utiliser le ton adéquat - Savoir quelles questions poser - Savoir poser des questions - Savoir utiliser les articulateurs du discours - Savoir utiliser les formules de politesse - Savoir conclure sa lettre, etc. Chacun de ces savoir-faire pourra faire l’objet d’un cours spécifique (ou de plusieurs) avant d’être globalisés en vue de l’objectif général

IMPORTANT : Objectif général Objectifs opérationnels A B C D Enseignement Evaluation CritèresRemédiation E Intégration / tâche Barème

IMPORTANT : Savoir rédiger une lettre de demande d’infos Objectifs opérationnels : « savoir… Struc- turer … Emp- loyer … Poser … Iden- tifier … On enseigne successivement chacun de ces objectifs Evaluation Critères / Barème Remédiation Etc. Intégration / tâche Vous êtes intéressé (e) par la petite annonce et vous écrivez à … On reprend chacun des objectifs opérationnels Est ciblée en fonction des besoins et reprend les objectifs opérationnels

Quels outils d’évaluation? Exemple de typologie pour évaluer l’écrit : critère retenu : outils fermés vs outils ouverts Outils « fermés » Caractéristiques : - Pas de production - Réponse proposée - Activité attendue : choix - Réponse unique - Réponse univoque - Compétences de compréhension - Notation objective Outils « ouverts » Caractéristiques : - Production - Réponse à imaginer - Activité attendue : création - Réponses multiples - Réponses parfois équivoques - Compétences de production - Notation subjective « simple », globalité « complexe », détail

© CIEP Exemples d’activités classées selon un axe « fermé / ouvert » - Questionnaire à choix multiple (QCM) - Tableau - Classement - Appariement - Texte lacunaire - Transformation - Questionnaire à réponse ouverte courte (QROC) - Production guidée - Synthèse - Analyse - Création Etc. (inventaire non exhaustif)

Et 3 principes directeurs : 1. Les outils fermés serviront prioritairement à évaluer des savoirs et des savoir-faire, les outils ouverts les savoir-faire et les compétences 2. Dans une approche actionnelle, l’évaluation portera prioritairement sur les savoir-faire et les compétences, et la remédiation sur les savoirs et les savoir-faire 3. Dans une épreuve d’évaluation, on commencera par les outils fermés, puis semi- ouverts, et les outils ouverts viendront à la fin

Guide de relecture = inventaire de contrôle = « check-list » 1. Qu’évoquent ces termes pour vous ? 2. Mettez-vous ces pratiques en œuvre dans vos classes ?

Un exemple…

Voici les photos que vous avez prises pendant votre voyage à Paris. A partir de ces photos, expliquez à vos amis où vous êtes allé(e)

Activité… D’après vous, pourquoi et comment peut-on différencier une épreuve d’évaluation ?

Types d’activités (ouvertes ou fermées) Langue de la consigne Activité guidée ou non Exigences (longueur, temps…) Aides pédagogiques Guide de relecture ou non Activités et modalités de remédiation, etc. font partie des pistes pour une différenciation

Seule l’évaluation formative peut être différenciée. L’évaluation sommative sera la même pour tous.

2. Utilité : l'évaluation doit produire de l'information compréhensible et utile, non seulement pour les apprenants mais aussi pour les concepteurs et les décideurs. 1. Validité (ou pertinence) : c’est le degré de précision avec lequel l’instrument mesure ce qu’il a pour objet de mesurer.

3. Fiabilité (ou fidélité) : c’est la constance avec laquelle un instrument mesure une donnée. L'évaluation doit être "digne de confiance". Cela renvoie à l'exactitude des informations collectées. 4. Objectivité (ou équité) : c’est le degré de concordance entre les jugements portés par les différents examinateurs. Les conclusions de l'évaluation ne devront pas être influencées par le jugement personnel ou les positions institutionnelles des responsables de l'évaluation.

5. Représentativité : il n’est pas envisageable de tout évaluer. Ce qu’on aura retenu pour l’épreuve doit donner une image de ce qui n’a pas été retenu. 6. Discrimination : l’évaluation doit être discriminante, c’est-à-dire qu’elle doit pouvoir différencier les élèves en fonction de leurs connaissances et/ou compétences (ceux qui ont atteint les objectifs visés et les autres). 7. Transparence (ou clarté) : ce critère inclut l'idée que l'évaluation doit expliciter son propre "mode d'emploi" et ne rien laisser dans l’ombre. Tout doit être explicite.

Le point 7 implique 3 principes essentiels pour la rédaction des consignes : 1. Tout ce qui n’est pas explicitement interdit est autorisé. 2. Toutes les exigences devront être clairement formulées : - format ; - signature ; - attendus, etc. 3. La langue des consignes doit faire partie des premiers objectifs de la classe de français. (sinon on pourra les donner en LM)

Exemple 1 : Consigne : reliez les éléments ci-dessous pour reconstituer quatre phrases correctes J’ai oublié le livre  Il s’agit du garçon  J’ai perdu la bague  Il habite la maison    qui a une chemise noire.  que tu m’as offerte.  qui a des volets verts.  dont je t’ai parlé. 1. Quel serait le corrigé type ? 2. Comment évaluer la réponse suivante ? 3. Complétez la consigne pour exiger les productions attendues

Un effet déformant… Exemple : Soit la compétence xy

Modifie les objectifs et les priorités : On ne vise plus la connaissance ou la compétence, mais l’obtention de « bonnes notes » Priorités ?

Conduit l’élève à sélectionner les points qu’il va étudier « Si c’est noté, j’étudie, si ce n’est pas noté, je n’étudie pas »

Tente de mesurer des choses qui ne sont pas toujours mesurables

Est souvent « injuste » En dehors des activités fermées, aucune notation n’est objective

Absence d’information : La note en elle-même n’est porteuse d’aucune information pédagogique pertinente 12/20

Masque la complexité cognitive Donne des informations sur le résultat final mais pas sur la démarche d’apprentissage

Crée une hiérarchie et freine l’entraide

D’où l’importance de la notion de Z one P roximale de D éveloppement

Un exemple : INACCESSIBLE EN VOIE D’ACQUISITION EN VOIE D’ACQUISITION NON ACQUIS ACQUIS MAÎTRISE EXPERT Ne possède pas les pré-requis nécessaires Ne réussit pratiquement jamais Réussit parfois Sait faire sans pouvoir expliciter Peut expliquer à d’autres Relève de l’évidence PROGRESSION

L’enseignement ne pourra occulter cette notion. Exemple : INACCESSIBLE EN VOIE D’ACQUISITION EN VOIE D’ACQUISITION NON ACQUIS ACQUIS MAÎTRISE EXPERT Quelles sont les compétences actuelles de l’élève ? Ce que je dois ambitionner (objectif) La maîtrise de la compétence ne peut être qu’une finalité

12 principes fondamentaux 1.L’apprenant a le droit de se tromper 2.L’erreur doit être considérée comme un symptôme 3.L’enseignant peut être à l’origine de certaines erreurs 4.Toutes les erreurs n’ont pas la même importance

5. Toutes les erreurs n’ont pas la même origine 6. On ne peut « pénaliser » que ce qu’on a enseigné (évaluation critériée) 7. Toute correction ne sera pas forcément immédiate 8. L’enseignant n’a pas le monopole de la correction

9. Le relevé et le traitement des erreurs ne sont pas forcément exhaustifs 10. Il ne suffit pas de constater l’erreur, il faut y apporter remédiation 11. La remédiation n’est pas une simple redite 12. Le droit à l’erreur ne signifie pas « méthode des essais et des erreurs »

2. Identifier l’outil/les outils le(s) mieux adapté(s) à ce qu’on veut évaluer Posséder un inventaire raisonné des outils (cf. typologie « ouverts-fermés ») 1. Identifier préalablement ce qu’on veut évaluer 3. Analyser la tâche demandée en la décomposant en éléments observables

4. Vérifier que les savoirs, savoir-faire et compétences nécessaires appartiennent au document référent (ils sont censés être connus ou maîtrisés) 6. Même s’il n’y a pas de corrigé-type, le concepteur se mettra à la place de l’évalué pour juger de la faisabilité de la tâche et estimer le temps nécessaire 5. Imaginer et rédiger des consignes

8. Les différents items (ou activités) seront complémentaires et non pas redondants 9. Le point 8 n’exclut pas le recoupement d’items (donc le recoupement d’informations) 7. Multiplier et varier les activités pour couvrir un champ le plus large possible

12. Élaborer un barème si nécessaire 10. Imaginer une progression interne 11. Vérifier que l’évaluation porte sur des points essentiels et non pas sur des « détails » 13. Valider l’épreuve

16. Remédiation différenciée et ciblée 14. Administrer l’épreuve 15. Corriger (repérer les erreurs récurrentes, et les analyser – typologie / Noter si nécessaire) 17. Décider de la programmation + effectuer le suivi des élèves

Avec un souci constant de cohérence entre : - les programmes - les référents - les objectifs - l’enseignement - les activités d’évaluation - les critères - les barèmes liste a minima

1. En guise de synthèse, imaginez des mots ou des expressions pour compléter cet acrostiche E ……………………… V ……………………… A ……………………… L ……………………… U ……………………… A ……………………… T ……………………… I ……………………… O ……………………… N ………………………

L’auteur de ce cours: M. Pierre-Yves ROUX Responsable de l’unité expertises et projets Département langue française

Centre international d’études pédagogiques Atelier de dissémination de la formation « Evaluer les compétences des apprenants…pour les faire progresser ». Animatrices: Loredana-Gabriela Stoian et Rodica Calota - le 21 novembre 2017-