L’évaluation linguistique dans une pédagogie différenciée Journée d’études ULB – 30/01/2014 Marielle Maréchal Institut Supérieur des Langues Vivantes Université de Liège

Test de positionnement Plus de 650 étudiants Aucune information sur leur « passé » linguistique À évaluer à l’écrit et à l’oral À placer dans un groupe de niveau (de A1 à C1 par demi-niveaux) Contrainte de rapidité et d’efficacité !!

Production écrite En français, vous pensez être d’… un niveau élémentaire (A1-A2) : écrivez un texte de 1 à 10 lignes dans lequel vous vous présentez. un niveau indépendant (B1-B2) : écrivez un texte de 10 à 20 lignes dans lequel vous vous présentez et vous racontez votre arrivée à Liège : premières impressions, comparaison avec votre pays… un niveau expérimenté (C1-C2): écrivez un texte de 20 à 30 lignes dans lequel vous vous présentez, vous racontez votre arrivée à Liège, vos premières impressions. Ensuite, vous comparez avec votre pays et vous formulez vos attentes, vos projets et vos motivations par rapport à votre séjour dans cette ville. Attention : utilisez dans votre texte toutes vos compétences en français.

Critères d’évaluation  1. Contenu ? (adéquation au sujet + actes de parole) 2. Lexique Vocabulaire adéquat et varié Vocabulaire adéquat et suffisant Vocabulaire limité ou inadéquat 3. Grammaire (continuum mais passages à repérer) Peu d’erreurs Quelques erreurs qui ne nuisent pas à la compréhension globale Erreurs mineures ou graves qui nuisent à la compréhension de certains passages Erreurs graves qui rendent le message incompréhensible 4. Eléments de structuration (intra et inter-phrastiques)    

Sujets d’expression écrite

Critères pour le niveau B1

Test francophone de langue française

Test d’évaluation finale 4 compétences testées : CO, CE, PO, PE ¼ de la note finale attribuée à deux séquences réalisées à distance (@lter) Difficulté adaptée au niveau Problème d’interprétation de la note

Vocabulaire / 4 Contaminations dues à la LM Interférences Registre de langue adéquat Formules de politesse Variété Etendue Synonyme… Grammaire / 12 Grammaire supposée connue /3 Points vus en classe / 6 Orthographe grammaticale /3 Syntaxe / 6 Présence de tous les mots nécessaires pour former une phrase complète Ordre des mots correct Mots-liens corrects dans la phrase (prépositions. conjonctions, relatives) Cohérence / 4 Présence de liens entre les phrases Présence et utilisation de connecteurs Ponctuation Mise en page

Contenu /14 Respect du sujet Réponse à toutes les questions posées Respect de la longueur /7 Expression du point de vue Respect des structures propres à la situation de communication proposée Richesse de la production Orthographe Uniquement les fautes d’orthographe d’usage Pondération négative  Exemple : 0-5 fautes = 0 5-10 = -1 10-15 = -2 + de 15 = -3

Les pièges de l’évaluation La standardisation L’instrumentalisation La mesure quantitative La simplification L’atomisation L’imprécision

a) La standardisation Contrainte des itinéraires pour passer d’un niveau à un autre → contrainte de la progression Contrainte des tests internationaux (DELF- DALF, TCF, TEF,…) qui proposent des procédures d’évaluation quasi identiques Contrainte des notes obtenues à ces tests qui définissent un niveau ad vitam aeternam ! Itinéraires balisés par les descripteurs : Par exemple, B2 en EO continue « peut faire une description et une présentation détaillées sur une gamme étendue de sujets relatifs à son domaine d’intérêts en développant et justifiant les idées par des points secondaires et des exemples pertinents » (Production orale générale) mais il y beaucoup d’autres descripteurs plus précis : monologue suivi, prendre part à une conversation,… Et les critères qualitatifs : « a acquis une prononciation claires et naturelles », « a un assez bon contrôle grammatical. Ne fait pas de fautes conduisant à des malentendus »,…

b) L’instrumentalisation Vision instrumentale du langage, de son usage, de son apprentissage…et de son évaluation ! Les centres de langues proposent presque tous des cours de préparation aux certifications Les manuels adoptent tous le découpage en 6 niveaux et chaque unité se termine par un exercice de préparation aux certifications Les enseignants passent beaucoup de temps à entrainer leurs apprenants pour réussir les certifications → bachotage !

c) La mesure quantifiable Tentation forte de n’évaluer que ce qui est quantifiable (grilles d’évaluation avec critères et degrés très -trop- précis) Rôle accru de la docimologie = étude systématique déterminant la notation des examens illusion de l’objectivité dans le processus d’évaluation Parfois grande difficulté pour les enseignants-évaluateurs d’interpréter ces niveaux et ces degrés! Attention au nombre de degrés par critères ! Comment justifier un écart d’un demi-point sur 4 ou 5 points pour le critère « variété/richesse du vocabulaire » ?. Autre possibilité : système binaire 0-1 (KUL) La courbe de Gauss est dépassée! Aujourd’hui, on ne peut plus parler d’évaluation linguistique sans parler d’alpha de Cronbach ou de modèle de Rasch! On connaît les critères parasites de l’objectivité qui sont à l’œuvre au moment de l’évaluation : effet de halo, effet de stéréotypie, effet d’ordre, variable choc, variable de débordement, écart-type, amalgame,…

d) La simplification (1) Deux hypothèse fortes du CECR : l’apprenant comme acteur social la perspective actionnelle Or, être un acteur social compétent ne saurait se réduire à être compétent linguistiquement (maîtriser la langue) ni même à être un bon communiquant (maîtriser les 4 savoir-faire). (Springer, 2011)

d) La simplification (2) Pourtant, les évaluations actuelles envisagent –au mieux- les 4 compétences langagières de base : DELF-DALF : CE, EE, CO, EO TCF : idem + lexique et structures TEF : id. …car évaluer autre chose est une gageure ! …des savoir-faire généraux (capacité à mener à bien les actes requis par la vie quotidienne, les situations sociales en classe, au travail, capacité à jouer le rôle d’intermédiaire culturel) …des savoir-être personnels (capacité d’ouverture, de prise de distance, de développement d’une attitude interculturelle) …des savoir-apprendre (capacité à observer de nouvelles expériences, à y participer et à intégrer de nouvelles connaissances)

e) L’atomisation (1) Dans l’approche actionnelle prônée par le CECR, l’évaluation se fait à travers la résolution de tâches Est définie comme tâche toute visée actionnelle que l’acteur se représente comme devant parvenir à un résultat donné en fonction d’un problème à résoudre, d’une obligation à remplir, d’un but qu’on s’est fixé (CECRL, p.16) Difficulté de la définition de la tâche : « est définie comme tâche toute visée actionnelle que l’acteur se représente comme devant parvenir à un résultat donné en fonction d’un problème à résoudre, d’une obligation à remplir, d’un but qu’on s’est fixé » ‘CECRL, p.16)

e) L’atomisation (3) Or, les évaluations actuelles vérifient : des compétences « micro » (↔ macro- compétences) des compétences cloisonnées (CE≠EE≠CO≠EO) des savoirs limités (pas de scénario d’évaluation) des savoirs itémisés (utilisation massive des QCM et des QROC) La partie « Lexique et structures » du TECF et du TEF en est le plus bel exemple! Il faut attendre les niveaux C1 et C2 (DALF) pour trouver un lien fort entre CO et EO et entre CE et EE. Comme il peut y avoir des scénarios pédagogiques! Or, avec ce types de question, il faut savoir qu’on évalue des compétences de reconnaissance de ou des forme(s) correcte(s) et pas de véritables compétences de production!

f) L’imprécision Les évaluations actuelles aboutissent souvent à un profil global, totalisant, transversalement homogène (Coste, 2011) → or, c’est un leurre car l’apprenant A2 ou B2 n’existe pas ! Pourtant, les multiples descripteurs et critères qualitatifs du CECR pourraient permettre des différenciations plus fines mais le « sur mesure » est plus coûteux que le « prêt-à-porter » ! Et que recouvre exactement dans tel ou tel contexte une déclaration du type « dans notre système éducatif, les élèves atteignent le niveau B2 à la fin du secondaire pour la 1re langue étrangère. » C’est pourtant ce que l’on trouve dans presque tous les référentiels utilisés dans les systèmes éducatifs européens. La question que se sont posée et se posent encore tous les spécialistes de la certification est : est-ce que mon B2 est ton B2…ou ton « bidou » ! Cas emblématique des étudiants d’échanges grecs…sans vouloir stigmatiser une nationalité! Coste, 2007

Renoncer à évaluer ? Impossible car forte demande individuelle et institutionnelle …mais tenter de… Combiner standardisation et contextualisation Construire de véritables évaluations par tâches qui permettraient de valider des compétences en construction et en action Donner les moyens aux enseignants d’opérer des choix dans un paysage pédagogique diversifié et de créer des évaluations adéquates à chaque contexte ainsi défini, mais aussi cohérentes par rapport à l’échelle de niveaux du CECRL!