Centre Européen pour les Langues Vivantes et Commission Européenne RELANG Relier les curricula, les tests et les examens de langues au Cadre européen commun de référence Relating language examinations to the common European reference levels of language proficiency Promouvoir l’assurance qualité dans le domaine éducatif et faciliter la mobilité Université d’Athènes, Athènes, Grèce 10-12 Février 2017 Centre Européen pour les Langues Vivantes et Commission Européenne Méthodologies et Évaluation Innovantes dans l’Apprentissage des Langues  

Les compétences de l’utilisateur / apprenant Compétences générales Compétence linguistique lexique grammaire sémantique phonologie orthographe orthoépie Compétence sociolinguistique marqueurs linguistiques des relations sociales / règles de politesse / expressions / différences de registres / dialectes et accents Compétence communicative langagière Compétence pragmatique discours fonctions

Qu’est-ce que la validité? εγκυρότητα Un test est valide s’il mesure ce qu’il a l’intention de mesurer. Cette définition élargie met l’accent sur l’impact social des tests : c’est l’interprétation de la signification des résultats au test par le candidat qui le rend valide ou invalide.

Qu’est-ce que la fiabilité? Αξιοπιστία -reliability En évaluation, la fiabilité est synonyme de cohérence: un test qui a des résultats fiables produit les mêmes résultats ou des résultats similaires lors de différentes sessions. Cela signifie qu’un test classera un groupe de candidats de pratiquement la même façon. Une grande fiabilité n’implique pas nécessairement que le test soit bon ou que l’interprétation des résultats soit valide. Un mauvais test peut produire des scores extrêmement fiables.

Équité - fairness Les organismes certificateurs ont comme objectif de rendre leur test le plus juste possible. De nombreux organismes ont rédigé des Codes de pratique ou des Codes d’équité pour aider les organismes certificateurs à gérer les aspects pratiques permettant d’assurer l’équité des tests. Lors de la conception des tests et examens, les organismes certificateurs peuvent essayer de minimiser les biais. On peut donner aux rédacteurs une liste de sujets à éviter.

Éthique – Δεοντολογία – ethical concerns Des tests de langue peuvent avoir des conséquences négatives sur des individus: par exemple dans le contexte de l’immigration, les décisions prises sur la base de résultats à un test peuvent avoir des conséquences graves et radicales pour la personne. Les organismes certificateurs doivent s’assurer de la bonne diffusion et compréhension des bons principes parmi les membres de leurs organisations. Cela permettra de s’assurer que l’organisme applique bien les directives proposées.

Familiarisation-Εξοικείωση Le processus de mise en relation d’un test avec le CECR comprend 5 étapes: Familiarisation Sélection d’activités de formation visant à une bonne connaissance du CECRL, de ses niveaux et de ses descripteurs Spécification Standardisation et benchmarking Définition des scores de césure Validation

Familiarisation Il n’y a pas de frontière précise entre la fin de la familiarisation et le début de la spécification ou standardisation, car les premières activités sont une continuation du processus de familiarisation. Une connaissance avérée des niveaux du CECR est requise pour analyser et évaluer les tâches des tests et les performances en relation avec les niveaux du CECR. Une connaissance détaillée du CECR, de ses niveaux et de ses descripteurs est nécessaire.

Connaissance détaillée du CECR Les éléments de l’approche actionnelle: L’usage d’une langue y compris son apprentissage, comprend les actions accomplies par des personnes et individus et acteurs sociaux Un ensemble de compétences générales et notamment une compétence à communiquer langagièrement Des contextes et des conditions variés avec différentes contraintes pour réaliser des activités langagières Des stratégies langagières pour produire ou comprendre des textes en relation avec des thèmes dans des domaines spécifiques Descripteurs pertinents (“capacités de faire”) Niveaux du CECR

Trois tâches – 3 tasks Mettre en ordre les niveaux du CECR (Echelle globale) Mettre en ordre les principales caractéristiques des niveaux du CECR Auto évaluation des capacités de chacun dans deux langues étrangères

Caractéristiques principales Ce niveau est le plus élémentaire de la langue, celui où l’apprenant est capable d’interactions simples : peut répondre à des questions sur lui-même, l’endroit où il vit, les gens qu’il connait, et les choses qu’ils ont ; peut intervenir avec des énoncés simples dans les domaines qui le concernent ou qui lui sont familiers et y répondre également en ne se contentant pas de répéter des expressions toutes faites et pré organisées.

Introduction: Tâches et items Un test est composé d’un certain nombre de tâches. Les tâches sont composées de consignes, de textes, et de réponses du candidat basés sur des items de différents types évalués en utilisant une grille d’évaluation. Les concepteurs de test doivent avoir une idée claire de: L’objectif de la tâche La raison pour laquelle elle a été choisie Les compétences qui s’y référent

Critères de qualité – quality criteria Pertinence Niveau Spécificité Objectivité Acceptabilité Ces critères contribuent à la validité et à la fiabilité d’un test Transparence Efficacité Usage correct de la langue Présentation Begrippen worden hierna uitgelegd © Cito B.V. Arnhem, 2007

Pertinence – Συνάφεια - relevance Est-ce que le test concerne les connaissances ou savoir- faire désirés? Est-ce que le test n’évalue pas d’autres connaissances ou compétences que celles qui sont désirées (en général l’intelligence, la lecture dans un test d’écoute, la grammaire dans un test de lecture) Conseil Utiliser une matrice de test Relier les questions avec le but du test Faire que les items soient reconnaissables pour le candidat © Cito B.V. Arnhem, 2007

(CECR) Niveau Est-ce que le texte et les questions sont représentatifs du niveau (CECR) souhaité? Est-ce que les questions distinguent ceux qui savent et ceux qui ne savent pas? Quel type de comportement est demandé (reproduction, production, etc.)? Conseil Faire travailler les experts en équipe Désigner des évaluateurs Eviter la manipulation de mots qui influencent le degré de difficulté Eviter l’information inutile Utiliser l’analyse de données (pré tests ou post tests) © Cito B.V. Arnhem, 2007

Spécificité - specificity Est-ce que seuls ceux qui ont appris pour le test peuvent répondre à l’item? Y-a-t-il des éléments implicites non souhaitées? Conseil Eviter les caractéristiques visuelles qui donnent de l’information non souhaitée Etre cohérent dans l’ordre des options (alphabétique, chronologique, taille) Ne pas donner de phrases copiées de livres © Cito B.V. Arnhem, 2007

Objectivité - Αντικειμενικότητα Les différents experts sont-ils d’accord sur la réponse correcte? Conseil Utiliser des tests écrits Organiser une discussion entre experts Organiser une évaluation extensive Eviter les biais (genre, culture, expérience, attitudes) Ne pas demander aux candidats leurs opinions Développer des modèles d’évaluation © Cito B.V. Arnhem, 2007

Acceptabilité - Αποδοχή Est-ce que l’introduction donne des informations suffisantes? Est-ce que ce que doit faire le candidat est clair (consignes)? Est-ce que l’item n’est pas une question mal comprise? Est-ce que la question n’est pas extrêmement difficile ou facile? Conseil Utiliser des consignes pour les rédacteurs © Cito B.V. Arnhem, 2007

Transparence – Διαφάνεια- transparency Est-ce que le candidat sait combine de réponses, de détails ou d’arguments sont attendus? Est-ce que l’item est lié à l’attente des candidats (syllabus, travail de préparation)? Est-ce que les candidats connaissent le score maximal pour chaque item? Le format de l’item est-il connu des candidats? Conseil Utiliser des instructions claires pour le candidat Utiliser une terminologie claire liée avec le syllabus et les tests afférents Indiquer le score maximum par item Utiliser des formats ou des types d’item familiers pour les candidats © Cito B.V. Arnhem, 2007

Efficacité – Αποδοτικότητα - efficiency Est-ce que l’information essentielle est présentée de façon efficace ( temps, information introductive, degré de complexité de la réponse)? Conseil Limiter le matériel de stimulus Eviter une lecture inutile pour les étudiants © Cito B.V. Arnhem, 2007

Langue utilisée – language use Est-ce que la langue utilisée est compatible avec le niveau de compétences des candidats Conseil Utiliser des phrases courtes Utiliser une grammaire correcte Utiliser un nombre limité de mots standard pour les questions (comment, quand, pourquoi etc.) Ne pas utiliser de double négation Ne pas utiliser inutilement des formulations négatives ou extrêmes © Cito B.V. Arnhem, 2007

Présentation – lay-out Est-ce que la présentation est un soutien pour le test? Conseil Utiliser un format de présentation S’assure que les questions et les parties des questions sont clairement Utiliser une numérotation claire des questions (1, 2, 3, … et non: 1a, 1b, 2a …) Utiliser des symboles correspondant aux conventions/règles S’assurer que les images, tableaux etc. sont graphiquement corrects S’assurer que les références des illustrations sont correctes © Cito B.V. Arnhem, 2007

Elaborer des questionnaires à choix multiple – constructing MC items Avantages Inconvénients Faciles à noter Difficulté à évaluer les compétences dans les nivaux élevés Très objectifs Elaboration chronophage et onéreuse Poids de l’écrit restreint Impossibilité de donner des réponses partiellement correctes En général très efficace Impact négatif sur l’enseignement Grande fiabilité Le candidat peut répondre au hasard Contenu varié Possibilité de notation automatisée Possibilité d’élaborer plusieurs versions

Caractéristiques de l’introduction et de l’amorce – characteristics of introduction and stem L’introduction ne doit contenir que de l’information pertinente L’introduction est facile à lire L’introduction est concise L’amorce porte sur un thème L’amorce est de préférence formulée comme une question L’amorce évite des recherches inutiles pour l’information pertinente pour le candidat

Caractéristiques des options dans les QCM Elles sont plausibles et s’excluent l’une l’autre Elles sont grammaticalement reliées avec l’amorce Elles sont classes dans un ordre logique ou alphabétique Elles ne répètent pas des éléments du texte Elles ne contiennent pas de mots comme toujours ou jamais Elles ne perturbent pas à cause de la longueur de la formulation, de l’écho Elles ne comportent pas d’indices pour d’autres items dans le même test Elles sont de préférence formulées de façon positive

Concevoir des distracteurs dans les choix multiples – construction of MC distractors Les distracteurs doivent être plausibles pour ceux qui n’ont pas étudié le matériel Les distracteurs doivent représenter des différences essentielles Les distracteurs doivent s’exclure l’un l’autre (et de l’option correcte) Les distracteurs doivent être plus ou moins du même format et de la même formulation que la réponse correcte

Appariement - matching L’appariement est un type de tâche de test qui suppose d’associer des éléments de deux listes séparées Une sorte d’appariement consiste à sélectionner la phrase correcte pour compléter chaque phrase non terminée d’un ensemble Un type utilisé dans les tests de compréhension écrite implique de choisir dans une liste quelque chose comme des vacances ou un livre qui convient à une personne dont les demandes sont décrites

Concevoir des test et des items ouverts – constructing open-ended tests & items Avantages Inconvénients Convenable pour les compétences créatives et de production Difficulté d’avoir une forte fiabilité dans l’interprétation des réponses correctes Possibilité de réponses partiellement correctes La notation peut être inefficace Possibilité de plusieurs réponses correctes Clarté de la formulation de la question du temps consommé Forte acceptabilité Chronophage pour le candidat et l’évaluateur

Format des Tests ouverts – format of open-ended tests Test écrit (questions, taches ou missions) Réponse courte De closure ou à compléter Longue réponse Essai Consignes d’évaluation

Cloze Le test de closure est un type de tâche pour remplir des blancs dans un texte où des mots/phrases ont été effacées Dans un test de closure on efface un mot tous les x mots Autres tâches de tests à trous à compléter : On efface de courtes phrases d’un texte Le concepteur d’items choisit les mots à effacer (test à trous rationnel)

Cloze Les candidats ont à Remplir les mots manquants (test à trous ouvert) Choisir parmi un ensemble d’options (choix multiple ou banque d’options) Évaluer un test à trous ouvert suppose Le mot exact (seule mot efface du texte original sera considéré comme une réponse correcte) Le mot acceptable (une liste des réponses acceptables est donnée aux correcteurs

Tester les compétences de production Testing productive skills

Ecrire dans le CECR Actions réalisées par des personnes Échelles illustratives pour La production écrite L’interaction écrite Différents contextes CECR Tableau 5, Catégories descriptives Compétence de communication Compétence linguistique Compétence sociolinguistique Compétence pragmatique

Contenu Pertinence, clarté, originalité, logique Syntaxe Structure des phrases, choix de styles Processus Trouver les débuts, corriger, trouver des idées

Objectifs Vocabulaire Organisation Pourquoi écrire? Choix des mots Cohérence, paragraphes, thème et support

Cohésion et unité Mécanique Règles pour prononciation Les verbes, accords des participes, pronoms

Le processus d’écriture the writing process Planifier Faire un brouillon de texte Revoir le texte Imprimer le texte

Planifier brainstorming d’idées, recueillir des idées à partir de ressources, noter différentes idées.

Faire un brouillon de texte Écrire une ébauche

Revoir le texte en sélectionnant les meilleures idées pour les inclure, en décidant de l’information pour chaque paragraphe et l’ordre des paragraphes

Imprimer le texte vérifier s’il y a des répétitions inutiles vérifier l’usage de la langue la ponctuation et l’orthographe

Caractéristiques des tâches Le stimulus doit être aussi court et clair que possible. Il doit donner un cadre adéquat pour l’écriture de l’étudiant. Les images ou autres documents visuels peuvent être utilisés comme stimulus (mais alors, ils peuvent créer des difficultés d’interprétation Les candidats doivent savoir à qui ils écrivent et comment cette information influence ce qu’ils écrivent.

Macrofonctions et microfonctions La production de différents types de texte (macro fonctions): Description Narration Argumentation, etc. La production de textes dans différents contextes (micro fonctions) Plaintes Demandes Invitations Rapports

Checklist pour les tâches d’écriture le thème du texte à produire est-il accessible pour l’objectif des candidats et est-ce que le contexte est réaliste? le langage dans les rubriques est-il accessible aux candidats pour le niveau de l'objectif? I la tâche donne-t-elle aux candidats la possibilité de montrer leur niveau? chaque tâche précise-t-elle le nombre de mots. Y a-t-il un nombre de mots précisé? 6. Est-ce qu’il y a un schéma de notation fournir? 7. Est-ce qu’il y a un exemple de réponse fournir pour chaque tâche?

Parler dans le CECR Actions réalisées par des personnes Échelles illustratives pour La production orale L’interaction orale Différents contextes CECR Tableau 5, Catégories descriptives Compétences de communication Compétence linguistique Compétence sociolinguistique Compétence pragmatique

Caractéristiques des tâches Le stimulus doit être aussi court et clair que possible. Il doit donner un cadre adéquat pour la production orale de l’étudiant. Les images ou autres documents visuels peuvent être utilisés comme stimulus (mais alors, ils peuvent créer des difficultés d’interprétation) Les candidats doivent savoir à qui ils parlent et comment cette information influence ce qu’ils disent.

Tâches du CECRF Tâches orientées factuellement : description, narration, instructions, comparaison Tâches d’évaluation : explication, justification, prédiction, décision

Jeux de rôles Ces tâches simulant la réalité sociale et les situations de service comme acheter quelque chose ou aller au restaurant , qui ont une structure fortement prédictible. L’intention est de simuler la réalité. Le rôle du candidat: Vous êtes arrivé dans un hôtel pour vos vacances . Vous avez perdu votre valise. Vous pensez que quelqu’un l’a pris dans la mauvaise chambre par erreur. Demandez au réceptionniste de vous aider. Examinateur / Rôle de l’interlocuteur: Vous êtes un réceptionniste dans un hôtel. Un client vous demande de l’aider.

Checklist pour les tâches de production orale 1. Le sujet du texte à produire est-il accessible aux candidats cibles et le contexte est-il réaliste? 2. La langue dans les rubriques est-elle accessible aux candidats au niveau cible? 3. L'objet de la tâche est-il clairement indiqué? 4. La tâche donne-t-elle aux candidats la possibilité de montrer leur niveau? 5. Existe-t-il un système de notation?