RelEx STANDARDISATION ET CALIBRAGE DE PRODUCTIONS ORALES Projet «relier les examens au CECRL » 12 au 15 mai 2009 Gilles Breton Expert associé CIEP

RelEx Pourquoi calibrer des productions orales ? A court terme Mettre en place et en commun des procédures pour décider des différents niveaux de production A moyen et long terme Etalonner des évaluations interlangues Proposer des échantillons standardisés à l’usage des ministères de l’Education

RelEx Comment procéder ? En utilisant un ensemble commun de procédures En utilisant comme outils de référence commune les niveaux du CECRL En arrivant à une compréhension adéquate des niveaux du CECRL pour relier les productions aux niveaux

RelEx A l'origine de l'idée de calibrage L'utilisation du « manuel pour relier les examens au CECRL» avec pour objectif : proposer des directives et des procédures qui facilitent une compréhension commune des niveaux du CECR

RelEx Approche adoptée dans le manuel Un ensemble qui ne peut être dissocié. Il permet d’assurer la validité des productions: La familiarisation La spécification du contenu La standardisation des évaluations La définition des standards La validation empirique

RelEx Ce que la standardisation implique Des procédures pour faciliter la compréhension commune des niveaux du CECR Ces procédures sont des garanties que les évaluations des tâches et des niveaux sont en adéquation avec le concept hypothétique (construct) Cela suppose que: la standardisation des décisions, telle qu’elle est décrite dans le chapitre 5 du manuel, ait bien été prise en compte dans l’organisation de séminaires de calibrage dans les différentes langues.

RelEx Les séminaires déjà organisés  Pour le français langue étrangère: Sèvres, décembre 2004  Pour l'allemand: Munich,mars 2005 et Vienne, décembre 2006  Pour l'italien: Pérouse, décembre 2005  Pour le portugais: Lisbonne, décembre 2007, à suivre...  Pour l'allemand, l'anglais, l'espagnol, le français, l'italien Sèvres, juin 2009

RelEx Procédures à suivre Avant le séminaire: Réunir les experts Rédiger les tâches selon les niveaux Prendre contact avec les institutions pour les tournages Collecter les productions orales Organiser le séminaire (vote électronique…) Pendant le séminaire Activités de familiarisation Outils d’évaluation Procédures de vote Après le séminaire Produire le DVD à partir des productions sélectionnées Rédiger les rapports: commentaires sur chaque production (corrélation inter/intra participants…) Distribuer le matériel

RelEx Les outils et les procédures d'évaluation Les outils Le tableau C1du manuel (échelle globale) Le tableau 3 du CECR par critère: Etendue, correction, aisance, interaction, cohérence La grille supplémentaire (avec les +) Les procédures Vote sur papier Vote électronique NB: Evaluation globale puis analytique 2 phases Avant la discussion Après la discussion L’objectif est d’atteindre un consensus

RelEx Format des vidéos et tâches Les tournages se font par binômes Les tâches sont adaptées aux niveaux et élaborées en fonction des descripteurs Elles se composent de deux parties: un monologue une interaction

RelEx Le séminaire interlangues au CIEP de Sèvres 23,24,25 juin 2008 Les procédures énumérées ci-dessus ont été totalement respectées. 5O experts venant de toute l’Europe ont calibré et comparé 45 productions orales en allemand, anglais, espagnol, français, italien. Au préalable,un classement a été mis en place sur un site. Les évaluations durant le séminaire ont complété ou confirmé le classement.

RelEx Pour visionner les performances en 5 langues. Les vidéos et les commentaires de toutes les performances de A1 à C2 en allemand, anglais, espagnol, français et italien peuvent être consultées à l'adresse suivante: cecrl/index.php