Ian Bell, Faouzia Benderdouche, Christine Demaison Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le Quatrième Journée d'étude LANSAD-DILTEC « LE TESTING »

Un dispositif de testing Un test de positionnement en ligne Étude de validation Un exemple de pratique: du test au CLES pour évaluer les doctorants de l’UPMC Projet européen HELP Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Le CECRL pour quels objectifs? pour l’évaluation pour les pratiques d’enseignement pour la motivation des étudiants pour la formation des enseignants Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Testing : un défi pour les enseignants Définition des objectifs du test La vérification de sa validité Son impact Sa faisabilité Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Le Test UPMC Bonjour Jean-Paul Martin, Dans le cadre de votre positionnement en anglais l’Université Paris VI vous prie de trouver ci-dessous votre code d’accès. Ce code vous permet d’accéder au test d’évaluation réalisé en partenariat avec Vocable et LCCI IQ –The London Chamber of Commerce & Industry. Attention ! Le test s’effectue en 1h maximum, seul, sans dictionnaire ou autres supports. Chaque code d’accès ne peut-être utilisé qu’une seule fois. Sa durée de validité court jusqu’au ……. Dès que le test est lancé, vous n’avez droit qu’à un seul essai (en cas de difficultés, n’hésitez pas à nous adresser une nouvelle demande sur info@lcci-france.com ... Extrait d’email envoyé à tous les candidats avant le test

Utilisateur Indépendant B2 Utilisateur Expérimenté C2 Peut comprendre sans effort pratiquement tout ce qu'il/elle lit ou entend. Peut restituer faits et arguments de diverses sources écrites et orales en les résumant de façon cohérente. Peut s'exprimer spontanément, très couramment et de façon précise et peut rendre distinctes de fines nuances de sens en rapport avec des sujets complexes. C1 Peut comprendre une grande gamme de textes longs et exigeants, ainsi que saisir des significations implicites. Peut s'exprimer spontanément et couramment sans trop apparemment devoir chercher ses mots. Peut utiliser la langue de façon efficace et souple dans sa vie sociale, professionnelle ou académique. Peut s'exprimer sur des sujets complexes de façon claire et bien structurée et manifester son contrôle des outils d'organisation, d'articulation et de cohésion du discours. Utilisateur Indépendant B2 Peut comprendre le contenu essentiel de sujets concrets ou abstraits dans un texte complexe, y compris une discussion technique dans sa spécialité. Peut communiquer avec un degré de spontanéité et d'aisance tel qu'une conversation avec un locuteur natif ne comportant de tension ni pour l'un ni pour l'autre. Peut s'exprimer de façon claire et détaillée sur une grande gamme de sujets, émettre un avis sur un sujet d'actualité et exposer les avantages et les inconvénients de différentes possibilités. B1 Peut comprendre les points essentiels quand un langage clair et standard est utilisé et s'il s'agit de choses familières dans le travail, à l'école, dans les loisirs, etc. Peut se débrouiller dans la plupart des situations rencontrées en voyage dans une région où la langue cible est parlée. Peut produire un discours simple et cohérent sur des sujets familiers et dans ses domaines d'intérêt. Peut raconter un événement, une expérience ou un rêve, décrire un espoir ou un but et exposer brièvement des raisons ou explications pour un projet ou une idée. Utilisateur Élé men taire A2 Peut comprendre des phrases isolées et des expressions fréquemment utilisées en relation avec des domaines immédiats de priorité (par exemple, informations personnelles et familiales simples, achats, environnement proche, travail). Peut communiquer lors de tâches simples et habituelles ne demandant qu'un échange d'informations simple et direct sur des sujets familiers et habituels. Peut décrire avec des moyens simples sa formation, son environnement immédiat et évoquer des sujets qui correspondent à des besoins immédiats. A1 Peut comprendre et utiliser des expressions familières et quotidiennes ainsi que des énoncés très simples qui visent à satisfaire des besoins concrets. Peut se présenter ou présenter quelqu'un et poser à une personne des questions la concernant - par exemple, sur son lieu d'habitation, ses relations, ce qui lui appartient, etc. - et peut répondre au même type de questions. Peut communiquer de façon simple si l'interlocuteur parle lentement et distinctement et se montre coopératif. La feuille d’auto-évaluation pour aider les apprenants à se situer sur le cadre commun.

UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing" Outils Avant de commencer nous avons réuni plusieurs outils pour nous aider dans la conception, création et validation des tests : Le Manuel du CECRL Le Manuel pour relier les examens de langues au CECRL Les Normes d’EALTA Des outils statistiques L’apport d’AQEE. Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Manuel pour relier les examens de langues au Cadre européen commun de référence pour les langues (CECRL) BÂTIR UN ARGUMENT… Une page clé du manuel qui résume pour les concepteurs de tests des procédures qui encouragent : “alignment of examinations to CEFR at differing degrees of rigour appropriate to different testing contexts and to the extent permitted by resources and expertise available”.

UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing" La Mission de EALTA Le but poursuivi par EALTA est de promouvoir la compréhension des principes théoriques de l’élaboration de tests et de l’évaluation en langue ainsi que l’amélioration et le partage des pratiques concernant les tests et l’évaluation en Europe. « EALTA is a professional association for language testers in Europe. EALTA’s interests are independent of those of any other organization. EALTA was set up with financial support from the European Community ». Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Le respect des étudiants /des candidats La responsabilité L’équité Un certain nombre de principes généraux concernent directement ces groupes : Le respect des étudiants /des candidats La responsabilité L’équité La fiabilité La validité La collaboration entre les parties concernées

Quel est le but de l’évaluation ? Dans quelle mesure les procédures d’évaluation sont- elles adaptées aux apprenants ? Quels efforts sont consentis pour s’assurer que les résultats de l’évaluation sont exacts et équitables ? Quelle est la prise en compte du point de vue des étudiants sur les procédures d’évaluation ? Quelle(s) action(s) sera/seront entreprise(s) pour améliorer l’apprentissage ? Quel type de retour d’informations est fourni aux étudiants ? Répondre à ces questions donne un bon départ à tout projet d’évaluation.

Y a-t-il des spécifications du test ? Les concepteurs de tests et les rédacteurs d’items ont-ils une expérience suffisante de l’enseignement au niveau visé par l’évaluation ? Quelle est la formation suivie par les concepteurs de tests et les rédacteurs d’items ? Les tests font-ils l’objet d’une expérimentation ? Le niveau du test est-il spécifié en référence au CECR? Quelle preuve est fournie pour appuyer cette affirmation ?

Un exemple d’un outil gratuit, disponible sur le net qui effectue quelques opérations de base dans la validation de tests.

UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing" AQEE ® Nous avons travaillé avec Faouzia Benderdouche et Christine Demaison pour comprendre les besoins : Test court Anglais général et scientifique test relié au CECR Suffisamment fiable Résultats immédiats Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing" London Chamber of Commerce and Industry International Qualifications a été contacté LCCI IQ a proposé de fournir pro bono des items de test validés provenant d'ELSA Approche « Collabétition » Tremplin pour test certifiant ? « Collabétion » collaborer et être en compétition. Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing" Le Test de positionnement en anglais a été assemblé à partir d’items choisis, et réécrits quand nécessaire Il est administré en ligne Il est composé de : - 20 items écoute (accents britanniques)‏ - 40 items lecture Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing" AQEE ® Les statistiques ont été calculées La fiabilité (l’Alpha de Cronbach) est de 0.91 Le rapport de validation a été rédigé et a circulé Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Exemple d’item de Compréhension orale qcm ou le candidat entend une question et choisit parmi trois propositions de réponse enregistrées.

Exemple d’item de Compréhension orale qcm ou le candidat entend une question et choisit parmi quatre propositions de réponse à l’écran

UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing" And now for something completely different ! Maintenant pour quelque chose complètement différente ! Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Exemple d’item de Compréhension orale qcm basé sur la discrimination des phonèmes où le candidat entend une phrase et choisit parmi deux propositions de réponse enregistrées. La durée typique de ces items est de 6 secondes.

Exemple d’item de Compréhension orale ou le candidat entend une question et doit cliquer sur la chose nommé. Il en faut très peut de temps pour évaluer la compréhension de chaque item de vocabulaire.

Exemple d’item de Compréhension orale ou le candidat entend le discours de bienvenue du responsable du laboratoire ou un certain nombre d’éléments sont nommés. Le candidat doit cliquer sur chaque objet nommé. Exemple ici : le blouse. Ce type de groupement d’items est plus compliqué que la précedent.

Le test a eu un premier alignement avec le CECRL selon 2½ des procédures conseillées par le CoE dans le Manuel pour relier les examens de langues au CECR le test a été assemblé par des personnes ayant étudié le CECR avec des items fiables censés avoir des caractéristiques des niveaux différents du cadre les résultats du test ont été corrélés avec les opinions des candidats sur leur niveau CECR les résultats du test ont été corrélés avec une certification nationale – le CLES

Un exemple de pratique à l’IFD La demande institutionnelle Un dispositif Test/CLES Les observations statistiques

UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing" Statistiques (1) Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing" Statistiques (2) Le CECRL: un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Corrélation test/ CLES 2 Le CLES 2 certifie le niveau B2 (utilisateur indépendant).

UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing" Quels impacts? Réaction des candidats au dispositif Restructuration de la formation : Mise en place d’ateliers en fonction des difficultés dans les différentes compétences langagières Introduction de nouveaux items pour le test des doctorants Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing" Quelles perspectives? HELP Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

AQEE ® Ian Bell, Faouzia Benderdouche Christine Demaison Ordinary members EALTA www.ealta.eu.org Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & Demaison UPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"