La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Validation théorique et évaluation/testing: un débat déjà ancien Patrick Doucet Université de Poitiers Jean-Paul Narcy-Combes Sorbonne nouvelle-Paris 3.

Présentations similaires


Présentation au sujet: "Validation théorique et évaluation/testing: un débat déjà ancien Patrick Doucet Université de Poitiers Jean-Paul Narcy-Combes Sorbonne nouvelle-Paris 3."— Transcription de la présentation:

1 Validation théorique et évaluation/testing: un débat déjà ancien Patrick Doucet Université de Poitiers Jean-Paul Narcy-Combes Sorbonne nouvelle-Paris 3 Diltec Paris - UPMC

2 Point de départ épistémologique : Doxa = certitude = contrôle => automaticité et accès universel (TIC) => risque rigidité/dictature Epistémè = incertitude = adaptation permanente (local vs global) = fluidité => risque : le désordre/lanarchie CECR = Bible (P. Delahaye, Grenoble, 2010)= doxa…

3 Cadre épistémologique organisateur - Bachelard (1938) et obstacles épistémologiques => objet de recherche créé en fonction des théories scientifiques et non en fonction de lexpérience. -Pratique et recherche en didactique des langues illusion ontologique. -Cinq obstacles épistémologiques clés: -Expérience première, -Connaissance générale, -Obstacle verbal, -Connaissance pragmatique, -Connaissance quantitative.

4 Conséquences sur lévaluation en langues - Evaluation selon Théories dacquisition (RAL) ou théories sur traitement langagier (psycholinguistique, neurolinguistique) - Compétence performance Compétences = savoir => Est-il pertinent de mesurer le savoir ? Le passage de théories symboliques à des théories non-symboliques => épreuves doivent avoir une validité processuelles et sociales… Théories symbolistes représentent le savoir comme une collection de symboles accompagnés de règles qui spécifient les relations entre ces symboles. Théories non-symbolistes: Randall, 2007 = modèles basés sur Micro tâches ou items isolés.

5 Théories non-symbolistes - Herdina et Jessner: 157 dans la théorie connectionniste le savoir est un comportement dirigé par des règles qui résultent de lapprentissage (pas une somme de petits détails mais des modèles dactivation dans des réseaux neuronaux (Dörnyei: 79) Théories à base dinstances. -Autres exemples: Competition model Theories des systèmes dynamiques Emergentisme Pour ces théories : apprentissage résulte dinteractions entre des processus biologiques et sociaux. Les théories symbolistes brouillaient les pistes et donnaient une idée fausse de la compétence.

6 Pourquoi faut-il une certification (critériée)? Les questions clés en amont – –Pourquoi évaluer? Quest ce quévaluer ? lévaluation / la certification? Dans quel but? Quels acteurs, quels enjeux? –Létat des lieux sans le DCL/CLES – que fait- on actuellement? Cette évaluation correspond- elle aux questions précédentes? –Comment évaluer? Quel type de test? Quelles types de questions?

7 Degré dutilité dun test (Bachman) Fonction combinée de –validité théorique – authenticité (validité faciale + validité du contenu) – fiabilité – interactivité – impact – faisabilité

8 Lévaluation dhier et daujourdhui HierAujourdhui On cherche à évaluer la compétence linguistiquela compétence de communication On a de cette compétence une vision plutôt Analytiqueglobale la focalisation est sur la formela pertinence pragmatique laccent est mis sur la correction linguistiquelutilisation de la langue En conséquence, on va tester en priorité la connaissance déclarativela connaissance procédurale le test est conçu à partir dune analyse de la languedune analyse des besoins sur laquelle on se base pour établir un échantillon langagierun échantillon ciblé / fonctionnel la norme de référence choisie est établie en fonction de la production idéalisée dun locuteur natif éduqué de lobservation des performances dapprenants (données brutes)

9 Lévaluation dhier et daujourdhui (cont) HierAujourdhui la démarche dévaluation est plutôt Sommativeformative La modalité privilégiée par le test sera de préférence la réceptionla production Le type de test choisi est un test à items discretsun test intégré dans lequel les tâches ont tendance à être décontextualiséescontextualisées Lévaluation est Indirectedirecte Normativecritériée la notation le plus souvent objectivesubjective Le plus grand soin est apporté à assurer la fiabilité du testla validité du test (principalement validité théorique et crédibilité)

10 Evaluation Critériée Collecte de données Tâche(s) Tri sélectif des données Grille dévaluation spécifique Traitement Placement sur une échelle de référence: niveaux de compétence Publication du résultat -score -niveau de compétence -…profil de compétence Décision Pondération Conversion Détermination du niveau démontré par critère Notation

11 Principes de TBLA Définition de Brindley, 1994 –Langue = outil de communication –Évaluation intégrée –indices pour une rétroaction, sur progrès, et réussite –Résultat accessible à acteurs externes et compétences nécessaires pour un contexte réel –McNamara: on juge la performance en rapport à critères acceptés –Langue réalisation de la tâche?

12 Le scénario Mots-clés: authentique, vraisemblable, integré Concept de rôle(s) à jouer Concept de mission à accomplir Le déroulement Jemma Buck, Patrick Doucet, DILEM, Rennes 4 / 12/ 2009

13 DCL: UN TEST INTÉGRÉ Scenario: compétence globale de communication Evaluation directe: logique actionnelle Critères et indicateurs Evaluation des composantes linguistique / pragmatique / socioculturelle de la compétence de communication Rôle de lexaminateur Prise de décision

14 Questions de validité / fiabilitéfiabilité –Validité faciale ou apparente –Validité du contenu et de la réponse –Validité criterielle / concourante –Validité prédictive Validité théorique –Fiabilité des critères –Fiabilité entre deux tests ( fidelité CECRL ) –Fiabilité des décisions prises –Fiabilité intra et inter examinateurs

15 Questions de faisabilité DCL/CLES Faisabilité institutionelle Faisabilité de la part du candidat Faisabilité de la part de lexaminateur

16 Quelques problèmes DCL / CLES Facteurs pouvant influer sur la performance –Conditions –Interaction orale : Avec examinateur / interlocuteur binômes (CLES 2) –Planification –Caractéristiques de la tâche Accomplissement ou non? Qui décide? Jemma Buck, Patrick Doucet, DILEM, Rennes 4 / 12/ 2009

17 Impact : leffet retour du DCL/CLES Washback positif –Comportement des apprenants –Dispositifs mis en oeuvre par les enseignants –Démarches adoptées par les enseignants –Décisions politiques des institutions Jemma Buck, Patrick Doucet, DILEM, Rennes 4 / 12/ 2009

18 Le DCL/CLES vecteurs de changement Le dilemme critères/grands nombres pas résolus (contradictions internes) Evaluation automatisée (postionnement, etc.) redevient normative (Dialang) Certification des individus ou des modules? Pragmatisme… Jemma Buck, Patrick Doucet, DILEM, Rennes 4 / 12/ 2009

19 Bibliographie selective Wigglesworth, G 2008 Task and performance-based assessment Language Testing and Assessment Brindley, G, 2009 Task-based assessment in Language Learning programs: pieces of the puzzle TBLT 2009 Bachman, L.F, 2002 Some reflections on task-based language performance assessment Language Testing Brown, Hudson, Norris et Bonk, 2002 An investigation of second language task based performance tasks UHP Elder, Iwashita, McNamara, 2002 Estimating the difficulty of oral proficiency tasks: what does the test-taker have to offer? Language Testing Kunnan, A.J Test-taker characteristics and test performance, CUP Underhill, N Testing Spoken Performance CUP Bourguignon et al, 2007, Evaluer dans une perspective actionnelle …

20 Merci de votre attention


Télécharger ppt "Validation théorique et évaluation/testing: un débat déjà ancien Patrick Doucet Université de Poitiers Jean-Paul Narcy-Combes Sorbonne nouvelle-Paris 3."

Présentations similaires


Annonces Google