Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Présentation au sujet: "Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep."— Transcription de la présentation:

1 Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep de Rivière-du-Loup

2 Collaboration entre deux collèges Les cégeps de Victoriaville et de Rivière-du-Loup collaborent à la production et à la validation dun test diagnostique du français écrit. Cégep de Victoriaville, en fournissant la première version du test à valider. Cégep de Rivière-du-Loup, en validant cette première version et en produisant deux autres versions aussi validées. Conjointement, les deux cégeps invitent les cégeps du réseau des collèges à collaborer à ce projet.

3 Sommaire 1.Contexte 2.Les outils de la validation 3.Première validation du construit (1 ère version) 4.Première validation de contenu 5.Deuxième validation du construit (2 e version) 6.Deuxième validation de contenu 7.Troisième validation du construit : TRI (3 e version) 8.Améliorations à venir 9.invitation

4 Sommaire 1.Contexte 2.Les outils de la validation 3.Première validation du construit (1 ère version) 4.Première validation de contenu 5.Deuxième validation du construit (2 e version) 6.Deuxième validation de contenu 7.Troisième validation du construit : TRI (3 e version) 8.Améliorations à venir 9.Invitation

5 Genèse de la réflexion sur la maîtrise du français écrit Les tableaux de bord du Cégep RDL indiquent des taux déchecs élevés dans les premiers cours de français Ils indiquent aussi un abandon des cours de français par certains étudiants Ce constat nous a conduits à : caractériser ces étudiants ; développer une stratégie intégrée dactions favorisant la maîtrise du français écrit : o Le cours propre au programme en français devenant le premier cours de la séquence o Un cours propre destiné spécifiquement aux étudiants ayant une MGS < 70 o Un Centre dentraînement en français (atelier 416) o Le dépistage des fautes récurrentes par un test diagnostique o Des stratégies dautocorrection et de révision communes au département de français o (…)

6 Contexte : la situation au cégep de Rivière-du-Loup

7 Contexte : recherche dun test diagnostique Objectifs poursuivis : cibler les erreurs récurrentes de la langue écrite (catégories de fautes) intervenir prioritairement sur ces difficultés récurrentes uniformiser les tests des enseignants du département Le test du Cégep de Victoriaville : entente entre nos deux collèges Mise en ligne du test du Cégep de Victoriaville au mois daoût 2011 100 questions du Cégep de Victoriaville 11 catégories

8 Sommaire 1.Contexte 2.Les outils de la validation 3.Première validation du construit (1 ère version) 4.Première validation de contenu 5.Deuxième validation du construit (2 e version) 6.Deuxième validation de contenu 7.Troisième validation du construit : TRI (3 e version) 8.Améliorations à venir 9.invitation

9 Les outils de validation du test

10 1.Choisir un ensemble de questions qui mesurent bien une habileté. 2.Choisir les questions selon les paramètres TRI 3.Choisir les questions qui échappent à certains facteurs (variables démographiques, hasard). 4.Créer des banques de questions. 5.Créer des versions équivalentes dun même test. Modèle simple (Rasch)Effort de limiter la probabilité de trouver la bonne réponse à un item à lhabileté de la personne et au niveau de difficulté de litem. Objectifs de la validation Les outils de validation du test – concept TRI

11 Sommaire 1.Contexte 2.Les outils de la validation 3.Première validation du construit (1 e version) 4.Première validation de contenu 5.Deuxième validation du construit (2 e version) 6.Deuxième validation de contenu 7.Troisième validation du construit : TRI (3 e version) 8.Améliorations à venir 9.Invitation

12 Première validation : théorie classique (1 ère version- Automne 2011) CATÉGORIES Littéra. Imagin. n = 29 Com. orale et écrite FJA n= 51 Com. orale et écrite FJD n = 90 CEF n = 11 Coefficient Alpha N items LES NOMS 5,486,245,36 (0,22)10 LES DÉTERMINANTS 6,216,125,415,55 (0,13)10 LES ADJECTIFS 5,525,244,584,09 (0,20)10 LES PRONOMS 7,627,786,547 (0,38)10 LA CONJUGAISON 6,456,655,626,09 (0,11)10 L'ACCORD VERBE-SUJET 5,315,674,544,18 (0,29)10 L'ACCORD DES P.P 7,798,377,228,27 (0,09)12 LES HOMOPHONES 6,5576,326,36 (0,02)8 LA SYNTAXE 5,415,845,035,18 (0,31)8 LA PONCTUATION 5,665,714,84,18 (0,39)8 LES ANGLICISMES 2,973,142,873,27 (0,14)4 Score total 64,8367,6358,2359,55 (0,75)100 Groupes forts Groupes faibles

13 Sommaire 1.Contexte 2.Les outils de la validation 3.Première validation du construit (1 ère version) 4.Première validation de contenu 5.Deuxième validation du construit (2 e version) 6.Deuxième validation de contenu 7.Troisième validation du construit : TRI (3 e version) 8.Améliorations à venir 9.Invitation

14 Première validation de contenu – Automne 2011 À la suite des analyses statistiques, nous avons : Analysé les questions les moins liées au construit : celles diminuant le pourcentage de fiabilité de chaque catégorie Retranché 33 questions sur les 100 Associé les questions du test dorigine à de nouvelles catégories : o 9 catégories du « Codes de correction du français écrit et du style » o Un degré daccord de 61 % pour 4 personnes associant les 67 questions aux 9 catégories Écriture de 23 nouvelles questions pour un test de 90 questions : 67+23 Mise en ligne de ce nouveau questionnaire sur Moodle

15 Sommaire 1.Contexte 2.Les outils de la validation 3.Première validation du construit (1 ère version) 4.Première validation de contenu 5.Deuxième validation du construit (2 e version) 6.Deuxième validation de contenu 7.Troisième validation du construit : TRI (3 e version) 8.Améliorations à venir 9.Invitation

16 Deuxième validation : théorie classique (2 e version – Hiver 2012) CATÉGORIES Littér. Qc 103MQ n = 45 Com. orale et écrite FJD n = 42 CEF n = 28 Alpha Standard. N items CONJUGAISON6,275,694,71 0,319 GRAMMAIRE11,810,6410,61 0,3217 HOMOPHONE6,095,65,39 0,337 MAJUS.-MINUS5,333,954,18 0,449 ORTHOGRAPHE10,077,267,57 0,6412 PART.-PASSÉ9,276,866,18 0,7713 PONCTUATION5,914,985,36 0,267 STRUCT. DE PHRASE6,025,434,71 0,349 VOCABULAIRE2,982,292,540,12 7 TOTAL63,7352,6951,250,83 90 Groupe fort Groupes faibles

17 Révision des items selon la fiabilité de léchelle de mesure ConjugaisonAlpha Question 10,34 Question 20,28 Question 30,21 Question 40,35 Question 50,34 Question 60,29 Question 70,26 Question 80,33 Question 90,29 17 Alpha total = 0,31 Alpha total = 0,31 Règle Révision de la question dont la suppression améliore la fiabilité de léchelle de mesure Deuxième validation : théorie classique (2 e version – Hiver 2012)

18 Révision des items par lanalyse factorielle exploratoire 18 Révision des questions - 1, 4, 5 - 2,6 Révision des questions - 1, 4, 5 - 2,6 Contribution commune minimale acceptable : > 0,30 Deuxième validation : théorie classique (2 e version – Hiver 2012) conjugaison

19 Sommaire 1.Contexte 2.Les outils de la validation 3.Première validation du construit (1 ère version) 4.Première validation de contenu 5.Deuxième validation du construit (2 e version) 6.Deuxième validation de contenu 7.Troisième validation du construit : TRI (3 e version) 8.Améliorations à venir 9.invitation

20 Deuxième validation de contenu – hiver 2012 À la suite des résultats du test fait en février 2012 Révision des questions : emploi usuel et respect des catégories Retrait de 40 questions et suppression de 4 catégories o Majuscule et minuscule o Ponctuation o Structure de phrase o Vocabulaire Donc, un test de 50 questions 31 questions (62 %) dont le choix de réponse est modifié Suppression de certains choix : participes passés, vocabulaire.

21 Sommaire 1.Contexte 2.Les outils de la validation 3.Première validation du construit (1 ère version) 4.Première validation de contenu 5.Deuxième validation du construit (2 e version) 6.Deuxième validation de contenu 7.Troisième validation du construit : TRI (3 e version) 8.Améliorations à venir 9.Invitation

22 Rappel : la théorie de la réponse aux items

23 Troisième validation Automne 2012 Question 7 : Si tu m(…), il me fera plaisir de te parler a)appelles b)appel c)appeles d)appele e)appelle Question 9 : Vous voulez (…) vos vacances en famille. a)passer b)passées c)passez d)passés e)passé

24 Troisième validation du construit (automne 2012) 24 La question 9 est peu discriminante Paramètre 1

25 Troisième validation du construit (automne 2012) 25 La question 9 est la plus facile La question 9 est la plus facile Paramètre 2

26 Troisième validation du construit (automne 2012) 26 La question 9 « hasard » la plus élevé La question 9 « hasard » la plus élevé Paramètre 3

27 Troisième validation du construit Test du rapport de vraisemblance dAndersen +0,70 -0,20 Les garçons Les filles La question 66 Question 66 : Julie a (…) les vidanges. a.sortie b.sorti c.sorties d.sortis Fonctionnement différentiel (selon le sexe)

28 Troisième validation du construit N° du répondantChisqdf p- value Outfit MSQ Infit MSQ Outfit t Infit t 29131.59890.0021.4621.0992.111.02 32174.50890.0001.9391.0674.030.73 52112.22890.0491.2471.2171.622.66 53112.19890.0491.2471.0042.150.09 59118.00890.0221.3111.0582.660.90 6072.76890.8940.8080.909-1.67-1.35 61138.84890.0011.5431.2594.653.88 66118.06890.0211.3121.2481.682.64 77127.49890.0051.4171.1252.841.63 93143.16890.0001.5911.0982.721.04 105119.70890.0171.3301.0483.040.79 Répondants inappropriés -leurs scores ne correspondent pas à leur habileté La qualité de léchantillon de calibration

29 Sommaire 1.Contexte 2.Les outils de la validation 3.Première validation du construit (1 ère version) 4.Première validation de contenu 5.Deuxième validation du construit (2 e version) 6.Deuxième validation de contenu 7.Troisième validation du construit : TRI (3 e version) 8.Améliorations à venir 9.Invitation

30 Améliorations à venir Échantillonnage Augmenter léchantillon pour le modèle à trois paramètres Purifier léchantillon de calibration Items Ajouter continuellement de nouveaux items Réviser les items qui ne sont pas ajustés au modèle Réviser les items dysfonctionnels Test Établir un score de réussite par catégorie Proposer plusieurs versions équivalentes du test Identifier les réponses inappropriées Établir la valeur prédictive du test par rapport à lEUF Plateforme Afficher les scores par catégories Échantillonnage Augmenter léchantillon pour le modèle à trois paramètres Purifier léchantillon de calibration Items Ajouter continuellement de nouveaux items Réviser les items qui ne sont pas ajustés au modèle Réviser les items dysfonctionnels Test Établir un score de réussite par catégorie Proposer plusieurs versions équivalentes du test Identifier les réponses inappropriées Établir la valeur prédictive du test par rapport à lEUF Plateforme Afficher les scores par catégories

31 Cas damélioration : affichage des scores par catégorie

32

33 sommaire 1.Contexte 2.Les outils de la validation 3.Première validation du construit (1 ère version) 4.Première validation de contenu 5.Deuxième validation du construit (2 e version) 6.Deuxième validation de contenu 7.Troisième validation du construit : TRI (3 e version) 8.Améliorations à venir 9.invitation

34 Invitation aux collèges Le modèle de Rasch une centaine détudiants Le modèle à deux paramètres un ratio de 1 (item) sur 10 (sujets) : 1000 étudiants et plus

35 Proposition de collaboration Utiliser le même test diagnostique en ligne sur Moodle Lutiliser en prétest, post-test Indiquer le cours porteur du test Communiquer les résultats des tests : MGS des étudiants Le sexe : M ou F Résultats aux tests dans un fichier Excel Produire 25 nouvelles questions par année

36 Troisième validation du construit (automne 2012) 36 Paramètre 3 : « hasard » élevé Paramètre 3 : « hasard » élevé Paramètre 1 : Peu discriminante Paramètre 1 : Peu discriminante Paramètre 2 : La plus facile Paramètre 2 : La plus facile La question 9 est à réviser Trois paramètres

37 Statistique descriptive et Théorie classique des tests (TCT)

38 Échantillonnage selon le sexe Échantillon Population Filles 61 614 Garçons 54 393 Total 1151122 38 Représentativité du sexe dans léchantillonnage Pearson's Chi-squared test : X-carré = 2,7078, dl = 1, p = 0,09986

39 Première validation : statistiques descriptives 39 N = 115 Moyenne = 56,66 ; Écart-type = 10,46 Alpha de Cronbach : 0,83 Étudiants couvrant les différents niveaux Question aléatoire (Moodle) Options de réponse aléatoire (Moodle)

40 Matrice de corrélation sur les scores brutes Catégorie ConjugGramHomoMajusOrthog.PartPasPonctuStructVoc total Conjugaison oui 7 Grammaire oui 5 Homophone oui 5 MajusMinus oui 4 Orthographe oui 6 PartPassé oui 5 Ponctuation oui 6 Structdephrase oui 5 Vocabulaire oui 1 Le vocabulaire nest pas du même ordre que les autres catégories

41 Diagnostic 1 La fiabilité de léchelle de mesure de lensemble NiveauValeur alpha Insuffisant<0,6 Faibleentre 0,6 et 0,65 Minimum acceptableentre 0,65 et 0,7 Bonentre 0,7 et 0,8 Très bonentre 0,8 et 0,9 Réduire le nombre ditems>0,9 41 Niveau de fiabilité de lensemble du test : 0,83 Notre test mesure un même construit Français écrit ? Langue maternelle ? Notre test mesure un même construit Français écrit ? Langue maternelle ?