Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Intervention du SMART au Conseil des études des.

Présentation au sujet: "Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Intervention du SMART au Conseil des études des."— Transcription de la présentation:

1 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Intervention du SMART au Conseil des études des 1er et 2ème doctorat Faculté de Médecine Jean-Luc GILLES, Pascal DETROZ & Myriam DUPONT CHU - 30/05/2005

2 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Réponses à des questions ponctuelles : Avantages / inconvénients vrai-faux vs QCM ? Quels systèmes de cotation appliquer lors de vrai-faux ? Faut-il utiliser la consigne « Choisissez la meilleure solution » ? Comment améliorer la qualité des tests standardisés interdisciplinaires ?

3 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Leclercq (1986) Avantages et inconvénients respectifs Avantages / inconvénients vrai-faux vs QCM

4 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 1. Du point de vue des possibilités de feedbacks Les propositions incorrectes apparaissent plus comme des « masques à la réponse correcte » que comme des propositions qui pourraient fournir des informations sur le type derreur commise par létudiant. Vrai-fauxQCM « The distractor a student chooses may give you diagnostic insight into difficulties the student is experiencing » Nitko (2001) Avantages / inconvénients vrai-faux vs QCM

5 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 2. Du point de vue des réponses dues au hasard Vrai-fauxQCM Dans le cas dune question vrai-faux, les évalués ont dès le départ 50 % de chances de donner la réponse correcte... Les vrai-faux surestiment les performances des étudiants. Avantages / inconvénients vrai-faux vs QCM « There is less of a chance for a student to guess the correct answer to a multiple-choice item than to a true-false item or to a poorly constructed matching exercise » Nitko (2001)

6 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 3. Du point de vue de la fidélité Il faudrait prévoir 135 Vrai-fauxIl faudrait prévoir 56 QCM Avantages / inconvénients vrai-faux vs QCM Ebel (1969) 0,50,60,70,80,9 2546790135270 336456090180 430375075150 527344567135 625314263126 724304060120 823293958115 922283756112 Nombre de solutions proposées Nombre de questions nécessaires pour obtenir une fidélité donnée quand toutes les QCM ont le même nombre de solutions proposées Pour atteindre une fidélité théorique de 0,8 Niveaux de fidélité

7 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Imaginons que lon vise une fidélité théorique de 0,8… Dans le cas de vrai-faux, il en faudrait environ 135 4. Du point de vue du temps de réponse nécessaire Avantages / inconvénients vrai-faux vs QCM Vrai-faux Dans le cas de QCM avec 9 solutions, il en faudrait environ 56 QCM Estimons le temps de réponse moyen pour chaque vrai-faux à 2 minutes : 135 x 2 = 270 min. soit 4h30 dexamen Estimons le temps de réponse moyen pour chaque QCM à 4 minutes : 56 x 4 = 224 min. soit environ 3h45 dexamen

8 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 De part leur nature dichotomique, en général, les questions vrai-faux ne se prêtent pas bien à lévaluation de compétences mises en jeu dans des situations complexes « authentiques », comme celles quon peut rencontrer dans un contexte professionnel. En fait, ils sont souvent utilisés pour évaluer des connaissances factuelles. 5. Du point de vue de lauthenticité des questions Avantages / inconvénients vrai-faux vs QCM Vrai-fauxQCM « The multiple-choice format can be used to assess a greater variety of learning targets than other formats of response-choice items » Nitko (2001) Exemple : les QCM « cas à analyser »

9 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 6. Du point de vue des niveaux taxonomiques Avantages / inconvénients vrai-faux vs QCM Vrai-faux Bloom (1956, 1984) QCM Avec degrés de certitude *

10 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Avantages / inconvénients vrai-faux vs QCM Besoins identifiés dans le cadre des évaluations des acquis en 1er et 2ème doctorat en février 2003 Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai) …répartir les QCM sur 2 x 2h et sur 2 demi journées … formation des enseignants à la rédaction des QCM (28/10/02)

11 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Systèmes de cotations possibles dans le cas de vrai-faux généralisés (daprès Leclercq, 1986) Indiquez, pour chacune des couleurs suivantes, si elle appartient (vrai ou faux) à la catégorie des couleurs spectrales primaires. 1. linfra-rouge 2. le rouge …………...… (V) 3. lorange 4. le jaune 5. le vert………………. (V) 6. le bleu………………. (V) 7. lindigo 8. le violet 9. lultra-violet Systèmes de cotation appliqué lors de vrai-faux 2 systèmes de cotations possibles Le tarif attribué à une réponse correcte ne sera attribué que pour la série FVFFVVFFF. Lomission nest accordée que sil nest répondu à aucune des solutions proposées … sévérité Type 1 Chaque proposition est considérée comme une question indépendante et corrigée comme telle. On peut omettre à une ou plusieurs solutions. … sévérité Type 2

12 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Si on annonce le nombre de solutions vraies et le nombre de solutions fausses => plus facile ! Tâche de discrimination dun pattern de réponses (une fois les X solutions correctes repérées, les autres peuvent être considérées comme incorrectes). 53 % de patterns de réponses exacts Si le nombre de solutions vraies et de solutions fausses nest pas annoncé => plus difficile ! Tâche de jugement multiple. 27 % de patterns de réponses exacts Le tarif attribué à une réponse correcte ne sera attribué que pour la série FVFFVVFFF. Lomission nest accordée que sil nest répondu à aucune des solutions proposées Noizet et Caverni (1978) Expérience menée avec des étudiants en médecine (N = 556) Systèmes de cotation appliqué lors de vrai-faux

13 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Dans le cas dun vrai-faux généralisé, cest le tarif de la « correction for guessing » qui est le plus souvent utilisé pour contrer les effets des réponses correctes dues au hasard : Systèmes de cotation appliqué lors de vrai-faux En cas de réponse correcte : + 1 En cas de réponse incorrecte : En cas domission : 0 avec NSP = Nombre de Solutions Proposées, dans le cas dun vrai-faux « type 1 » = le nombre de combinaisons possibles dans le cas dun vrai-faux « type 2 » = 2

14 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 La consigne « Choisissez la meilleure solution » « Il est en principe plus difficile de répondre à une QCM de la forme ci-dessus quà une QCM classique … En effet… plusieurs solutions peuvent être considérées comme correctes (4 et 5), et il faut les classer entre elles pour, finalement, choisir la meilleure. » Leclercq (1986) Critiques : « … rather difficult to craft…You need to create distractors that are partially correct… unlike typical multiple choice items for which one option is the only correct one » « … What is legitimately a best answer in one teachers class (given what students have been taught) is not the best answer in another teachers class. » « …Best implies a set of criteria that may not have been taught or understood by students. » « …A teacher may easily write a tricky item in which an options correctness depends on a trivial fact, …or an easily overlooked word in a phrase. » Nitko (2001)

15 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Comment améliorer la qualité des tests standardisés interdisciplinaires ? Une approche qualité Besoins des évaluateurs & des évalués Ressources en personnel et en matériel Objectifs de qualité Modèles & procédures

16 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Besoins identifiés dans le cadre des évaluations des acquis en 1er et 2ème doctorat en février 2003 Renouveau pédagogique … organiser le contrôle des connaissances sur un mode multidisciplinaire Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai) …répartir les QCM sur 2 x 2h et sur 2 demi journées … formation des enseignants à la rédaction des QCM (28/10/02) … entraînement des étudiants durant l'année. Utilisation des boîtiers de votes électroniques. … préparer les étudiants depuis les candis et affiner le système progressivement. … régulation des cotes en fonction de questions se révélant problématiques a posteriori (simulation le 28/10/02)

17 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 cycle de gestion qualité des tests standardisés Renouveau pédagogique … organiser le contrôle des connaissances sur un mode multidisciplinaire Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai) …répartir les QCM sur 2 x 2h et sur 2 demi journées … formation des enseignants à la rédaction des QCM (28/10/02) … entraînement des étudiants durant l'année. Utilisation des boîtiers de votes électroniques. … préparer les étudiants depuis les candis et affiner le système progressi- vement. … régulation des cotes en fonction de questions se révélant problématiques a posteriori (simulation le 28/10/02) une analyse des avis des étudiants à propos des différentes modalités d'évaluation proposées dans le cadre des tests interdisciplinaires ? un feedback individualisé pour chaque étudiant accessible via le web après chaque test interdisciplinaire ? Suggestions Les besoins identifiés dans le cadre des évaluations des acquis en 1er et 2ème doc.

18 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Léquipe du SMART peut vous aider à : 1.Construire vos tables de spécification 2.Choisir vos méthodes de questionnement 3.Analyser la qualité docimologique de vos questions (dun point de vue formel) relecture selon les règles de rédaction des QC et proposition daméliorations Gérer vos banques de questions 4.Concevoir et mettre en œuvre des examens « à blanc » avec les moyens logistiques du SMART (BVE, TIMI, …) 6.Accompagner dans lanalyse a posteriori des questions (r.bis, …) 7.Concevoir des feedbacks plus diagnostiques et plus précis 8.Utiliser les informations liées aux EVALENS pour améliorer vos examens

19 Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05 Site web du SMART : http://www.smart.ulg.ac.be