Normes de Rédaction des QCM 25 Avril 2013 Rajae Kadiri Myriam Riyad FMPC Université Hassan II. Ain Chock.

Présentation au sujet: "Normes de Rédaction des QCM 25 Avril 2013 Rajae Kadiri Myriam Riyad FMPC Université Hassan II. Ain Chock."— Transcription de la présentation:

1 Normes de Rédaction des QCM 25 Avril 2013 Rajae Kadiri Myriam Riyad FMPC Université Hassan II. Ain Chock

2 1) Comment planifier l’évaluation 2) Rappeler les normes de rédaction des QCM 3) Effectuer une analyse d’items Objectifs de ce Séminaire

3 II Mémoriser IIII Interpréter des données Interpréter des données II I Appliquer des connaissances à la solution d’un problème Cognitif(connaissances)SavoirCognitif(connaissances)Savoir Faire preuve de réceptivité à l’égard d’une autre personne Répondre à la demande affective d’une autre personne Intérioriser un sentiment Psychoaffectif(attitudes) Savoir Etre Savoir EtrePsychoaffectif(attitudes) Imiter un geste Contrôler un geste avec efficacité Accomplir un geste de manière automatique et avec efficience Psychomoteur (habiletés) Savoir Faire Psychomoteur (habiletés) Savoir Faire

4 Tableau de spécification Plan directeur (blue print)

5 Tableau de spécification Source : jean-louis.brazier@umontreal.ca

6 But: évaluation objective et répondant aux objectifs pédagogiques Indique les objectifs à évaluer et leur importance avec les niveaux taxonomiques. Favorise la validité de contenu et la stabilité du contenu des épreuves Est rédigé en équipe (+++) Tableau de spécification

7 Exercice 1 Préparer une ébauche de tableau de spécification pour une épreuve écrite dans votre discipline : 1.Importance relative des « chapitres » 2. Niveaux taxonomiques Mémoriser Interpréter Solutionner

8 Choix du sujet de question: Pertinence+++ Degré de difficulté approprié Normes de rédaction des QCM QCR – Questions à choix de réponses

9 Construction des QCM L’énoncé : Doit être clair Peut être constitué : d’un mot, d’une phrase ou d’une vignette, d’un schéma, d’une courbe, des valeurs. Une seule notion est soumise à la réflexion Éviter les jugements de valeur et les termes absolus Formulé sur un mode interrogatif ou affirmatif

10 Les propositions Doivent être: Au nombre de cinq Homogènes dans leur forme, leur contenu, leur structure grammaticale Ne doivent contenir qu’une seule notion à la fois Doivent être indépendantes entre elles Ne doivent pas s’exclure Classées par ordre alphabétique (logique)

11 La ou les bonnes réponse (s) Doit (vent) être incontestablement exacte(s) et peut être la meilleure réponse N’est pas plus longue si plus explicite que les autres réponses Varie de place de façon aléatoire Ne doit pas contenir des mots compris dans l’énoncé Eviter: aucune réponse juste, toutes les 5 sont justes, QCM de type K (1: ABD; 2:BD;3:AD;4BC)

12 Les leurres Doivent être: – Plausibles – attrayants

13 QCM à choix simple (QCS): une seule réponse juste (type A) QCM à choix libre :à compléments multiples: plusieurs réponses justes. QCM de type K QCM de type B QCM associatives QCM de type cause à effet… Les différents types de QCM

14 QCM à choix simple (QCS): une seule réponse juste (type A) QCM à choix libre :à compléments multiples: plusieurs réponses justes. QCM de type K QCM de type B QCM associatives QCM de type cause à effet… Les différents types de QCM

15 . Quel est le m é canisme qui facilite le passage d ’ eau lors de la filtration glom é rulaire ? A. L’adhérence moléculaire. B. L’adhérence cellulaire. C. Le transport actif. D. L’endocytose. E. La pinocytose. BC FMPC 2009

16 La dissémination des plasmodies dans le sang est assurée par la forme : A.Gamétocyte B.Hypnozoïte C.Mérozoïte D.Schizonte E.Trophozoïte Epreuve de Parasitologie FMPC 2011

17 Quelle est la caractéristique de la cryptosporidiose ? A.C’est une parasitose strictement humaine B.Elle est due à un protozoaire flagellé C.Elle est transmise par l’ingestion de viandes de veaux insuffisamment cuites D.Elle peut être transmise par l’eau du robinet E.Elle est facilement diagnostiquée à l’examen parasitologique des selles standard Epreuve de Parasitologie FMPC 2012

18 Que représente la photo ci-contre ? A- Des cellules musculaires. B- Des hématies. C- Des globules blancs. D- Des cellules nerveuses. E- Des fibroblastes. Examen de biologie cellulaire. Janvier 2009.FMPC

19 Exercice 2 Rédigez une question QCM de type A

20 QCS de type négatif: A- Un seul des nerfs suivants ne traverse pas la fente sphénoïdale, lequel ? A- Le nerf oculomoteur commun B- Le nerf oculomoteur externe C- Le nerf pathétique D- Le nerf glossopharyngien E- Le nerf ophtalmique de Willis Cas où la connaissance d’une exception est essentielle

21 Toutes les étapes suivantes interviennent dans le phénomène d’exocytose sauf une. Laquelle? A. La migration vésiculaire. B. L’adsorption vésicule/membrane plasmique. C. La formation d’un diaphragme. D. La fusion de membranes. E. L’invagination de la membrane plasmique.

22 Une des propositions suivantes ne correspond pas à Cyclospora cayetanensis : A.C’est une coccidie B.C’est un parasite autofluorescent C.Elle peut être confondue au microscope avec Cryptosporidium parvum D.Elle est responsable de diarrhées chroniques chez le patient immunodéprimé E.Elle est sensible aux antiparasitaires usuels Toutes les réponses doivent être formulées positivement Epreuve de Parasitologie FMPC 2011

23 Exercice 3 Rédigez une question QCM de type A-

24 QCM à choix simple (QCS): une seule réponse juste (type A) QCM à choix libre :à compléments multiples: plusieurs réponses justes. QCM de type K QCM de type B QCM associatives QCM de type cause à effet… Les différents types de QCM

25 Quels sont les deux procédés qui permettent la dissociation cellulaire ? A. Les vibrations ultrasoniques. B. La chélation d’ions. C. La digestion enzymatique. D. Le choc osmotique. E. Le marquage aux anticorps.

26 Parmi les parasitoses suivantes, lesquelles peuvent s’accompagner d’une hyperéosinophilie sanguine? A.L’amibiase hépatique B.L’anguillulose C.L’aspergillose D.La bilharziose urinaire E.Les candidoses profondes Epreuve de Parasitologie FMPC 2012

27 Université Paul Sabatier. Toulouse. L1. PC

28

29 Un enfant qui souffre d’une crise aiguë de fièvre rhumatismale présente habituellement: 1. un temps de sédimentation allongé 2. un intervalle PR allongé 3. un titre d’antistreptolysine O élevé 4. des nodules sous-cutanés 5. des douleurs articulaires

30 Exercice 4 Rédigez une question QCM a compléments multiples

31 Les QCM de type associatives Elles permettent de vérifier que les étudiants sont capables de relier des notions entre elles et des concepts à des règles. Applications: maladies et germes, symptômes et maladies, anatomie…

32 QCM de type associatives Parmi les solutions numérotées à droite, choisissez le partenaire de chaque personnage figurant à gauche. Attention, il y a plus de partenaires que nécessaire. A : Daphnis 1 : Cléopâtre B : Antoine 2 : Juliette C : Samson 3 : George Sand D : Roméo 4 : Dalila 5: Chloé Source de l’exemple : Leclercq, 1986.

33 QCM de type réarrangement Vous observez une préparation au microscope avec l'objectif 10x et l'oculaire 6x. On vous demande de passer à l'objectif 40x. Quelles étapes devrez vous suivre pour obtenir l'image demandée de façon satisfaisante, et dans quel ordre ? A. Mettre en place l'objectif 40x B. Centrer le point à observer C. Ajuster le réglage grossier D. Augmenter l'éclairage E. Ajuster la vis micrométrique Source de l’exemple : Swinnen, 2002.

34 Cette QCM est composée de deux affirmations reliées entre elles par la conjonction « parce que » ou « car ». Il s’agit d’évaluer d’abord si les affirmations sont vraies ou fausses. Si les deux affirmations sont vraies vérifier s’il existe ou non une relation de causalité entre elles. Cinq réponses possibles QCM de type cause à effet

35 Tout tableau d’orchite aigue chez l’enfant impose l’exploration chirurgicale d’urgence CAR (ou PARCE QUE) l’orchiépididymite est rare chez l’enfant. A. vrai-vrai avec relation B. Vrai-vrai sans relation C. faux-vrai D. faux-vrai E. faux-faux Harouchi, 1998 QCM de type cause à effet

36 Classification des QCM Utilisation au NBME depuis 1953 … type A type B type K type R Rappel de connaissances Interprétation Raisonnement Contextualisation Une réponse Association Regroupement Appariement

37 QCM – Questions à choix multiples VRAI ou FAUX LA MEILLEURE RÉPONSE

38 Caractéristiques d’une QCM bien conçue en médecine Vignette Question Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles proximaux et distaux des extrémités. La sensibilité est normale. Parmi les diagnostics suivants, quel est le plus probable? Compléments A-Encéphalomyélite aiguë disséminée B-Syndrome de Guillain-Barré C-Myasténie grave D-Poliomyélite E-Polymyosite D C A E B La moins correcteLa plus correcte Les compléments ne doivent pas transmettre de nouvelles informations Il ne devrait pas y avoir de verbes

39 Gabarit d’une QCM bien conçue Vignette Question Compléments Vignette (corps de la question) Complément COURT 1 2 3 Une SEULE réponse JUSTE

40 Exercice 5 QCM bien ou mal rédigée?

41 La cuisson suffisante de la viande est une mesure préventive vis-à-vis de deux parasitoses, lesquelles ? A- La fasciolose. B- La toxoplasmose. C- Le taeniasis. D- La cryptococcose. E- L’oxyurose. La cuisson suffisante de la viande est une mesure préventive vis-à-vis de quelles parasitoses (parmi les suivantes)?

42 Après un second épisode de salpingite, quelle est la probabilité qu’une femme soit stérile ? A. Moins de 20 % B. De 20 à 30 % C. Plus de 50 % D. 90 % E. 75 %

43 Problèmes : Non homogénéité des propositions : soit que des intervalles, soit que des pourcentages précis. Propositions classées de façon illogique (ordre croissant non respecté).

44 Le signe caractéristique du syndrome hypermétabolique d’une thyrotoxicose est: A. La tachycardie B. L’augmentation du métabolisme de base C. La polyuro-polydipsie D. L’accélération du transit intestinal E. L’anorexie

45 Cette Q.C.M. reprend dans la deuxième proposition une notion de l'énoncé (métabolisme), ce qui donne la réponse à l’étudiant et elle est inhomogène dans son contenu (proposition B se référant à une notion paraclinique, par opposition aux quatre autres propositions qui illustrent des notions strictement cliniques).

46 Lorsqu’un tendon est coupé et réparé, quelle est la force des tissus réparés un an après l’intervention? A. Toujours moins que la normale B. Habituellement plus que la normale C. A peu près la même que la normale D. Plus ou moins normale, selon l’âge du patient E. Plus ou moins normale, selon la qualité de la réparation

47 On utilise des descripteurs vagues: plus ou moins, habituellement.. Problème:

48 Les diurétiques thiazidiques sont typiquement responsables de : A- L’augmentation de la créatininémie B- La baisse de la natrémie C- L’augmentation de la kaliurèse D- La baisse de la kaliémie E- L’augmentation de la natrémie.

49 Les compléments (B) et (E) s’excluent mutuellement (antinomie), ce qui réduit les possibilités de réponse de 5 à 4.

50 Les oreillons: A - Ont une durée d'incubation de 18 à 21 jours B - Sont une virose immunisante à déclaration obligatoire C - Reconnaissent comme agent pathogène un myxovirus à ARN D - Provoquent le plus souvent une atteinte parotidienne bilatérale et symétrique E - Peuvent se compliquer d'épididymite.

51 Il y a deux notions indépendantes dans la proposition (B). L'étudiant doit-il se prononcer sur la virose immunisante, la déclaration obligatoire ou les deux ?

52 L’embolie pulmonaire : A. Est toujours associée à de la fièvre B. Est fréquemment associée à une toux productive C. N’est jamais observée chez les non-fumeurs D. Peut toujours être confondues avec la pneumonie E. Est traitée par l’administration d’héparine

53 Problèmes : Mauvaise structure générale (pas de vignette clinique, propositions de réponse plus longues que le corps) Pas de question introductive claire. Usage de termes imprécis (fréquemment) et de termes absolus (toujours, jamais). Non homogénéité des propositions: (symptômes, diagnostics, facteurs, traitements)

54 Pistes grammaticales Pistes logiques Termes absolus Termes flous Exclusion mutuelle des propositions Difficultés inutiles leurres évidents Position de la bonne réponse en C Défauts Techniques à éviter

55 Rédaction Validation Banque de QCM Une épreuve d’une heure doit comporter 50 QCM Correction binaire Barème de correction des QCM: transformation du score en note sur 20 selon le barème ci- dessous: Examen par QCM

56 Questions à choix multiples Points forts Objectivité totale de la correction Validité de contenu élevée Fidélité +++ Peuvent explorer: mémorisation, compréhension, synthèse Automatisation partielle ou totale : adapté à un grand nombre Analyse des questions Points faibles Mauvaise construction, ambiguité Vérification de points de détails Pas de génération de réponse Font appel le plus souvent à la mémorisation Favorise des apprentissages superficiels et peu transférables Elaboration difficile

57 Question rédactionnelle Points forts Evaluation des capacités supérieures Synthèse, réflexion, jugement: Pertinentes Points faibles Subjectivité (biais) Manque de validité Manque de fidélité sauf si correction avec grilles Temps de correction long

58

59 Nombre de % de réponses réponses Note exactes exactes sur 20 Nombre de % de réponses réponses Note exactes exactes sur 20 1 2% 00,10 5 10% 00,75 10 20% 02,00 11 22% 02,40 12 24% 02,80 13 26% 03,15 14 28% 03,45 15 30% 03,75 16 32% 04,25 17 34% 04,75 18 36% 05,25 19 38% 05,75 20 40% 06,25 21 42% 06,75 22 44% 07,25 23 46% 07,60 24 48% 07,80 25 50% 08 26 52% 08,40 27 54% 08,80 28 56% 09,20 29 58% 09,60 30 60% 10 31 62% 10,40 32 64% 10,80 33 66% 11,25 34 68% 11,75 35 70% 12,25 36 72% 12,65 37 74% 13,05 38 76% 13,45 39 78% 13,85 40 80% 14,25 41 82% 14,75 42 84% 15,25 43 86% 15,80 44 88% 16,40 45 90% 17 46 92% 17,60 47 94% 18,20 48 96% 18,80 49 98% 19,40 50 100% 20 BAREME DE CORRECTION DES QCM (Valable pour 50 questions – Barre fixée à 60 %)

60 Analyser les résultats de l’évaluation par QCM  Globale: distribution des notes La courbe de l’efficacité pédagogique: 80% des apprenants devraient atteindre 80% des objectifs.  Analyse d’items: technique docimologique pour valider des questions d’examens.

61

62 Analyse des items Item: toute question qui reçoit un score

63

64 Analyse des items 1. Indice de difficulté: décimale i = 0,95: 95% des étudiants ont répondu juste à cette question: trop facile i < 0;5: doivent être entourées: chercher la cause: pertinence de la question? mauvaise formulation? i <0,3: difficile Dans une épreuve 40 - 80% des questions doivent être de difficulté moyenne

65 Établit un lien entre les notes à un item donné et les notes avec le total des autres items de l’épreuve. Le calcul de l’ID permet une évaluation a postériori de la qualité des QCM. 2. Indice de discrimination

66 0 +1 +0,47 1- % réussite global % de réussite des reçus % d’étudiants collés ID= L’intérêt majeur de l’ID est d’identifier les QCM « à problèmes ».

67 ID positif: les étudiants reçus ont mieux répondu que les autres ID négatif: les étudiants reçus ont moins bien répondu que les autres. Les questions avec ID négatif doivent être retirées

68 Reconnaître les incertitudes dans l’évaluation : processus de réflexion critique sur l’évaluation Chercher l’amélioration de nos évaluations en révisant: Nos outils d’évaluation Notre mode d’évaluation (évaluer toutes les dimensions) La fréquence de nos évaluations Temps consacré à l’évaluation++++ Conclusion

69 L’évaluation permet d’évaluer les acquis des étudiants mais aussi la qualité de l’enseignement

70 Références Anderson John (UK), Multiple-choice questions revisited, Medical teacher, vol 26,n°2, 2004. CASE, Susan M. and David B. SWANSON, Constructing Written Test Questions For the Basic and Clinical Sciences, NBME, Philadelphia, 2001. De Foy Thérèse, Petit guide utile à l’élaboration d’examens à coix multiples dans le domaine médical, UCL Bruxelles. Krebs René, Mode d’emploi pour la création de questions et d’examens à choix multiples pour léenseignement de la médecine. Université de Bern.2004 Normand Serge, www.medbev.umontreal.ca/docimo/atelier.htmlwww.medbe Pagonis Daniel, Guide de rédaction des questions à choix multiples. www.ujf-grenoble.fr/cotice Shumway J.M,AMEE Medical Education Guide, n°25, 2003 WOOD, Tim et Gary COLE, L’élaboration de questions à choix multiple pour les examens menant au certificat du Collège royal des médecins et chirurgiens du Canada, Septembre 2001.