Normes de Rédaction des QCM 25 Avril 2013 Rajae Kadiri Myriam Riyad FMPC Université Hassan II. Ain Chock
1) Comment planifier l’évaluation 2) Rappeler les normes de rédaction des QCM 3) Effectuer une analyse d’items Objectifs de ce Séminaire
II Mémoriser IIII Interpréter des données Interpréter des données II I Appliquer des connaissances à la solution d’un problème Cognitif(connaissances)SavoirCognitif(connaissances)Savoir Faire preuve de réceptivité à l’égard d’une autre personne Répondre à la demande affective d’une autre personne Intérioriser un sentiment Psychoaffectif(attitudes) Savoir Etre Savoir EtrePsychoaffectif(attitudes) Imiter un geste Contrôler un geste avec efficacité Accomplir un geste de manière automatique et avec efficience Psychomoteur (habiletés) Savoir Faire Psychomoteur (habiletés) Savoir Faire
Tableau de spécification Plan directeur (blue print)
Tableau de spécification Source :
But: évaluation objective et répondant aux objectifs pédagogiques Indique les objectifs à évaluer et leur importance avec les niveaux taxonomiques. Favorise la validité de contenu et la stabilité du contenu des épreuves Est rédigé en équipe (+++) Tableau de spécification
Exercice 1 Préparer une ébauche de tableau de spécification pour une épreuve écrite dans votre discipline : 1.Importance relative des « chapitres » 2. Niveaux taxonomiques Mémoriser Interpréter Solutionner
Choix du sujet de question: Pertinence+++ Degré de difficulté approprié Normes de rédaction des QCM QCR – Questions à choix de réponses
Construction des QCM L’énoncé : Doit être clair Peut être constitué : d’un mot, d’une phrase ou d’une vignette, d’un schéma, d’une courbe, des valeurs. Une seule notion est soumise à la réflexion Éviter les jugements de valeur et les termes absolus Formulé sur un mode interrogatif ou affirmatif
Les propositions Doivent être: Au nombre de cinq Homogènes dans leur forme, leur contenu, leur structure grammaticale Ne doivent contenir qu’une seule notion à la fois Doivent être indépendantes entre elles Ne doivent pas s’exclure Classées par ordre alphabétique (logique)
La ou les bonnes réponse (s) Doit (vent) être incontestablement exacte(s) et peut être la meilleure réponse N’est pas plus longue si plus explicite que les autres réponses Varie de place de façon aléatoire Ne doit pas contenir des mots compris dans l’énoncé Eviter: aucune réponse juste, toutes les 5 sont justes, QCM de type K (1: ABD; 2:BD;3:AD;4BC)
Les leurres Doivent être: – Plausibles – attrayants
QCM à choix simple (QCS): une seule réponse juste (type A) QCM à choix libre :à compléments multiples: plusieurs réponses justes. QCM de type K QCM de type B QCM associatives QCM de type cause à effet… Les différents types de QCM
QCM à choix simple (QCS): une seule réponse juste (type A) QCM à choix libre :à compléments multiples: plusieurs réponses justes. QCM de type K QCM de type B QCM associatives QCM de type cause à effet… Les différents types de QCM
. Quel est le m é canisme qui facilite le passage d ’ eau lors de la filtration glom é rulaire ? A. L’adhérence moléculaire. B. L’adhérence cellulaire. C. Le transport actif. D. L’endocytose. E. La pinocytose. BC FMPC 2009
La dissémination des plasmodies dans le sang est assurée par la forme : A.Gamétocyte B.Hypnozoïte C.Mérozoïte D.Schizonte E.Trophozoïte Epreuve de Parasitologie FMPC 2011
Quelle est la caractéristique de la cryptosporidiose ? A.C’est une parasitose strictement humaine B.Elle est due à un protozoaire flagellé C.Elle est transmise par l’ingestion de viandes de veaux insuffisamment cuites D.Elle peut être transmise par l’eau du robinet E.Elle est facilement diagnostiquée à l’examen parasitologique des selles standard Epreuve de Parasitologie FMPC 2012
Que représente la photo ci-contre ? A- Des cellules musculaires. B- Des hématies. C- Des globules blancs. D- Des cellules nerveuses. E- Des fibroblastes. Examen de biologie cellulaire. Janvier 2009.FMPC
Exercice 2 Rédigez une question QCM de type A
QCS de type négatif: A- Un seul des nerfs suivants ne traverse pas la fente sphénoïdale, lequel ? A- Le nerf oculomoteur commun B- Le nerf oculomoteur externe C- Le nerf pathétique D- Le nerf glossopharyngien E- Le nerf ophtalmique de Willis Cas où la connaissance d’une exception est essentielle
Toutes les étapes suivantes interviennent dans le phénomène d’exocytose sauf une. Laquelle? A. La migration vésiculaire. B. L’adsorption vésicule/membrane plasmique. C. La formation d’un diaphragme. D. La fusion de membranes. E. L’invagination de la membrane plasmique.
Une des propositions suivantes ne correspond pas à Cyclospora cayetanensis : A.C’est une coccidie B.C’est un parasite autofluorescent C.Elle peut être confondue au microscope avec Cryptosporidium parvum D.Elle est responsable de diarrhées chroniques chez le patient immunodéprimé E.Elle est sensible aux antiparasitaires usuels Toutes les réponses doivent être formulées positivement Epreuve de Parasitologie FMPC 2011
Exercice 3 Rédigez une question QCM de type A-
QCM à choix simple (QCS): une seule réponse juste (type A) QCM à choix libre :à compléments multiples: plusieurs réponses justes. QCM de type K QCM de type B QCM associatives QCM de type cause à effet… Les différents types de QCM
Quels sont les deux procédés qui permettent la dissociation cellulaire ? A. Les vibrations ultrasoniques. B. La chélation d’ions. C. La digestion enzymatique. D. Le choc osmotique. E. Le marquage aux anticorps.
Parmi les parasitoses suivantes, lesquelles peuvent s’accompagner d’une hyperéosinophilie sanguine? A.L’amibiase hépatique B.L’anguillulose C.L’aspergillose D.La bilharziose urinaire E.Les candidoses profondes Epreuve de Parasitologie FMPC 2012
Université Paul Sabatier. Toulouse. L1. PC
Un enfant qui souffre d’une crise aiguë de fièvre rhumatismale présente habituellement: 1. un temps de sédimentation allongé 2. un intervalle PR allongé 3. un titre d’antistreptolysine O élevé 4. des nodules sous-cutanés 5. des douleurs articulaires
Exercice 4 Rédigez une question QCM a compléments multiples
Les QCM de type associatives Elles permettent de vérifier que les étudiants sont capables de relier des notions entre elles et des concepts à des règles. Applications: maladies et germes, symptômes et maladies, anatomie…
QCM de type associatives Parmi les solutions numérotées à droite, choisissez le partenaire de chaque personnage figurant à gauche. Attention, il y a plus de partenaires que nécessaire. A : Daphnis 1 : Cléopâtre B : Antoine 2 : Juliette C : Samson 3 : George Sand D : Roméo 4 : Dalila 5: Chloé Source de l’exemple : Leclercq, 1986.
QCM de type réarrangement Vous observez une préparation au microscope avec l'objectif 10x et l'oculaire 6x. On vous demande de passer à l'objectif 40x. Quelles étapes devrez vous suivre pour obtenir l'image demandée de façon satisfaisante, et dans quel ordre ? A. Mettre en place l'objectif 40x B. Centrer le point à observer C. Ajuster le réglage grossier D. Augmenter l'éclairage E. Ajuster la vis micrométrique Source de l’exemple : Swinnen, 2002.
Cette QCM est composée de deux affirmations reliées entre elles par la conjonction « parce que » ou « car ». Il s’agit d’évaluer d’abord si les affirmations sont vraies ou fausses. Si les deux affirmations sont vraies vérifier s’il existe ou non une relation de causalité entre elles. Cinq réponses possibles QCM de type cause à effet
Tout tableau d’orchite aigue chez l’enfant impose l’exploration chirurgicale d’urgence CAR (ou PARCE QUE) l’orchiépididymite est rare chez l’enfant. A. vrai-vrai avec relation B. Vrai-vrai sans relation C. faux-vrai D. faux-vrai E. faux-faux Harouchi, 1998 QCM de type cause à effet
Classification des QCM Utilisation au NBME depuis 1953 … type A type B type K type R Rappel de connaissances Interprétation Raisonnement Contextualisation Une réponse Association Regroupement Appariement
QCM – Questions à choix multiples VRAI ou FAUX LA MEILLEURE RÉPONSE
Caractéristiques d’une QCM bien conçue en médecine Vignette Question Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles proximaux et distaux des extrémités. La sensibilité est normale. Parmi les diagnostics suivants, quel est le plus probable? Compléments A-Encéphalomyélite aiguë disséminée B-Syndrome de Guillain-Barré C-Myasténie grave D-Poliomyélite E-Polymyosite D C A E B La moins correcteLa plus correcte Les compléments ne doivent pas transmettre de nouvelles informations Il ne devrait pas y avoir de verbes
Gabarit d’une QCM bien conçue Vignette Question Compléments Vignette (corps de la question) Complément COURT Une SEULE réponse JUSTE
Exercice 5 QCM bien ou mal rédigée?
La cuisson suffisante de la viande est une mesure préventive vis-à-vis de deux parasitoses, lesquelles ? A- La fasciolose. B- La toxoplasmose. C- Le taeniasis. D- La cryptococcose. E- L’oxyurose. La cuisson suffisante de la viande est une mesure préventive vis-à-vis de quelles parasitoses (parmi les suivantes)?
Après un second épisode de salpingite, quelle est la probabilité qu’une femme soit stérile ? A. Moins de 20 % B. De 20 à 30 % C. Plus de 50 % D. 90 % E. 75 %
Problèmes : Non homogénéité des propositions : soit que des intervalles, soit que des pourcentages précis. Propositions classées de façon illogique (ordre croissant non respecté).
Le signe caractéristique du syndrome hypermétabolique d’une thyrotoxicose est: A. La tachycardie B. L’augmentation du métabolisme de base C. La polyuro-polydipsie D. L’accélération du transit intestinal E. L’anorexie
Cette Q.C.M. reprend dans la deuxième proposition une notion de l'énoncé (métabolisme), ce qui donne la réponse à l’étudiant et elle est inhomogène dans son contenu (proposition B se référant à une notion paraclinique, par opposition aux quatre autres propositions qui illustrent des notions strictement cliniques).
Lorsqu’un tendon est coupé et réparé, quelle est la force des tissus réparés un an après l’intervention? A. Toujours moins que la normale B. Habituellement plus que la normale C. A peu près la même que la normale D. Plus ou moins normale, selon l’âge du patient E. Plus ou moins normale, selon la qualité de la réparation
On utilise des descripteurs vagues: plus ou moins, habituellement.. Problème:
Les diurétiques thiazidiques sont typiquement responsables de : A- L’augmentation de la créatininémie B- La baisse de la natrémie C- L’augmentation de la kaliurèse D- La baisse de la kaliémie E- L’augmentation de la natrémie.
Les compléments (B) et (E) s’excluent mutuellement (antinomie), ce qui réduit les possibilités de réponse de 5 à 4.
Les oreillons: A - Ont une durée d'incubation de 18 à 21 jours B - Sont une virose immunisante à déclaration obligatoire C - Reconnaissent comme agent pathogène un myxovirus à ARN D - Provoquent le plus souvent une atteinte parotidienne bilatérale et symétrique E - Peuvent se compliquer d'épididymite.
Il y a deux notions indépendantes dans la proposition (B). L'étudiant doit-il se prononcer sur la virose immunisante, la déclaration obligatoire ou les deux ?
L’embolie pulmonaire : A. Est toujours associée à de la fièvre B. Est fréquemment associée à une toux productive C. N’est jamais observée chez les non-fumeurs D. Peut toujours être confondues avec la pneumonie E. Est traitée par l’administration d’héparine
Problèmes : Mauvaise structure générale (pas de vignette clinique, propositions de réponse plus longues que le corps) Pas de question introductive claire. Usage de termes imprécis (fréquemment) et de termes absolus (toujours, jamais). Non homogénéité des propositions: (symptômes, diagnostics, facteurs, traitements)
Pistes grammaticales Pistes logiques Termes absolus Termes flous Exclusion mutuelle des propositions Difficultés inutiles leurres évidents Position de la bonne réponse en C Défauts Techniques à éviter
Rédaction Validation Banque de QCM Une épreuve d’une heure doit comporter 50 QCM Correction binaire Barème de correction des QCM: transformation du score en note sur 20 selon le barème ci- dessous: Examen par QCM
Questions à choix multiples Points forts Objectivité totale de la correction Validité de contenu élevée Fidélité +++ Peuvent explorer: mémorisation, compréhension, synthèse Automatisation partielle ou totale : adapté à un grand nombre Analyse des questions Points faibles Mauvaise construction, ambiguité Vérification de points de détails Pas de génération de réponse Font appel le plus souvent à la mémorisation Favorise des apprentissages superficiels et peu transférables Elaboration difficile
Question rédactionnelle Points forts Evaluation des capacités supérieures Synthèse, réflexion, jugement: Pertinentes Points faibles Subjectivité (biais) Manque de validité Manque de fidélité sauf si correction avec grilles Temps de correction long
Nombre de % de réponses réponses Note exactes exactes sur 20 Nombre de % de réponses réponses Note exactes exactes sur % 00, % 00, % 02, % 02, % 02, % 03, % 03, % 03, % 04, % 04, % 05, % 05, % 06, % 06, % 07, % 07, % 07, % % 08, % 08, % 09, % 09, % % 10, % 10, % 11, % 11, % 12, % 12, % 13, % 13, % 13, % 14, % 14, % 15, % 15, % 16, % % 17, % 18, % 18, % 19, % 20 BAREME DE CORRECTION DES QCM (Valable pour 50 questions – Barre fixée à 60 %)
Analyser les résultats de l’évaluation par QCM Globale: distribution des notes La courbe de l’efficacité pédagogique: 80% des apprenants devraient atteindre 80% des objectifs. Analyse d’items: technique docimologique pour valider des questions d’examens.
Analyse des items Item: toute question qui reçoit un score
Analyse des items 1. Indice de difficulté: décimale i = 0,95: 95% des étudiants ont répondu juste à cette question: trop facile i < 0;5: doivent être entourées: chercher la cause: pertinence de la question? mauvaise formulation? i <0,3: difficile Dans une épreuve % des questions doivent être de difficulté moyenne
Établit un lien entre les notes à un item donné et les notes avec le total des autres items de l’épreuve. Le calcul de l’ID permet une évaluation a postériori de la qualité des QCM. 2. Indice de discrimination
,47 1- % réussite global % de réussite des reçus % d’étudiants collés ID= L’intérêt majeur de l’ID est d’identifier les QCM « à problèmes ».
ID positif: les étudiants reçus ont mieux répondu que les autres ID négatif: les étudiants reçus ont moins bien répondu que les autres. Les questions avec ID négatif doivent être retirées
Reconnaître les incertitudes dans l’évaluation : processus de réflexion critique sur l’évaluation Chercher l’amélioration de nos évaluations en révisant: Nos outils d’évaluation Notre mode d’évaluation (évaluer toutes les dimensions) La fréquence de nos évaluations Temps consacré à l’évaluation++++ Conclusion
L’évaluation permet d’évaluer les acquis des étudiants mais aussi la qualité de l’enseignement
Références Anderson John (UK), Multiple-choice questions revisited, Medical teacher, vol 26,n°2, CASE, Susan M. and David B. SWANSON, Constructing Written Test Questions For the Basic and Clinical Sciences, NBME, Philadelphia, De Foy Thérèse, Petit guide utile à l’élaboration d’examens à coix multiples dans le domaine médical, UCL Bruxelles. Krebs René, Mode d’emploi pour la création de questions et d’examens à choix multiples pour léenseignement de la médecine. Université de Bern.2004 Normand Serge, Pagonis Daniel, Guide de rédaction des questions à choix multiples. Shumway J.M,AMEE Medical Education Guide, n°25, 2003 WOOD, Tim et Gary COLE, L’élaboration de questions à choix multiple pour les examens menant au certificat du Collège royal des médecins et chirurgiens du Canada, Septembre 2001.