Michel Girard MD MHPE FRCP(C) Normes pour la rédaction et la correction de questions QCR, QROC et de problèmes à éléments-clé. Michel Girard MD MHPE FRCP(C) Directeur Serge Normand MA Docimologue Bureau d’évaluation Faculté de médecine

Plan Historique Pourquoi les QCR? Vrai/faux vs « La meilleure réponse » Vrai/faux Les niveaux taxonomiques simplifiés La meilleure réponse, type QROC Problèmes à éléments-clé (Q4) Quelques conseils pour la correction

Historique NBME 1916 Questions à développement et orales Différents types de questions QCR (A, B, C & K) 2002 On utilise maintenant les questions type A & R Historique plus détaillé

NBME Questions de type A A: La meilleure réponse, une seule (One-best-answer)

Pourquoi QCR? Problème d’échantillonnage Nature et la taille de l’échantillon qui déterminent si l’estimé que l’on fait est Reproductible: fiable, généralisable Précis: valide Uniquement questions SCV pour un examen de md fam. Trop peu de questions

Pourquoi QCR? Problème d’échantillonnage Échantillon doit être évalué sur une seule variable  étudiant QCM: Ordinateur corrige réponses QROC: Professeur(s) corrige(nt) réponses

Un exemple Travail écrit de 5 pages. Histoire de la médecine Résultat du travail par groupe Groupe Moyenne 1 24,1 2 30,0 3 28,7 4 25,3 5 26,1 6 26,0 7 27,5 8 26,6 9 Total 26,9 Travail écrit de 5 pages. Chaque professeur a corrigé les travaux de son groupe. 15 étudiants/groupe Note maximale: 30 Les étudiants du groupe 1 croient que leur professeur a été trop sévère. En fait, le problème

Combien de questions? En combien de temps? Dépend de l’importance de l’examen. Si on recherche validité et la fiabilité: Douzaine de cas cliniques ou plus (ECOS). Centaine ou plus de QROC ou QCR. En donnant aux étudiants le temps qu’il faut pour répondre. Environ 1 min. par question, plus s’il s’agit de questions difficiles ou comportant de longues vignettes.

L’ÉVALUATION DOIT ÊTRE Seulement QCR? Opinion du patient Questions à développement NON L’ÉVALUATION DOIT ÊTRE MULTIMODALE Patient simulé Simulateur Raisonnement clinique (Q4) ECOS QROC Simulation PMP Observation directe Carnet de route QCR Concordance de scripts … et encore Portfolio Examens oraux

Vrai/faux vs la meilleure réponse. Vrai ou faux C, K, X, PMPs La meilleure réponse A: la meilleure réponse de 5 énoncés B R: appariement détaillé Q4: problèmes à éléments-clé

Vrai/faux Le problème est que l’étudiant doit décider ce qui est absolument faux ou vrai. Alors que l’on suggère d’éviter les absolus comme « toujours » ou « jamais ». Il est difficile d’écrire des compléments qui sont absolument vrai ou faux, sans tomber dans la futilité.

Vrai/faux Une question correcte Lequel (ou lesquels) des éléments suivants est (sont) une atteinte récessive liée à l’X? 1- Hémophilie A 2- Fibrose kystique 3- Dystrophie musculaire de Duchesne 4- Maladie de Tay-Sachs

Vrai/faux Une question possible Lequel (ou lesquels) des éléments suivants est (sont) une atteinte récessive liée à l’X? 1- Hémophilie A 2- Fibrose kystique 3- Dystrophie musculaire de Duchesne 4- Maladie de Tay-Sachs 2 4 1 3 Absolument faux Absolument vrai

Vrai/faux Une question « incorrecte » Les énoncés vrais sur la fibrose kystique sont: 1- L’incidence de la maladie est 1:2000 2- Les enfants en meurent habituellement durant l’adolescence. 3- Les mâles atteints sont stériles. 4- La maladie est autosomique et récessive Le problème est qu’un groupe d’experts ne s’entendrait pas sur 1, 2 et 3.

En résumé... La vignette doit être claire et sans ambiguïté, évitez les termes imprécis, comme: est associé à, est utile pour, est important. qui orientent l’étudiant: toujours, jamais, peut, pourrait être. vagues, comme: fréquemment, habituellement, souvent, rarement, etc.

Les niveaux taxonomiques simplifiés

Les niveaux taxonomiques simplifiés

Les niveaux taxonomiques simplifiés

La meilleure réponse Type A Ici, toutes les réponses peuvent être vraies. Elles se situent sur un continuum de vérité. Une des réponses est la plus exacte.

Type A 3 parties Vignette (Stem) Question (Lead-in) Vignette, en général, clinique Question (Lead-in) Détermine le choix à faire parmi les compléments Compléments (Options) Les choix

Type A 3 parties On peut répondre sans consulter les compléments. Vignette (Stem) Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8C, son pouls est 94/min, … Question (Lead-in) Parmi les diagnostics suivants, quel est le plus probable? Compléments (Options) A- Encéphalomyélite aiguë disséminée B- Syndrome de Guillain-Barré C- Myasténie grave D- Polyomyélite E- Polymyosite On peut répondre sans consulter les compléments. D C A E B La moins correcte La plus correcte

On peut répondre sans consulter les compléments. Type A 3 parties Vignette (Stem) Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8C, son pouls est 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles du visage et des muscles proximaux et distaux des extrémités. La sensibilité est normale. Les réflexes ostéo-tendineux sont absents. Les réflexes plantaires sont en flexion. Question (Lead-in) Quel est le diagnostic le plus probable? On peut répondre sans consulter les compléments.

Type A 3 parties (question incorrecte) Vignette (Stem) Question (Lead-in) À propos de la pseudogoutte, qu’est-ce qui est vrai? Compléments (Options) Est fréquente chez les femmes. Est rarement associée à de la douleur articulaire aiguë. Peut être associée à de la chondrocalcinose. Est clairement héréditaire dans la plupart des cas. Répond bien à l’allopurinol. Les compléments ne se situent pas sur un continuum de vérité, ils explorent des dimensions différentes, ei genre, manifestations, génétique et traitement. On ne peut répondre sans consulter les compléments. Cette question ne fait appel qu’à la mémoire et n’évalue pas l’application des connaissances.

Défauts techniques Prévenir les gains associés à la perspicacité du répondant, le petit futé. Éviter la difficulté hors de propos.

Perspicacité du répondant le petit futé Indices grammaticaux. Indices logiques. Les termes absolus. La longueur d’un complément qui pointe vers la bonne réponse. Répétition de mots. La stratégie utilisant la convergence des indices. Type K

Difficulté hors de propos Compléments longs, complexes ou double. Échelle numérique variable. Termes vagues dans les compléments. Complément utilisant: « Aucun des choix ». Item intriqué ou trop complexe. Lien entre les réponses de deux questions apparentées.

La meilleure réponse... Type A - Les règles de base Chaque item porte sur un concept important, de par sa fréquence ou sa dangerosité. Éviter la trivialité, les pièges ou les questions inutilement complexes. Chaque question doit évaluer l’application des connaissances et non leur rappel. La question doit être claire et on doit pouvoir y répondre sans lire les compléments, d’où l ’importance de la vignette. Éviter les doubles négations. Les distracteurs doivent être homogènes, grammaticalement semblables, plausibles, de longueur équivalente, logiquement compatibles, au contenu univoque (éviter « faire X et Y ») sauf si tous idem, placé en ordre logique. Éviter les questions qui favorisent les petits futés ou qui posent des difficultés hors de propos. Éviter les questions du type: « Identifiez l’affirmations correcte. » ou « Toutes les affirmations qui suivent sont vraies sauf: »

…des vignettes homogènes et... Age, sexe, (Un homme de 45 ans) Lieu (se présente à l’urgence, au cabinet…) Raison de consultation (se plaint de céphalées…) Durée (depuis 2 jours…) Histoire médicale (histoire familiale au besoin) Examen physique (éléments positifs ou négatifs) +/- Résultats de laboratoire +/- Traitement initial, évolution, etc

Une relation correcte entre la vignette et les compléments Vignette longue Complément court Complément court Les compléments ne doivent pas transmettre de nouvelle information. Il ne devrait pas y avoir de verbe. Complément court Complément court Complément court

Mais attention, pour réussir #4, faut-il avoir réussi 1, 2 et 3? Variation On peut à partir d’une vignette poser plus d’une question: Vignette, en général clinique Question #1 Question #2 Complément Complément Complément Complément Complément Complément Complément Complément Question #3 Question #4 Complément Complément Complément Complément Complément Complément Complément Complément Mais attention, pour réussir #4, faut-il avoir réussi 1, 2 et 3?

La meilleure réponse... Type A - Sciences de base Le piège est la tendance évaluer le rappel. Rappel: L’artère cérébellaire postéro-inférieure irrigue quelle partie du cerveau? Application: Un homme de 62 ans développe une ataxie du côté gauche, un syndrome de Horner, un nystagmus et une perte de la sensation de douleur et du froid au niveau du visage. Quelle artère est, le plus probablement, atteinte?

La meilleure réponse... Type A - Sciences cliniques Quelques détails sur les vignettes Utilisation de véritables cas cliniques: risqué, souvent trop compliqué. Matériel de référence: fournir ce qui est habituellement disponible en clinique (ei normales) Utiliser des termes médicaux, plutôt que ceux du patient. Les patients ne mentent pas dans les QCR (ei. consommation d’alcool).

QROC Question à Réponse Ouverte et Courte Une femme de 62 ans est hospitalisée pour des maux de tête d'apparition récente, accompagnés de diplopie. Une année auparavant, on a diagnostiqué qu'elle souffrait d'un lymphome diffus à grandes cellules et de stade III. La polychimiothérapie associant doxorubicine (Adriamycine), vincristine et prednisone, a entraîné une rémission complète; elle a été cessée après six cycles. Au cours de la présente hospitalisation, les examens complémentaires, dont la ponction lombaire, ont diagnostiqué une lymphomatose méningée. Il n'y a pas de récidive du lymphome à d'autres endroits. Énumérez trois modalités thérapeutiques disponibles, pour cette patiente : a)________________________________________________________ b)________________________________________________________ c)________________________________________________________

QROC Question à Réponse Ouverte et Courte Il s'agit d'une question à laquelle on peut répondre en quelques mots ou phrases. Dans le cas d’une question comportant des sous-questions, la réponse à chacune de celles-ci doit pouvoir être exprimée en quelques mots ou phrases.

QROC Question à Réponse Ouverte et Courte QROC ≠ question à développement court réponse plus longue et moins structurée, une ou deux phrases à un ou deux paragraphes. « Discutez des avantages du traitement XYZ pour le problème ABC. »

QROC Avantages Comparativement à la question à développement long ou court, la correction plus facile et moins subjective laisse très peu de place à l'interprétation Comparativement au QCR, plus facile à créer, mais plus exigeante à corriger.

QROC Conseils pour leur rédaction Utilisez des questions auxquelles on peut répondre d'une façon réaliste en quelques mots ou phrases. En général, chaque question ou sous-question ne devrait demander qu'un seul élément d'information. Ainsi, la question suivante : « Quel est le diagnostic le plus probable et quel traitement recommandez-vous? » devrait être scindée en deux questions distinctes.

QROC Conseils pour leur rédaction Prévoir dans les espaces réservés aux réponses le nombre suffisant de lignes ou autres repères de façon à indiquer l'étendue de la réponse.

QROC Conseils pour leur rédaction Utilisez soit des questions directes « Quel est le meilleur traitement de ...? », soit des verbes très spécifiques tels que « nommer », « indiquer les grandes lignes de ... », « décrire ». Évitez le verbe « discuter » Lorsqu'on utilise des verbes, tels que « décrire », « indiquer les grandes lignes de ... », il importe d'ajouter certaines indications quant aux limites de la réponse attendue (par exemple « décrivez brièvement », « indiquez brièvement les grandes lignes ... »).

QROC Conseils pour leur rédaction Parfois, il peut être nécessaire de préciser ce qui ne doit pas apparaître dans la réponse (exemple : « Indiquez un traitement couramment accepté dans ce cas. Soyez spécifique; les doses, les horaires et champs d'application du traitement ne sont pas requis »). Il faut s’efforcer de bien mettre en évidence le critère visé dans la correction de la question.

QROC Conseils pour leur rédaction Prenez soin de ne pas fournir d'indices quant à la réponse à la question. Voici un exemple d'une question qui n’en fournit pas : « Quel(s) examen(s) complémentaire(s) additionnel(s) pourrait(aient) être requis, en vue de la décision thérapeutique? », par opposition à la question suivante : « Quels examens complémentaires allez-vous faire avant de décider du traitement? ».

QROC Conseils pour leur rédaction La valeur de chaque question (valeur relative dans l'épreuve avec questions à réponse courte) et, dans le cas d'une question avec sous-questions, la valeur de chaque sous question, doivent être déterminées à l’avance et indiquées sur la feuille de réponse du candidat.

QROC Conseils pour leur rédaction Pour chaque question ou sous-question, il faut établir la notation pour la(les) réponse(s) acceptable(s), les réponses qui ne sont pas acceptables de même que pour les réponses qui, tout en n'étant pas la meilleure réponse, n’en sont pas moins acceptables.

QROC Conseils pour leur rédaction Si une seule réponse doit être considérée comme acceptable, l’énoncé de la question doit être très spécifique sur ce point. Voici quelques exemples : « Quel est le meilleur traitement ...? » , « Quel est... le plus souvent utilisé ... ? », « Quel est le diagnostic le plus probable? ».

QROC Conseils pour leur rédaction Autant que possible, la longueur des scénarios (« vignettes cliniques ») doit être proportionnelle à la valeur attribuée aux questions.

QROC Conseils pour leur rédaction Les scénarios cliniques doivent être préparés en tenant compte du niveau de formation de l’étudiant.

QROC Conseils pour leur rédaction Bien que la conception initiale des modèles de réponses puisse être confiée à un seul professeur, il importe cependant, pour en assurer la validité, de faire appel à l’expertise d'autres professeurs.

Problèmes à éléments-clé (Q4) La mesure de la compétence serait plus valide si les questions posées relativement à chaque problème d’un examen étaient centrées sur les quelques éléments spécifiques et essentiels ayant une importance fondamentale pour la résolution du problème – ses éléments-clé.

Problèmes à éléments-clé (Q4) Thème Diarrhée Éléments-clé Reconnaître une déshydratation (évalué) et son degré de gravité (non évalué). Prendre en charge une déshydratation d’une façon appropriée. Estimer la transmissibilité possible de la maladie sous-jacente (dissémination dans la famille/à l’hôpital, possibilité d’une source commune).

Problèmes à éléments-clé (Q4) Un problème à éléments-clé comprend typiquement un énoncé de cas, suivi de deux ou trois questions visant à évaluer uniquement les aspects fondamentaux (« éléments-clé ») de la résolution du problème.

Problèmes à éléments-clé (Q4) Une mère de trois enfants, âgée de 35 ans, vous consulte à votre cabinet à 17 h en raison d’une diarrhée aqueuse grave. Lors de l’interrogatoire, elle dit qu’elle est malade depuis environ 24 heures. Elle a eu quinze selles liquides au cours des dernières 24 heures, elle a des nausées, mais elle ne vomit pas. Elle travaille le jour comme cuisinière dans un établissement de soins de longue durée, mais elle a quitté le travail pour venir vous consulter. Votre infirmière a inscrit dans son dossier les données suivantes : tension artérielle au repos à 105/50 mm Hg en position couchée (pouls de 110/minute) et à 90/40 en position debout, et température orale de 36,8 °C. À l’examen clinique, vous observez que ses muqueuses sont sèches et que les bruits intestinaux sont présents. L’examen des urines (examen microscopique) était normal, avec une densité de 1.030.

Problèmes à éléments-clé (QROC) À quels problèmes cliniques accorderez-vous le plus d’importance lors de la prise en charge initiale de cette patiente? Inscrivez-en jusqu’à trois. ____________________________________

Problèmes à éléments-clé (question à menu court) Comment devriez-vous traiter cette patiente à ce moment-ci? Choisissez jusqu’à trois réponses. 1- Médicament antidiarrhéique 2- Médicament antiémétique 3- Solution de NaCl à 0,9 % par voie intraveineuse 4- Solution 2/3 pour 1/3 par voie intraveineuse 5- Gentamicine par voie intraveineuse 6- Métronidazole par voie intraveineuse 7- Solution de lactate Ringer par voie intraveineuse 8- Sonde naso-gastrique et aspiration 9- Rien par la bouche 10- Ampicilline par voie orale 11- Chloramphénicol par voie orale 12- Liquides par voie orale 13- Sonde rectale 14- Renvoi à la maison et suivi diligent 15- Consultation en chirurgie 16- Hospitalisation

Problèmes à éléments-clé (question à menu court) Après avoir pris en charge l’affection aiguë de cette patiente, quelles mesures additionnelles, s’il y a lieu, prendriez-vous? Choisissez jusqu’à quatre réponses ou choisissez le numéro 11, Aucune, si aucune mesure n’est indiquée. 1- Recommandation d’éviter les produits laitiers 2- Coloscopie 3- Mesures de prévention entériques 4- Consultation en gastro-entérologie 5- Administration d’immunoglobulines sériques aux patients de l’établissement de soins de longue durée 6- Consultation d’un spécialiste en maladies infectieuses 7- Déclaration à la Direction de la santé publique 8- Coprocultures 9- Isolement rigoureux de la patiente 10- Absence temporaire du travail 11- Aucune

Problèmes à éléments-clé Étapes de construction 1- Choisir un problème clinique (et un groupe d’âge). 2- Poser la question : « Quelles sont les étapes essentielles de la résolution de ce problème (chez des patients dans ce groupe d’âge)? » 3- Penser à des exemples – des patients qui présentent ce problème de façons différentes. 4- Inscrire les éléments-clé ayant trait à ces patients, certains propres à des patients particuliers, d’autres communs à tous les patients. 5- Choisir un cas, écrire l’énoncé du cas. 6- Écrire des questions qui sont fondés sur les éléments-clé du cas et établir la notation.

Correction (QCR) Déterminer à l’avance la meilleure réponse Il n’y a pas d’avantage à utiliser une correction négative (punitive)

Correction (QROC) Déterminer à l’avance les bonnes réponses et les réponses acceptables mais qui mériteront un pointage partiel Prévoir un pointage partiel pour les réponses incomplètes Si l ’étudiant vous propose 4 réponses alors que vous en demandez 3: la note est 0. NE PAS corriger les copies de chaque étudiant une après l’autre

Correction (QCR: Q 1 à 50 et QROC: Q 51 à 74) Prof #1 Q: 52, 53 & 60 Prof #2 Q: 61, 70 & 71 Prof #3 Q: 54 Prof #4 Q: 55, 56, 57 & 58 Prof #8 Q: 51, 63 & 64 Prof #7 Q: 59, 62 & 65 Prof #6 Q: 66, 67, 68 & 69 Prof #5 Q: 72, 73 & 74

Conclusion Contrôler les qualités docimologiques des questions Former les rédacteurs d’items Mettre de l’emphase sur la prise de décision clinique vs rappel Pré-valider les nouvelles questions

Pour tous les types de questions, faites les lire par un/une collègue. ATTENTION!!! Pour tous les types de questions, faites les lire par un/une collègue.

Type R, appariement détaillé (Extended matching) Un item en quatre parties: Un thème Des compléments, de 3 à 26 Question ou directive Vignettes

Évitez les abréviations Type R (1 de 2) Thème: Fatigue Compléments: A: Leucémie aiguë H: Sphérocytose congénitale B: Anémie des mal. chroniques I: Hypothyroïdie C: Insuffisance cardiaque J: Déficit en fer D: Dépression K: Maladie de Lyme E: Infection virus Epstein-Barr L: Anémie hémol. microangio. F: Déficit en folate M: Tuberculose miliaire G: Déficit en G-6-PD N: Déficit en Vitamine B12 Évitez les abréviations

Type R (2 de 2) Question: Pour chacun des patients, présentant de la fatigue, choisir le diagnostique le plus probable. Vignettes: 1. Une femme de 19 ans décrit de la fatigue, de la fièvre et un mal de gorge depuis une semaine. Sa température est 38,3C. Elle présente les adénopathies cervicales et une splénomégalie. Le décompte des leucocytes est 5000/mm3 (80% lympho. dont plusieurs présentent des atypies) … Autres labo ... 2. Un garçon de 15 ans décrit de la fatigue et de la douleur au dos depuis 2 semaines. Il est couvert d’ecchymoses, est pâle et ses vertèbres et fémurs sont sensibles à la palpation. L’hémoglobine est à 70 g/L, les leucocytes à 2000/mm3 et les plaquettes à15,000 mm3.

Type R On suggère d’écrire l’item dans l’ordre suivant: Thème Question Compléments Vignettes

Type R Les règles de base sont les mêmes que pour les question de Type A, la meilleure réponse On devrait pouvoir répondre aux questions sans avoir à lire les compléments. Vignettes doivent être homogènes Une seule meilleure réponse Nombre de compléments De 3 à 26, mais en général, au moins 4 bons distracteurs plausibles par vignette. La plupart des compléments devrait être utilisée.

Appariement détaillé à plusieurs choix (Pick N Items) Idem au type R, mais on choisit plus d’une réponse. Il faut indiquer le nombre de réponses à choisir. Sinon, la question se transforme en Vrai/Faux. En général, on recommande une notation proportionnelle au nombre de bonnes réponses. Si ce n’est pas possible, limiter le nombre de réponses à 2 ou 3.

Appariement détaillé à plusieurs choix (1 de 2) Thème: Investigation de la fièvre chez l’enfant Compléments: A: A & C du LCR F: Analyse d’urine B: Hémoculture G: Culture d’urine C: Formule sanguine complète H: R-X de l’abdomen D: Examen des selles pour leucocytes I: R-X du thorax E: Détermination des électrolytes sanguin Évitez les abréviations

Appariement détaillé à plusieurs choix (2 de 2) Question: Pour chaque enfant qui présente de la fièvre, choisissez les tests diagnostiques initiaux appropriés. Vignettes: 1. Une fillette de 1 an, auparavant en bonne santé, est emmenée à la salle d’urgence pour de la fièvre depuis 24 hres. Sa T est de 41C. Par ailleurs, elle est asymptomatique. L’examen physique est normal. (CHOISISSEZ 4 ÉPREUVES DE LABORATOIRE) 2. Un n-né de 10 jours, auparavant en bonne santé, est emmené à la salle d’urgence pour de la fièvre depuis 2 hres. Il est né à terme, suite à une grossesse normale. Sa T est de 39C. L’examen physique est normal. (CHOISISSEZ 6 ÉPREUVES DE LABORATOIRE) 1. Un garçon de 7 ans, souffrant d’anémie falciforme, est emmenée à la salle d’urgence pour de la fièvre depuis 24 hres et des douleurs thoraciques depuis 1 hre. Sa T est de 39,5C. Le murmure vésiculaire est diminué à la base gauche, il est eupnéique. (CHOISISSEZ 3 ÉPREUVES DE LABORATOIRE)

Type B A- Coactation de l’aorte B- Persistance du canal artériel C- Tétrallogie de Fallot D- Anneau vasculaire aortique D-Atrésie tricuspidienne 1- Amélioré par shunt art. syst/pulm. 2- Patho cong la plus fréq. 3- Corrigé par résection chir et anast. bout-à-bout. 4- Cause possible de dysphagie chez l’enfant 5- HyperTA m.sup et hypoTA m.inf Pour chaque chiffre choisir la lettre la mieux associée. Chaque lettre peut être utilisée de 0 à plusieurs fois Pas de vignette. Parfois tâche + ou - claire. Remplacée récemment par type R.

Type C A- Éosinophillie* B- Plasmocytose* C- Lymphocytose* *cliniquement significative 1- Trichinose 2- Myélome multiple 3- Syndrome de Loeffler 4- Maladie de Hodgkin 5- Schistosomiase Deux réponses: 1: 4 des 5 items à droite sont reliées à une des catégories à gauche. Laquelle? 2: Indiquer l’item qui ne fait pas partie du groupe. Pas de vignette. Questions difficiles à produire. Directives complexes. Format non discriminant.

Type K Un enfant qui souffre d’une crise aiguë de fièvre rhumatismale présente habituellement (1) un temps de sédimentation allongé (2) un intervalle PR allongé (3) un titre d’antistreptolysine O élevé (4) des nodules sous-cutanés

Type K Ont déjà été les questions les plus utilisées. Trop complexe, doit se souvenir du code de réponse. Difficile d’écrire de bons items VRAI ou FAUX. De plus, le VRAI ou FAUX ne peuvent tester le jugement clinique. Les liens entre les questions diminuaient la discrimination et la validité. 1=faux + 2=vrai  C, 1=vrai + 2=faux  B 4=vrai + 3=faux  D, 4=faux + 2=faux  B

Indices grammaticaux On retrouve un homme de 60 ans inconscient sur la rue. À l’urgence, une fois les voies aériennes sécurisées, le premier geste à poser est l’administration intraveineuse de A L’examen du LCR B Glucose et vitamine B1 (thiamine) C Tomographie axiale du crane D Phénytoin E Diazépam Ceci se produit parce que lorsque l’on écrit une question, on porte plus attention à la bonne réponse qu’aux distracteurs.

Indices grammaticaux On retrouve un homme de 60 ans inconscient sur la rue. À l’urgence, une fois les voies aériennes sécurisées, le premier geste à poser est l’administration intraveineuse de A L’examen du LCR B Glucose et vitamine B1 (thiamine) C Tomographie axiale du crane D Phénytoin E Diazépam Ceci se produit parce que lorsque l’on écrit une question, on porte plus attention à la bonne réponse qu’aux distracteurs.

Les indices logiques Le crime est A Également représenté dans toutes les couches sociales B Surreprésenté chez les pauvres C Surreprésenté dans les classes moyennes et riches D Est d’abord une indication de mésadaptation sociale E Sur le point de dépasser la tolérance de la population A, B et C comprennent toutes les options. D et E ne font pas partie d’un continuum avec A, B et C On aura le même problème si les options comprennent « augmente », « diminue » et « n’affecte pas »

Les indices logiques Le crime est A Également représenté dans toutes les couches sociales B Surreprésenté chez les pauvres C Surreprésenté dans les classes moyennes et riches D Est d’abord une indication de mésadaptation sociale E Sur le point de dépasser la tolérance de la population A, B et C comprennent toutes les options. D et E ne font pas partie d’un continuum avec A, B et C On aura le même problème si les options comprennent « augmente », « diminue » et « n’affecte pas »

Les termes absolus Chez les patients souffrant d’une démence sévère, de type Alzheimer, l’atteinte de la mémoire A Peut être traitée adéquatement avec de la phosphatidylcholine (lécithine) B Pourrait être une séquelle du parkinsonisme précoce C N’est jamais retrouvé chez les patients avec ???? à l’autopsie D N’est jamais sévère E Pourrait impliquer le système cholinergique Éviter les absolus. Il y a moins de chances d’avoir ce problème, si on utilise une vignette plus précise et on évite les verbes dans les compléments.

Les termes absolus Chez les patients souffrant d’une démence sévère, de type Alzheimer, l’atteinte de la mémoire A Peut être traitée adéquatement avec de la phosphatidylcholine (lécithine) B Pourrait être une séquelle du parkinsonisme précoce C N’est jamais retrouvé chez les patients avec ???? à l’autopsie D N’est jamais sévère E Pourrait impliquer le système cholinergique Éviter les absolus. Il y a moins de chances d’avoir ce problème, si on utilise une vignette plus précise et on évite les verbes dans les compléments.

La longueur du complément qui pointe vers la bonne réponse Le gain secondaire est A synonyme de simulation B fréquemment associé aux problèmes obsessifs-compulsifs C une complication associée à plusieurs maladies et qui tend à en prolonger plusieurs au delà de la durée normale D jamais vu dans les syndromes organiques cérébraux

Répétition de mots Par exemple, une question porte sur des douleurs osseuses et une des réponses comporte le terme ostéo...

La stratégie utilisant la convergence des indices Les anesthésiques locaux sont efficaces dans leur forme A forme anionique, agissant du côté intracellulaire de la membrane B forme cationique, agissant du côté intracellulaire de la membrane C forme cationique, agissant du côté extracellulaire de la membrane D forme base, agissant du côté intracellulaire de la membrane E forme base, agissant du côté extracellulaire de la membrane Anionique n’apparaît qu’une fois, 2 intracell. vs 3 extracell. donc extra Reste B et D, parce qu’il y a plus d’éléments impliquant une charge, B.

La stratégie utilisant la convergence des indices Les anesthésiques locaux sont efficaces dans leur forme A forme anionique, agissant du côté intracellulaire de la membrane B forme cationique, agissant du côté intracellulaire de la membrane C forme cationique, agissant du côté extracellulaire de la membrane D forme base, agissant du côté intracellulaire de la membrane E forme base, agissant du côté extracellulaire de la membrane Anionique n’apparaît qu’une fois, 2 intracell. vs 3 extracell. donc extra Reste B et D, parce qu’il y a plus d’éléments impliquant une charge, B.

Compléments longs, complexes ou double Les comités de discipline des hôpitaux peuvent prendre action pour limiter les privilèges hospitaliers d’un médecin. Toutefois, dans le contexte de l’accomplissement de leur mandat, ces comités doivent assurer au médecin un processus juste et équitable. Un processus juste et équitable doit inclure lesquels des éléments suivants? A Un avis, un forum impartial, un avocat, l’opportunité d’entendre et discuter de la preuve déposée contre lui/elle. B Un avis adéquat, un tribunal habileté à prendre une décision, l’opportunité de confronter les témoins à charge et la possibilité de faire une preuve en défense. C Un avis raisonnable et en temps opportun, un comité impartial et habileté à prendre une décision, la possibilité d’entendre la preuve déposée contre lui/elle et de confronter les témoins à charge et la possibilité de faire une preuve en défense. La vignette comporte de la lecture sans relation avec la résolution du problème. Les compléments sont trop longs et complexe. On recommande de faire des compléments courts. La vignette peut être longue, surtout si on veut évaluer la capacité de l’étudiant à synthétiser l’information.

Compléments longs, complexes ou double Les comités de discipline des hôpitaux peuvent prendre action pour limiter les privilèges hospitaliers d’un médecin. Toutefois, dans le contexte de l’accomplissement de leur mandat, ces comités doivent assurer au médecin un processus juste et équitable. Un processus juste et équitable doit inclure lesquels des éléments suivants? A Un avis, un forum impartial, un avocat, l’opportunité d’entendre et discuter de la preuve déposée contre lui/elle. B Un avis adéquat, un tribunal habileté à prendre une décision, l’opportunité de confronter les témoins à charge et la possibilité de faire une preuve en défense. C Un avis raisonnable et en temps opportun, un comité impartial et habileté à prendre une décision, la possibilité d’entendre la preuve déposée contre lui/elle et de confronter les témoins à charge et la possibilité de faire une preuve en défense. La vignette comporte de la lecture sans relation avec la résolution du problème. Les compléments sont trop longs et complexe. On recommande de faire des compléments courts. La vignette peut être longue, mais pertinente, surtout si on veut évaluer la capacité de l’étudiant à synthétiser l’information. Une façon de prévenir ceci est de ne pas utiliser de verbe dans les compléments.

Échelle numérique variable Après un deuxième épisode d’infection pelvienne, quelle est la probabilité pour une femme d’être infertile? A Moins de 20% B 20 à 30% C Plus de 50% D 90% E 75% Présenter des valeurs uniques ou des étendues (RANGE). Ne pas les combiner. De plus C comprend D et E, ce qui élimine presque certainement D et E.

Échelle numérique variable Après un deuxième épisode d’infection pelvienne, quelle est la probabilité pour une femme d’être infertile? A Moins de 20% B 20 à 30% C Plus de 50% D 90% E 75% Présenter des valeurs uniques ou des fourchettes (étendue). Ne pas les combiner. De plus C comprend D et E, ce qui élimine presque certainement D et E. Placer les choix dans un ordre logique, par exemple par ordre croissant.

Termes vagues dans les compléments L’obésité morbide au début de l’adolescence A Répond habituellement de façon dramatique au régime hypocalorique B Est souvent relié à une atteinte endocrinienne C Se résoudra spontanément dans 75% des cas D Présente un mauvais pronostique E Répond rarement à la pharmacothérapie et à la psychothérapie intense

« Aucun des choix » Le diagnostique d’une masse ovarienne importante est le plus probable, si il y a A Une matité antérieure B Un péristaltisme diminué C Signe du flot D Une matité mobile E Aucun des énoncés Si le professeur souhaite que la réponse soit A,B,C ou D, les étudiants « experts » peuvent faire face à un dilemme, qu’arrive-t-il s’ils connaissent une réponse qui est meilleur que la meilleure de options présente? On transforme la question en Vrai ou Faux, or la question mentionne « le plus probable ».

« Aucun des choix » Le diagnostique d’une masse ovarienne importante est le plus probable, s’il y a A Une matité antérieure B Un péristaltisme diminué C Signe du flot D Une matité mobile E Aucun des énoncés Si le professeur souhaite que la réponse soit A,B,C ou D, les étudiants « experts » peuvent faire face à un dilemme, qu’arrive-t-il s’ils connaissent une réponse qui est supérieure à la meilleure de options présentes?

Item intriqué ou trop complexe Placer les parents des enfants trisomiques (XXI) par ordre décroissant de risque de récurrence. Supposez que l’âge maternel est 22 ans et que la prochaine grossesse surviendra au cours des 5 prochaines années. Les karyotypes des filles sont les suivants : I 46, XX, -14, +T (14q21q) pat II 46, XX, -14, +T (14q21q) de novo III 46, XX, -14, +T (14q21q) mat IV 46, XX, -21, +T (14q21q) pat V 47, XX, -21, +T (21q21q) (pas de karyotype parental) A III, IV, I, V, II B IV, III, V, I, II C III, I, IV, V, II D IV, III, I, V, II E III, IV, I, II, V

Lien entre les réponses de deux questions apparentées La réponse à une question plus facile sert d’indice pour répondre à une question plus difficile.

À préciser

Langage non analogue, ordre illogique des compléments Lors d’un essai vaccinal, 200 garçons de 2 ans ont reçu un vaccin contre une maladie « x », puis ont été observé pendant 5 ans pour évaluer l ’apparition de la maladie. Du groupe, 85% n’ont jamais fait la maladie. Lequel des énoncés suivants, portant sur ces résultats est correct? A Aucune conclusion ne peut être tirée, le suivi ayant porté sur des nfants non vaccinés B Le nombre de cas (ie, 30 cas en 5 ans) est trop petit pour avoir être statistiquement significatif C Aucune conclusion ne peut être tirée parce que l’étude ne portait que sur des garçons D L’efficacité vaccinale (%) est de 85 - 15/100

Basé NBME... Pourquoi?  Depuis 1916 1916 1922 1951 Examen de 5 jours: écrit, oral, labo et clinique 1922 Part I: 3 j. développement sc. base, Part II: 2 j. développement sc. cliniques Part III: 1 j. oral au chevet de patients 1951 Recherche de 3 ans sur comparaison QCR vs développement

Basé NBME Pourquoi?  Depuis 1916 1953 Part I & II  QCR Part III variable ad début des années ‘60 Après avoir principalement utilisé A, B, C & K On utilise maintenant A & R

Pourquoi faire un examen? Indiquer aux étudiants la matière importante. Motiver les étudiants à étudier. Identifier les domaines où les connaissances sont insuffisantes  étude supplémentaire. Déterminer notes finales et/ou promotion. Identifier les faiblesses du cours/curriculum.

Sur quoi questionner? Sur ce qui est en relation avec les objectifs. Plus d’emphase sur les sujets importants. Temps alloué, proportionnel à l’importance. Sur ce qui est important, éviter la trivialité.

Vrai/faux Une question incorrecte En résumé La vignette manque de précision Les compléments comportent des termes vagues. Les compléments sont partiellement corrects. Il n’y aurait pas consensus dans un groupe d’experts.

Vrai/faux Une question incorrecte Chez l’enfant, les anomalies du septum inter-ventriculaires sont associées à: 1- Un souffle systolique. 2- De l’hypertension pulmonaire. 3- La tétralogie de Fallot. 4- La cyanose. Le problème est que l’étudiant doit présumer de la sévérité de la maladie, de l’âge, et de la thérapie du patient.

Éviter les vrais/faux. Ont plus souvent besoin d’être réécrites. La difficulté, inhérente au fait que l’on recherche des compléments vraiment vrai ou faux, entraîne une dérive vers le rappel de faits isolés et la trivialité. Éviter les questions utilisant la forme négative. (Parmi les éléments suivants, lequel n’est pas exact?) Sont difficile à placer sur un continuum. Si l’on veut faire choisir plus d’un élément, utiliser une question de type « choisir N items » (Pick N Items).