La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Normes pour la rédaction et la correction de questions QCR, QROC et de problèmes à éléments-clé. Michel Girard MD MHPE FRCP(C) Directeur Serge Normand.

Présentations similaires


Présentation au sujet: "Normes pour la rédaction et la correction de questions QCR, QROC et de problèmes à éléments-clé. Michel Girard MD MHPE FRCP(C) Directeur Serge Normand."— Transcription de la présentation:

1 Normes pour la rédaction et la correction de questions QCR, QROC et de problèmes à éléments-clé. Michel Girard MD MHPE FRCP(C) Directeur Serge Normand MA Docimologue Bureau dévaluation Faculté de médecine

2 Plan u Historique u Pourquoi les QCR? u Vrai/faux vs « La meilleure réponse » u Vrai/faux u Les niveaux taxonomiques simplifiés u La meilleure réponse, type u QROC u Problèmes à éléments-clé (Q4) u Quelques conseils pour la correction

3 Historique NBME Questions à développement et orales Différents types de questions QCR (A, B, C & K)BC K) On utilise maintenant les questions type A & R Historique plus détaillé

4 NBME u Questions de type A – A: La meilleure réponse, une seule (One-best-answer)

5 Pourquoi QCR? u Problème déchantillonnage – Nature et la taille de léchantillon qui déterminent si lestimé que lon fait est Reproductible: fiable, généralisable Précis: valide – Uniquement questions SCV pour un examen de md fam. – Trop peu de questions

6 Pourquoi QCR? u Problème déchantillonnage – Échantillon doit être évalué sur une seule variable étudiant QCM: Ordinateur corrige réponses QROC: Professeur(s) corrige(nt) réponses

7 Un exemple Histoire de la médecine Résultat du travail par groupe GroupeMoyenne 124,1 230,0 328,7 425,3 526,1 626,0 727,5 826,6 927,5 Total26,9 Travail écrit de 5 pages. Chaque professeur a corrigé les travaux de son groupe. 15 étudiants/groupe Note maximale: 30 Les étudiants du groupe 1 croient que leur professeur a été trop sévère. En fait, le problème

8 Combien de questions? En combien de temps? u Dépend de limportance de lexamen. u Si on recherche validité et la fiabilité: – Douzaine de cas cliniques ou plus (ECOS). – Centaine ou plus de QROC ou QCR. u En donnant aux étudiants le temps quil faut pour répondre. Environ 1 min. par question, plus sil sagit de questions difficiles ou comportant de longues vignettes.

9 Seulement QCR? NON LÉVALUATION DOIT ÊTRE MULTIMODALE QCR Simulation PMP ECOS Raisonnement clinique (Q4) Patient simulé Opinion du patient Observation directe QROC … et encore Concordance de scripts Questions à développement Simulateur Portfolio Carnet de route Examens oraux

10 Vrai/faux vs la meilleure réponse. u Vrai ou faux – C, K, X, PMPsK u La meilleure réponse – A: la meilleure réponse de 5 énoncés – B B – R: appariement détaillé – Q4: problèmes à éléments-clé

11 Vrai/faux u Le problème est que létudiant doit décider ce qui est absolument faux ou vrai. u Alors que lon suggère déviter les absolus comme « toujours » ou « jamais ». u Il est difficile décrire des compléments qui sont absolument vrai ou faux, sans tomber dans la futilité.

12 Vrai/faux Une question correcte u Lequel (ou lesquels) des éléments suivants est (sont) une atteinte récessive liée à lX? 1-Hémophilie A 2-Fibrose kystique 3-Dystrophie musculaire de Duchesne 4-Maladie de Tay-Sachs

13 Vrai/faux Une question possible u Lequel (ou lesquels) des éléments suivants est (sont) une atteinte récessive liée à lX? 1-Hémophilie A 2-Fibrose kystique 3-Dystrophie musculaire de Duchesne 4-Maladie de Tay-Sachs Absolument fauxAbsolument vrai

14 Vrai/faux Une question « incorrecte » u Les énoncés vrais sur la fibrose kystique sont: 1-Lincidence de la maladie est 1: Les enfants en meurent habituellement durant ladolescence. 3-Les mâles atteints sont stériles. 4-La maladie est autosomique et récessive Le problème est quun groupe dexperts ne sentendrait pas sur 1, 2 et 3.

15 En résumé... u La vignette doit être claire et sans ambiguïté, évitez les termes – imprécis, comme: est associé à, est utile pour, est important. – qui orientent létudiant: toujours, jamais, peut, pourrait être. – vagues, comme: fréquemment, habituellement, souvent, rarement, etc.

16 Les niveaux taxonomiques simplifiés

17

18

19 La meilleure réponse Type A u Ici, toutes les réponses peuvent être vraies. u Elles se situent sur un continuum de vérité. u Une des réponses est la plus exacte.

20 Type A 3 parties u Vignette (Stem) – Vignette, en général, clinique u Question (Lead-in) – Détermine le choix à faire parmi les compléments u Compléments (Options) – Les choix

21 Type A 3 parties Vignette (Stem) Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8 C, son pouls est 94/min, … Question (Lead-in) Parmi les diagnostics suivants, quel est le plus probable? Compléments (Options) A-Encéphalomyélite aiguë disséminée B-Syndrome de Guillain-Barré C-Myasténie grave D-Polyomyélite E-Polymyosite D C A E B La moins correcte La plus correcte On peut répondre sans consulter les compléments.

22 Type A 3 parties u Vignette (Stem) – Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles du visage et des muscles proximaux et distaux des extrémités. La sensibilité est normale. Les réflexes ostéo-tendineux sont absents. Les réflexes plantaires sont en flexion. u Question (Lead-in) – Quel est le diagnostic le plus probable? On peut répondre sans consulter les compléments.

23 Type A 3 parties (question incorrecte) u Vignette (Stem) u Question (Lead-in) – À propos de la pseudogoutte, quest-ce qui est vrai? u Compléments (Options) A. Est fréquente chez les femmes. B. Est rarement associée à de la douleur articulaire aiguë. C. Peut être associée à de la chondrocalcinose. D. Est clairement héréditaire dans la plupart des cas. E. Répond bien à lallopurinol. Les compléments ne se situent pas sur un continuum de vérité, ils explorent des dimensions différentes, ei genre, manifestations, génétique et traitement. On ne peut répondre sans consulter les compléments. Cette question ne fait appel quà la mémoire et névalue pas lapplication des connaissances.

24 Défauts techniques u Prévenir les gains associés à la perspicacité du répondant, le petit futé. u Éviter la difficulté hors de propos.

25 Perspicacité du répondant le petit futé u Indices grammaticaux. u Indices logiques. u Les termes absolus. u La longueur dun complément qui pointe vers la bonne réponse. u Répétition de mots. u La stratégie utilisant la convergence des indices. Type K

26 Difficulté hors de propos u Compléments longs, complexes ou double. u Échelle numérique variable. u Termes vagues dans les compléments. u Complément utilisant: « Aucun des choix ». u Item intriqué ou trop complexe. u Lien entre les réponses de deux questions apparentées.

27 La meilleure réponse... Type A - Les règles de base u Chaque item porte sur un concept important, de par sa fréquence ou sa dangerosité. Éviter la trivialité, les pièges ou les questions inutilement complexes. u Chaque question doit évaluer lapplication des connaissances et non leur rappel. u La question doit être claire et on doit pouvoir y répondre sans lire les compléments, doù l importance de la vignette. Éviter les doubles négations. u Les distracteurs doivent être homogènes, grammaticalement semblables, plausibles, de longueur équivalente, logiquement compatibles, au contenu univoque (éviter « faire X et Y ») sauf si tous idem, placé en ordre logique. u Éviter les questions qui favorisent les petits futés ou qui posent des difficultés hors de propos. u Éviter les questions du type: « Identifiez laffirmations correcte. » ou « Toutes les affirmations qui suivent sont vraies sauf: »

28 …des vignettes homogènes et... u Age, sexe, (Un homme de 45 ans) u Lieu (se présente à lurgence, au cabinet…) u Raison de consultation (se plaint de céphalées…) u Durée (depuis 2 jours…) u Histoire médicale (histoire familiale au besoin) u Examen physique (éléments positifs ou négatifs) u +/- Résultats de laboratoire u +/- Traitement initial, évolution, etc

29 Une relation correcte entre la vignette et les compléments Vignette longue Complément court Les compléments ne doivent pas transmettre de nouvelle information. Il ne devrait pas y avoir de verbe.

30 Variation u On peut à partir dune vignette poser plus dune question: Vignette, en général clinique Question #1 Complément Question #2 Complément Question #4 Complément Question #3 Complément Mais attention, pour réussir #4, faut-il avoir réussi 1, 2 et 3?

31 La meilleure réponse... Type A - Sciences de base u Le piège est la tendance évaluer le rappel. – Rappel: Lartère cérébellaire postéro-inférieure irrigue quelle partie du cerveau? – Application: Un homme de 62 ans développe une ataxie du côté gauche, un syndrome de Horner, un nystagmus et une perte de la sensation de douleur et du froid au niveau du visage. Quelle artère est, le plus probablement, atteinte?

32 La meilleure réponse... Type A - Sciences cliniques u Quelques détails sur les vignettes – Utilisation de véritables cas cliniques: risqué, souvent trop compliqué. – Matériel de référence: fournir ce qui est habituellement disponible en clinique (ei normales) – Utiliser des termes médicaux, plutôt que ceux du patient. – Les patients ne mentent pas dans les QCR (ei. consommation dalcool).

33

34 QROC Question à Réponse Ouverte et Courte Une femme de 62 ans est hospitalisée pour des maux de tête d'apparition récente, accompagnés de diplopie. Une année auparavant, on a diagnostiqué qu'elle souffrait d'un lymphome diffus à grandes cellules et de stade III. La polychimiothérapie associant doxorubicine (Adriamycine), vincristine et prednisone, a entraîné une rémission complète; elle a été cessée après six cycles. Au cours de la présente hospitalisation, les examens complémentaires, dont la ponction lombaire, ont diagnostiqué une lymphomatose méningée. Il n'y a pas de récidive du lymphome à d'autres endroits. Énumérez trois modalités thérapeutiques disponibles, pour cette patiente : a)________________________________________________________ b)________________________________________________________ c)________________________________________________________

35 QROC Question à Réponse Ouverte et Courte u Il s'agit d'une question à laquelle on peut répondre en quelques mots ou phrases. u Dans le cas dune question comportant des sous-questions, la réponse à chacune de celles-ci doit pouvoir être exprimée en quelques mots ou phrases.

36 QROC Question à Réponse Ouverte et Courte u QROC question à développement court – réponse plus longue et moins structurée, une ou deux phrases à un ou deux paragraphes. « Discutez des avantages du traitement XYZ pour le problème ABC. »

37 QROC Avantages u Comparativement à la question à développement long ou court, – la correction plus facile et moins subjective – laisse très peu de place à l'interprétation u Comparativement au QCR, – plus facile à créer, mais plus exigeante à corriger.

38 QROC Conseils pour leur rédaction u Utilisez des questions auxquelles on peut répondre d'une façon réaliste en quelques mots ou phrases. En général, chaque question ou sous-question ne devrait demander qu'un seul élément d'information. Ainsi, la question suivante : « Quel est le diagnostic le plus probable et quel traitement recommandez-vous? » devrait être scindée en deux questions distinctes.

39 QROC Conseils pour leur rédaction u Prévoir dans les espaces réservés aux réponses le nombre suffisant de lignes ou autres repères de façon à indiquer l'étendue de la réponse.

40 QROC Conseils pour leur rédaction u Utilisez soit des questions directes « Quel est le meilleur traitement de...? », soit des verbes très spécifiques tels que « nommer », « indiquer les grandes lignes de... », « décrire ». Évitez le verbe « discuter » Lorsqu'on utilise des verbes, tels que « décrire », « indiquer les grandes lignes de... », il importe d'ajouter certaines indications quant aux limites de la réponse attendue (par exemple « décrivez brièvement », « indiquez brièvement les grandes lignes... »).

41 QROC Conseils pour leur rédaction u Parfois, il peut être nécessaire de préciser ce qui ne doit pas apparaître dans la réponse (exemple : « Indiquez un traitement couramment accepté dans ce cas. Soyez spécifique; les doses, les horaires et champs d'application du traitement ne sont pas requis »). Il faut sefforcer de bien mettre en évidence le critère visé dans la correction de la question.

42 QROC Conseils pour leur rédaction u Prenez soin de ne pas fournir d'indices quant à la réponse à la question. Voici un exemple d'une question qui nen fournit pas : « Quel(s) examen(s) complémentaire(s) additionnel(s) pourrait(aient) être requis, en vue de la décision thérapeutique? », par opposition à la question suivante : « Quels examens complémentaires allez-vous faire avant de décider du traitement? ».

43 QROC Conseils pour leur rédaction u La valeur de chaque question (valeur relative dans l'épreuve avec questions à réponse courte) et, dans le cas d'une question avec sous-questions, la valeur de chaque sous question, doivent être déterminées à lavance et indiquées sur la feuille de réponse du candidat.

44 QROC Conseils pour leur rédaction u Pour chaque question ou sous-question, il faut établir la notation pour la(les) réponse(s) acceptable(s), les réponses qui ne sont pas acceptables de même que pour les réponses qui, tout en n'étant pas la meilleure réponse, nen sont pas moins acceptables.

45 QROC Conseils pour leur rédaction u Si une seule réponse doit être considérée comme acceptable, lénoncé de la question doit être très spécifique sur ce point. Voici quelques exemples : « Quel est le meilleur traitement...? », « Quel est... le plus souvent utilisé... ? », « Quel est le diagnostic le plus probable? ».

46 QROC Conseils pour leur rédaction u Autant que possible, la longueur des scénarios (« vignettes cliniques ») doit être proportionnelle à la valeur attribuée aux questions.

47 QROC Conseils pour leur rédaction u Les scénarios cliniques doivent être préparés en tenant compte du niveau de formation de létudiant.

48 QROC Conseils pour leur rédaction u Bien que la conception initiale des modèles de réponses puisse être confiée à un seul professeur, il importe cependant, pour en assurer la validité, de faire appel à lexpertise d'autres professeurs.

49

50 Problèmes à éléments-clé (Q4) u La mesure de la compétence serait plus valide si les questions posées relativement à chaque problème dun examen étaient centrées sur les quelques éléments spécifiques et essentiels ayant une importance fondamentale pour la résolution du problème – ses éléments-clé.

51 Problèmes à éléments-clé (Q4) u Thème – Diarrhée u Éléments-clé – Reconnaître une déshydratation (évalué) et son degré de gravité (non évalué). – Prendre en charge une déshydratation dune façon appropriée. – Estimer la transmissibilité possible de la maladie sous-jacente (dissémination dans la famille/à lhôpital, possibilité dune source commune).

52 Problèmes à éléments-clé (Q4) u Un problème à éléments-clé comprend typiquement un énoncé de cas, suivi de deux ou trois questions visant à évaluer uniquement les aspects fondamentaux (« éléments-clé ») de la résolution du problème.

53 Problèmes à éléments-clé (Q4) u Une mère de trois enfants, âgée de 35 ans, vous consulte à votre cabinet à 17 h en raison dune diarrhée aqueuse grave. Lors de linterrogatoire, elle dit quelle est malade depuis environ 24 heures. Elle a eu quinze selles liquides au cours des dernières 24 heures, elle a des nausées, mais elle ne vomit pas. Elle travaille le jour comme cuisinière dans un établissement de soins de longue durée, mais elle a quitté le travail pour venir vous consulter. Votre infirmière a inscrit dans son dossier les données suivantes : tension artérielle au repos à 105/50 mm Hg en position couchée (pouls de 110/minute) et à 90/40 en position debout, et température orale de 36,8 °C. À lexamen clinique, vous observez que ses muqueuses sont sèches et que les bruits intestinaux sont présents. Lexamen des urines (examen microscopique) était normal, avec une densité de

54 Problèmes à éléments-clé (QROC) À quels problèmes cliniques accorderez-vous le plus dimportance lors de la prise en charge initiale de cette patiente? Inscrivez-en jusquà trois. ____________________________________

55 Problèmes à éléments-clé (question à menu court) u Comment devriez-vous traiter cette patiente à ce moment-ci? Choisissez jusquà trois réponses. – 1- Médicament antidiarrhéique – 2- Médicament antiémétique – 3- Solution de NaCl à 0,9 % par voie intraveineuse – 4- Solution 2/3 pour 1/3 par voie intraveineuse – 5- Gentamicine par voie intraveineuse – 6- Métronidazole par voie intraveineuse – 7- Solution de lactate Ringer par voie intraveineuse – 8- Sonde naso-gastrique et aspiration – 9- Rien par la bouche – 10- Ampicilline par voie orale – 11- Chloramphénicol par voie orale – 12- Liquides par voie orale – 13- Sonde rectale – 14- Renvoi à la maison et suivi diligent – 15- Consultation en chirurgie – 16- Hospitalisation

56 Problèmes à éléments-clé (question à menu court) u Après avoir pris en charge laffection aiguë de cette patiente, quelles mesures additionnelles, sil y a lieu, prendriez-vous? Choisissez jusquà quatre réponses ou choisissez le numéro 11, Aucune, si aucune mesure nest indiquée. – 1- Recommandation déviter les produits laitiers – 2- Coloscopie – 3- Mesures de prévention entériques – 4- Consultation en gastro-entérologie – 5- Administration dimmunoglobulines sériques aux patients de létablissement de soins de longue durée – 6- Consultation dun spécialiste en maladies infectieuses – 7- Déclaration à la Direction de la santé publique – 8- Coprocultures – 9- Isolement rigoureux de la patiente – 10- Absence temporaire du travail – 11- Aucune

57 Problèmes à éléments-clé Étapes de construction 1- Choisir un problème clinique (et un groupe dâge). 2- Poser la question : « Quelles sont les étapes essentielles de la résolution de ce problème (chez des patients dans ce groupe dâge)? » 3- Penser à des exemples – des patients qui présentent ce problème de façons différentes. 4- Inscrire les éléments-clé ayant trait à ces patients, certains propres à des patients particuliers, dautres communs à tous les patients. 5- Choisir un cas, écrire lénoncé du cas. 6- Écrire des questions qui sont fondés sur les éléments-clé du cas et établir la notation.

58

59 Correction (QCR) u Déterminer à lavance la meilleure réponse u Il ny a pas davantage à utiliser une correction négative (punitive)

60 Correction (QROC) u Déterminer à lavance les bonnes réponses et les réponses acceptables mais qui mériteront un pointage partiel u Prévoir un pointage partiel pour les réponses incomplètes u Si l étudiant vous propose 4 réponses alors que vous en demandez 3: la note est 0. u NE PAS corriger les copies de chaque étudiant une après lautre

61 Correction (QCR: Q 1 à 50 et QROC: Q 51 à 74) Prof #1 Q: 52, 53 & 60 Prof #2 Q: 61, 70 & 71 Prof #3 Q: 54 Prof #4 Q: 55, 56, 57 & 58 Prof #8 Q: 51, 63 & 64 Prof #7 Q: 59, 62 & 65 Prof #6 Q: 66, 67, 68 & 69 Prof #5 Q: 72, 73 & 74

62 Conclusion u Contrôler les qualités docimologiques des questions u Former les rédacteurs ditems u Mettre de lemphase sur la prise de décision clinique vs rappel u Pré-valider les nouvelles questions

63 ATTENTION!!! Pour tous les types de questions, faites les lire par un/une collègue.

64

65 Type R, appariement détaillé (Extended matching) u Un item en quatre parties: – Un thème – Des compléments, de 3 à 26 – Question ou directive – Vignettes

66 Type R (1 de 2) Thème:Fatigue Compléments: A:Leucémie aiguëH:Sphérocytose congénitale B:Anémie des mal. chroniquesI:Hypothyroïdie C: Insuffisance cardiaqueJ:Déficit en fer D:DépressionK:Maladie de Lyme E:Infection virus Epstein-BarrL:Anémie hémol. microangio. F:Déficit en folateM:Tuberculose miliaire G: Déficit en G-6-PDN: Déficit en Vitamine B 12 Évitez les abréviations

67 Type R (2 de 2) Question: Pour chacun des patients, présentant de la fatigue, choisir le diagnostique le plus probable. Vignettes: 1.Une femme de 19 ans décrit de la fatigue, de la fièvre et un mal de gorge depuis une semaine. Sa température est 38,3C. Elle présente les adénopathies cervicales et une splénomégalie. Le décompte des leucocytes est 5000/mm 3 (80% lympho. dont plusieurs présentent des atypies) … Autres labo... 2.Un garçon de 15 ans décrit de la fatigue et de la douleur au dos depuis 2 semaines. Il est couvert decchymoses, est pâle et ses vertèbres et fémurs sont sensibles à la palpation. Lhémoglobine est à 70 g/L, les leucocytes à 2000/mm 3 et les plaquettes à15,000 mm 3.

68 Type R u On suggère décrire litem dans lordre suivant: – Thème – Question – Compléments – Vignettes

69 Type R u Les règles de base sont les mêmes que pour les question de Type A, la meilleure réponse – On devrait pouvoir répondre aux questions sans avoir à lire les compléments. u Vignettes doivent être homogènes u Une seule meilleure réponse u Nombre de compléments – De 3 à 26, mais en général, au moins 4 bons distracteurs plausibles par vignette. – La plupart des compléments devrait être utilisée.

70 Appariement détaillé à plusieurs choix (Pick N Items) u Idem au type R, mais on choisit plus dune réponse. – Il faut indiquer le nombre de réponses à choisir. Sinon, la question se transforme en Vrai/Faux. – En général, on recommande une notation proportionnelle au nombre de bonnes réponses. – Si ce nest pas possible, limiter le nombre de réponses à 2 ou 3.

71 Appariement détaillé à plusieurs choix (1 de 2) Thème:Investigation de la fièvre chez lenfant Compléments: A:A & C du LCRF:Analyse durine B:HémocultureG:Culture durine C: Formule sanguine complèteH:R-X de labdomen D:Examen des selles pour leucocytesI:R-X du thorax E:Détermination des électrolytes sanguin Évitez les abréviations

72 Appariement détaillé à plusieurs choix (2 de 2) Question: Pour chaque enfant qui présente de la fièvre, choisissez les tests diagnostiques initiaux appropriés. Vignettes: 1.Une fillette de 1 an, auparavant en bonne santé, est emmenée à la salle durgence pour de la fièvre depuis 24 hres. Sa T est de 41C. Par ailleurs, elle est asymptomatique. Lexamen physique est normal. (CHOISISSEZ 4 ÉPREUVES DE LABORATOIRE) 2. Un n-né de 10 jours, auparavant en bonne santé, est emmené à la salle durgence pour de la fièvre depuis 2 hres. Il est né à terme, suite à une grossesse normale. Sa T est de 39C. Lexamen physique est normal. (CHOISISSEZ 6 ÉPREUVES DE LABORATOIRE) 1.Un garçon de 7 ans, souffrant danémie falciforme, est emmenée à la salle durgence pour de la fièvre depuis 24 hres et des douleurs thoraciques depuis 1 hre. Sa T est de 39,5C. Le murmure vésiculaire est diminué à la base gauche, il est eupnéique. (CHOISISSEZ 3 ÉPREUVES DE LABORATOIRE)

73

74 Pour chaque chiffre choisir la lettre la mieux associée. Chaque lettre peut être utilisée de 0 à plusieurs fois Pas de vignette. Parfois tâche + ou - claire. Remplacée récemment par type R. Type B A- Coactation de laorte B-Persistance du canal artériel C-Tétrallogie de Fallot D-Anneau vasculaire aortique D-Atrésie tricuspidienne 1-Amélioré par shunt art. syst/pulm. 2-Patho cong la plus fréq. 3-Corrigé par résection chir et anast. bout-à-bout. 4-Cause possible de dysphagie chez lenfant 5-HyperTA m.sup et hypoTA m.inf

75 Type C A- Éosinophillie* B-Plasmocytose* C-Lymphocytose* * cliniquement significative 1-Trichinose 2-Myélome multiple 3-Syndrome de Loeffler 4-Maladie de Hodgkin 5-Schistosomiase Deux réponses: 1: 4 des 5 items à droite sont reliées à une des catégories à gauche. Laquelle? 2: Indiquer litem qui ne fait pas partie du groupe. Pas de vignette. Questions difficiles à produire. Directives complexes. Format non discriminant.

76 Type K Un enfant qui souffre dune crise aiguë de fièvre rhumatismale présente habituellement (1) un temps de sédimentation allongé (2) un intervalle PR allongé (3) un titre dantistreptolysine O élevé (4) des nodules sous-cutanés

77 Type K Ont déjà été les questions les plus utilisées. Trop complexe, doit se souvenir du code de réponse. Difficile décrire de bons items VRAI ou FAUX. De plus, le VRAI ou FAUX ne peuvent tester le jugement clinique. Les liens entre les questions diminuaient la discrimination et la validité. 1=faux + 2=vrai C, 1=vrai + 2=faux B 4=vrai + 3=faux D, 4=faux + 2=faux B

78 Indices grammaticaux On retrouve un homme de 60 ans inconscient sur la rue. À lurgence, une fois les voies aériennes sécurisées, le premier geste à poser est ladministration intraveineuse de ALexamen du LCR BGlucose et vitamine B1 (thiamine) CTomographie axiale du crane DPhénytoin EDiazépam Ceci se produit parce que lorsque lon écrit une question, on porte plus attention à la bonne réponse quaux distracteurs.

79 Indices grammaticaux On retrouve un homme de 60 ans inconscient sur la rue. À lurgence, une fois les voies aériennes sécurisées, le premier geste à poser est ladministration intraveineuse de ALexamen du LCR BGlucose et vitamine B1 (thiamine) CTomographie axiale du crane DPhénytoin EDiazépam Ceci se produit parce que lorsque lon écrit une question, on porte plus attention à la bonne réponse quaux distracteurs.

80 Les indices logiques Le crime est AÉgalement représenté dans toutes les couches sociales BSurreprésenté chez les pauvres CSurreprésenté dans les classes moyennes et riches DEst dabord une indication de mésadaptation sociale ESur le point de dépasser la tolérance de la population A, B et C comprennent toutes les options. D et E ne font pas partie dun continuum avec A, B et C On aura le même problème si les options comprennent « augmente », « diminue » et « naffecte pas »

81 Les indices logiques Le crime est AÉgalement représenté dans toutes les couches sociales BSurreprésenté chez les pauvres CSurreprésenté dans les classes moyennes et riches DEst dabord une indication de mésadaptation sociale ESur le point de dépasser la tolérance de la population A, B et C comprennent toutes les options. D et E ne font pas partie dun continuum avec A, B et C On aura le même problème si les options comprennent « augmente », « diminue » et « naffecte pas »

82 Les termes absolus Chez les patients souffrant dune démence sévère, de type Alzheimer, latteinte de la mémoire APeut être traitée adéquatement avec de la phosphatidylcholine (lécithine) BPourrait être une séquelle du parkinsonisme précoce CNest jamais retrouvé chez les patients avec ???? à lautopsie DNest jamais sévère EPourrait impliquer le système cholinergique Éviter les absolus. Il y a moins de chances davoir ce problème, si on utilise une vignette plus précise et on évite les verbes dans les compléments.

83 Les termes absolus Chez les patients souffrant dune démence sévère, de type Alzheimer, latteinte de la mémoire APeut être traitée adéquatement avec de la phosphatidylcholine (lécithine) BPourrait être une séquelle du parkinsonisme précoce CNest jamais retrouvé chez les patients avec ???? à lautopsie DNest jamais sévère EPourrait impliquer le système cholinergique Éviter les absolus. Il y a moins de chances davoir ce problème, si on utilise une vignette plus précise et on évite les verbes dans les compléments.

84 La longueur du complément qui pointe vers la bonne réponse Le gain secondaire est Asynonyme de simulation Bfréquemment associé aux problèmes obsessifs-compulsifs Cune complication associée à plusieurs maladies et qui tend à en prolonger plusieurs au delà de la durée normale Djamais vu dans les syndromes organiques cérébraux

85 Répétition de mots u Par exemple, une question porte sur des douleurs osseuses et une des réponses comporte le terme ostéo...

86 La stratégie utilisant la convergence des indices Les anesthésiques locaux sont efficaces dans leur forme Aforme anionique, agissant du côté intracellulaire de la membrane Bforme cationique, agissant du côté intracellulaire de la membrane Cforme cationique, agissant du côté extracellulaire de la membrane Dforme base, agissant du côté intracellulaire de la membrane Eforme base, agissant du côté extracellulaire de la membrane Anionique napparaît quune fois, 2 intracell. vs 3 extracell. donc extra Reste B et D, parce quil y a plus déléments impliquant une charge, B.

87 La stratégie utilisant la convergence des indices Les anesthésiques locaux sont efficaces dans leur forme Aforme anionique, agissant du côté intracellulaire de la membrane Bforme cationique, agissant du côté intracellulaire de la membrane Cforme cationique, agissant du côté extracellulaire de la membrane Dforme base, agissant du côté intracellulaire de la membrane Eforme base, agissant du côté extracellulaire de la membrane Anionique napparaît quune fois, 2 intracell. vs 3 extracell. donc extra Reste B et D, parce quil y a plus déléments impliquant une charge, B.

88 Compléments longs, complexes ou double Les comités de discipline des hôpitaux peuvent prendre action pour limiter les privilèges hospitaliers dun médecin. Toutefois, dans le contexte de laccomplissement de leur mandat, ces comités doivent assurer au médecin un processus juste et équitable. Un processus juste et équitable doit inclure lesquels des éléments suivants? AUn avis, un forum impartial, un avocat, lopportunité dentendre et discuter de la preuve déposée contre lui/elle. BUn avis adéquat, un tribunal habileté à prendre une décision, lopportunité de confronter les témoins à charge et la possibilité de faire une preuve en défense. CUn avis raisonnable et en temps opportun, un comité impartial et habileté à prendre une décision, la possibilité dentendre la preuve déposée contre lui/elle et de confronter les témoins à charge et la possibilité de faire une preuve en défense. La vignette comporte de la lecture sans relation avec la résolution du problème. Les compléments sont trop longs et complexe. On recommande de faire des compléments courts. La vignette peut être longue, surtout si on veut évaluer la capacité de létudiant à synthétiser linformation.

89 Compléments longs, complexes ou double Les comités de discipline des hôpitaux peuvent prendre action pour limiter les privilèges hospitaliers dun médecin. Toutefois, dans le contexte de laccomplissement de leur mandat, ces comités doivent assurer au médecin un processus juste et équitable. Un processus juste et équitable doit inclure lesquels des éléments suivants? AUn avis, un forum impartial, un avocat, lopportunité dentendre et discuter de la preuve déposée contre lui/elle. BUn avis adéquat, un tribunal habileté à prendre une décision, lopportunité de confronter les témoins à charge et la possibilité de faire une preuve en défense. CUn avis raisonnable et en temps opportun, un comité impartial et habileté à prendre une décision, la possibilité dentendre la preuve déposée contre lui/elle et de confronter les témoins à charge et la possibilité de faire une preuve en défense. La vignette comporte de la lecture sans relation avec la résolution du problème. Les compléments sont trop longs et complexe. On recommande de faire des compléments courts. La vignette peut être longue, mais pertinente, surtout si on veut évaluer la capacité de létudiant à synthétiser linformation. Une façon de prévenir ceci est de ne pas utiliser de verbe dans les compléments.

90 Échelle numérique variable Après un deuxième épisode dinfection pelvienne, quelle est la probabilité pour une femme dêtre infertile? AMoins de 20% B20 à 30% CPlus de 50% D90% E75% Présenter des valeurs uniques ou des étendues (RANGE). Ne pas les combiner. De plus C comprend D et E, ce qui élimine presque certainement D et E.

91 Échelle numérique variable Après un deuxième épisode dinfection pelvienne, quelle est la probabilité pour une femme dêtre infertile? AMoins de 20% B20 à 30% CPlus de 50% D90% E75% Présenter des valeurs uniques ou des fourchettes (étendue). Ne pas les combiner. De plus C comprend D et E, ce qui élimine presque certainement D et E. Placer les choix dans un ordre logique, par exemple par ordre croissant.

92 Termes vagues dans les compléments Lobésité morbide au début de ladolescence ARépond habituellement de façon dramatique au régime hypocalorique BEst souvent relié à une atteinte endocrinienne CSe résoudra spontanément dans 75% des cas DPrésente un mauvais pronostique ERépond rarement à la pharmacothérapie et à la psychothérapie intense

93 « Aucun des choix » Le diagnostique dune masse ovarienne importante est le plus probable, si il y a AUne matité antérieure BUn péristaltisme diminué CSigne du flot DUne matité mobile EAucun des énoncés Si le professeur souhaite que la réponse soit A,B,C ou D, les étudiants « experts » peuvent faire face à un dilemme, quarrive-t-il sils connaissent une réponse qui est meilleur que la meilleure de options présente? On transforme la question en Vrai ou Faux, or la question mentionne « le plus probable ».

94 « Aucun des choix » Le diagnostique dune masse ovarienne importante est le plus probable, sil y a AUne matité antérieure BUn péristaltisme diminué CSigne du flot DUne matité mobile EAucun des énoncés Si le professeur souhaite que la réponse soit A,B,C ou D, les étudiants « experts » peuvent faire face à un dilemme, quarrive-t-il sils connaissent une réponse qui est supérieure à la meilleure de options présentes?

95 Item intriqué ou trop complexe Placer les parents des enfants trisomiques (XXI) par ordre décroissant de risque de récurrence. Supposez que lâge maternel est 22 ans et que la prochaine grossesse surviendra au cours des 5 prochaines années. Les karyotypes des filles sont les suivants : I46, XX, -14, +T (14q21q) pat II46, XX, -14, +T (14q21q) de novo III46, XX, -14, +T (14q21q) mat IV46, XX, -21, +T (14q21q) pat V47, XX, -21, +T (21q21q) (pas de karyotype parental) AIII, IV, I, V, II BIV, III, V, I, II CIII, I, IV, V, II DIV, III, I, V, II EIII, IV, I, II, V

96 Lien entre les réponses de deux questions apparentées u La réponse à une question plus facile sert dindice pour répondre à une question plus difficile.

97 À préciser

98 Langage non analogue, ordre illogique des compléments Lors dun essai vaccinal, 200 garçons de 2 ans ont reçu un vaccin contre une maladie « x », puis ont été observé pendant 5 ans pour évaluer l apparition de la maladie. Du groupe, 85% nont jamais fait la maladie. Lequel des énoncés suivants, portant sur ces résultats est correct? AAucune conclusion ne peut être tirée, le suivi ayant porté sur des nfants non vaccinés BLe nombre de cas (ie, 30 cas en 5 ans) est trop petit pour avoir être statistiquement significatif CAucune conclusion ne peut être tirée parce que létude ne portait que sur des garçons DLefficacité vaccinale (%) est de /100

99 Basé NBME... u Pourquoi? Depuis 1916 – 1916 Examen de 5 jours: écrit, oral, labo et clinique – 1922 Part I: 3 j. développement sc. base, Part II: 2 j. développement sc. cliniques Part III: 1 j. oral au chevet de patients – 1951 Recherche de 3 ans sur comparaison QCR vs développement

100 Basé NBME u Pourquoi? Depuis 1916 – 1953 Part I & II QCR Part III variable ad début des années 60 – Après avoir principalement utilisé A, B, C & K – On utilise maintenant A & R

101 Pourquoi faire un examen? u Indiquer aux étudiants la matière importante. u Motiver les étudiants à étudier. u Identifier les domaines où les connaissances sont insuffisantes étude supplémentaire. u Déterminer notes finales et/ou promotion. u Identifier les faiblesses du cours/curriculum.

102 Sur quoi questionner? u Sur ce qui est en relation avec les objectifs. u Plus demphase sur les sujets importants. u Temps alloué, proportionnel à limportance. u Sur ce qui est important, éviter la trivialité.

103 Vrai/faux Une question incorrecte En résumé u La vignette manque de précision u Les compléments comportent des termes vagues. u Les compléments sont partiellement corrects. u Il ny aurait pas consensus dans un groupe dexperts.

104 Vrai/faux Une question incorrecte u Chez lenfant, les anomalies du septum inter- ventriculaires sont associées à: 1-Un souffle systolique. 2-De lhypertension pulmonaire. 3-La tétralogie de Fallot. 4-La cyanose. Le problème est que létudiant doit présumer de la sévérité de la maladie, de lâge, et de la thérapie du patient.

105 Éviter les vrais/faux. u Ont plus souvent besoin dêtre réécrites. u La difficulté, inhérente au fait que lon recherche des compléments vraiment vrai ou faux, entraîne une dérive vers le rappel de faits isolés et la trivialité. u Éviter les questions utilisant la forme négative. (Parmi les éléments suivants, lequel nest pas exact?) – Sont difficile à placer sur un continuum. – Si lon veut faire choisir plus dun élément, utiliser une question de type « choisir N items » (Pick N Items).


Télécharger ppt "Normes pour la rédaction et la correction de questions QCR, QROC et de problèmes à éléments-clé. Michel Girard MD MHPE FRCP(C) Directeur Serge Normand."

Présentations similaires


Annonces Google