Le test de concordance de script Principes, applications, Faculté de médecine Le test de concordance de script Principes, applications, résultats de recherche Bernard Charlin, MD, PhD CPASS Centre de pédagogie appliquée en sciences de la santé

Plan Les principes du test Exemples d’application Contraste avec les autres formats Résultats de recherche Les points clés

Le test de concordance de script (TCS) Méthode d’évaluation du raisonnement clinique Basée sur des cas Permettant l’incertitude Incertitude Pas assez de données cliniques Au delà des données probantes Standardisé Même stimuli Correction automatisée et objective

L’approche TCS Un cas clinique, bref Une nouvelle information est présentée Prendre une décision Diagnostique Investigation Traitement

Format des items SCT tests10 are comprised of a series of short clinical scenarios, each followed by a series of test questions, each made up of three parts. The first part (“If you were thinking of”) contains a diagnosis, investigation, or treatment that is relevant to the clinical scenario. The second part (“And then you find”) presents new information, such as a physical sign, a pre-existing condition, an imaging study, or a laboratory test result, that may have an effect on the first part. The third part (“This hypothesis becomes”) is a five-point Likert scale (-2, ruled out or almost ruled out, to +2, certain or almost certain) that the examinee uses to indicate what effect this information (part 2) has on the proposed diagnosis, investigation, or treatment (part 1)

Médicine d’urgence pédiatrique (Benoit Carrière) Un bébé de 2 mois est emmené par ses parents car il boit moins bien depuis 48h. Il s’essouffle rapidement en prenant ses biberons. Il n’a pas présenté de fièvre ou de vomissements. Aucun antécédent pertinent n’est relevé à l’anamnèse. Son examen démontre une fréquence cardiaque très rapide (>200/min), mais un enfant éveillé, bien perfusé

Médecine d’urgence pédiatrique (B Carrière)

Médecine d’urgence pédiatrique (B Carrière)

Script: Connaissances organisées / tâches spécifiques Connaissances en réseaux Relations / liens : signes cliniques / entités cliniques Organisées pour des tâches (diagnostiques / management . . .) Multiples micro-jugements dans le processus Scripts and clinical reasoning. Medical Education, 2007, 41: 1178

TCS et incertitude 2 niveaux Situation (toujours) Plusieurs options sont pertinentes Questions (pas toujours) Divergence / consensus

TCS Le test vérifie si les décisions cliniques prise par les candidats concordent avec celles prises par un panel de référence SCT, a Tool to Assess the Reflective Clinician. T&L in Medicine,2000, 12: 189-195

La méthode des scores combinés Un groupe de praticiens expérimentés (panel de référence ) Toutes les réponses sont enregistrées Points en fonction du nombre de membres du panel Exemple: panel de 20 membres -1 : 14 membres 0 : 6 membres Autres 14/14 = 1 point 6/14 = 0.42 point 0/14 = 0 point

Plan Les principes du test Exemples d’application Contraste avec les autres formats Résultats de recherche Les points clés

Connaissances thérapeutiques

Radio-oncologie (Carole Lambert) Scénario clinique: Une patiente de 56 ans vous est référée pour traitement d’un cancer du poumon non à petites cellules T3 N2 M0 Si vous pensiez recommander un traitement combiné chimio-radiothérapie à visée curative Il est possible d’administrer le test par ordinateur et de l’enrichir d’images, de radiographies ou de clips vidéo. Voici un exemple tiré d’un test destiné aux internes de radio oncologie.

-2 -1 0 1 2 Et qu’alors vous trouvez: Un ganglion supra-claviculaire de 2.5 cm Votre recommendation devient: -2 -1 0 1 2 Totalement Plutôt Appropriée Très C-I C-I C-I appropriée

Raisonnement per-opératoire S. Meterissian (McGill) La description du cas est suivie par des questions présentées en trois parties: La première, (si vous pensez à) continent une hypothèse diagnostique, une option d’investigation ou de traitement, pertinents dans la situation. La seconde (et qu’alors vous trouvez) présente une nouvelle information telle qu’une donnée clinique, un cliché d’imagerie, un résultat de laboratoire. La troisième (l’effet sur votre hypothèse est) une échelle de Likert en 5 points que l’étudiant utilise pour indiquer l’effet qu’a cette nouvelle information sur l’hypothèse ou l’option proposée

Neurology SCT (S Lubarsky, McGill)

Veterinary medicine (S Ramaekers, Utrecht)

Veterinary medicine (S Ramaekers, Utrecht)

Évaluer le professionnalisme (Éric Droin, hôpital St-Justine) Vous recevez en consultation pour avis une patiente âgée de 35 ans, dont c’est la première grossesse, alors à 28 semaines de gestation. Cette patiente est professeur de danse classique. L’échographie qui vient d’être réalisée a mis en évidence chez son bébé de sexe féminin des pieds-bots bilatéraux. La probabilité d’association à une anomalie neurologique sous-jacente potentiellement grave n’est pas exclue mais est faible. D’emblée la patiente est très agressive, en veut à l’échographiste avec qui elle a discuté car elle pense que « tout le monde veut l’obliger à garder une grossesse dont elle ne veut plus ». La patiente vous dit qu’il est impensable pour elle de mettre au monde une fille « qui sera sur les pointes dès sa naissance ». Le conjoint s’oppose à l’interruption de la grossesse.

Évaluer le professionnalisme (Exemple de format B du TCS) ATTITUDES POSSIBLES (1) Vous expliquez à la patiente que cette malformation est accessible à une correction chirurgicale et vous proposez une consultation auprès d’un confrère chirurgien spécialisé (2) La patiente refuse catégoriquement de voir un chirurgien pédiatre et vous appuyez sa demande d’interruption de grossesse malgré l’avis du conjoint (3) Vous refusez d’appuyer sa demande d’interruption de la grossesse puisque le conjoint s’y oppose

Évaluer le professionnalisme (Exemple de format B du TCS) ATTITUDES POSSIBLES (4) Vous vous opposez à envisager une interruption de grossesse à 28 semaines pour une pathologie orthopédique accessible à un traitement chirurgical avec un faible risque d’anomalie neurologique associée (5) Vous convenez que la profession de la patiente doit être prise en compte et que la demande d’interruption de la grossesse est recevable

Entourez le niveau de vos jugements pour chaque attitude (une seule réponse par attitude) -2 = Totalement inacceptable; -1 = Difficilement acceptable; 0 = Non pertinent dans cette situation; +1 = Plutôt acceptable; +2 = Totalement acceptable Jury: 15 professionnels santé désignés par leurs pairs

Plan Les principes du test Exemples d’application Contraste avec les autres formats Résultats de recherche Les points clés

Quelques outils d’évaluation QCM QCM à contexte clinique Oraux Questions à réponse courte Questions à long développement Clinical Reasoning Problem (CRPs) Un outil parfait?

QCM à contexte riche Un jeune homme de 20 ans est poignardé dans le bras avec un couteau. La face dorsale de l’avant bras est insensible, ainsi que la face dorsale de la main entre le pouce et l’index. Les extenseurs du poignet sont paralysés et il ne peut étendre le pouce entre les articulations métacarpophalangienne et interphalangienne. Quel nerf a été atteint? A- Le nerf médian B- Le nerf cubital C- Le nerf radial D- Le nerf interosseux postérieur E- Le nerf brachial postérieur

Quelle tâche? Au sein du processus Il n’y a pas une seule réponse TCS: un micro-jugement Au sein du processus Il n’y a pas une seule réponse QCM à contexte riche L’issue du processus de raisonnement Une seule réponse correcte

Les professions: bien plus que la simple application de règles et de principes Problèmes bien définis Données, but & solution sont clairs Savoir technique Problèmes mal définis Données, but, solutions sont incertains Savoir professionnel Schön D, The Reflective Practitioner, 1983

Plan Les principes du test Exemples d’application Contraste avec les autres formats Résultats de recherche Les points clés

Discrimination selon le niveau Validité (que signifient les scores?) Si reflète la qualité du raisonnement clinique: Les scores devraient refléter l’expérience Mais… avec les tests traditionnels: résidents seniors Standardized assessment in context of uncertainty: EHProfessions, 2004, 27: 304

Radio-oncologie externes 51,62 Résidents 71,20 Expérience 76,67 Toutes les recherches menées sur le TCS (1eres publications datent de 1998) montrent que les scores augmentent avec l’expérience clinique Quelques mots à propos de cette étude: Tous les résidents francophones du Québec (une cinquantaine); des étudiants en stages radio-onco Panel: à peu près tous les radio oncologues francophones de la province (cinquantaine) Noter qu’aucun membre du panel n’a score de 100 (ce ne sont pas des %),

(tests: environ 20 cas / 3 questions / 1 h ) Fidélité Sibert L et al. Urology 2006 Lambert C, Radiation oncology, 2005 Carrière B, Emergency medicine in pediatrics, 2005 Meterissian, Per-operative reasoning, 2005 Cronbach Alpha : 0.70 to 0.92 (tests: environ 20 cas / 3 questions / 1 h )

Panel / combien de membres? Comment obtenir des scores stables indépendamment de la composition du panel? Assessment in context of uncertainty: How many members are needed on the panel? Medical Education, 2005

Mean reliability coefficients for increasing panel size (1 000 random samples per panel size) Nous avons mené une étude à partir d’un panel de 80 personnes en faisant des échantillons de taille croissante (5, 10, 15, 20…) en attribuant les membres de façon aléatoire. Nous avons trouvé qu’il faut au moins 10 membres pour obtenir une bonne stabilité et qu’à partir de 20 la fidélité augmente lentement quand on augmente la taille du jury Conclusions pratiques Examens informels (intra programme) 5 à 10 = OK Examens à hauts enjeux, ex. examen classant: faut un minimum de 20

Panel: enseignants ou médecins en exercice? Quel est l’effet de la fonction d’enseignant sur les scores et les rangs des résidents Composition of the panel of reference… Medical Teacher, 2007

Réponses sur le panel: quelle variabilité? Quelles sont les questions qui détectent le mieux l’experience clinique? Celles avec consensus ? Celles avec variabilité ? Assessment of clinical reasoning: is it necessary to accept variability of answers within the panel of reference to detect clinical experience? Medical Education, 2006

Effect size in relation to variability Conséquence: pour faire des tests qui détectent bien l’expérience clinique, il faut introduire délibérément des questions qui induisent de la variabilité parmi les membres du panel. The subtest that better discriminates according to level of clinical experience is clearly the moderate variability subtest

Plus de cas ou plus de questions? Gagnon R. SCT: More cases or more questions? AHSE, 2008

G coefficients / number of questions, number of cases (5, 10, 15, 20, 25, 30) Radio-oncology

Plan Les principes du test Exemples d’application Contraste avec les autres formats Résultats de recherche Les points clés

SCT on line Test construction Test administration Test correction Immediate feedback Multimedia stimuli

TCS: les point clés Standardisé Même stimulus / processus de score automatisé Bien accepté Tâches qui appartiennent à la réalité clinique Pré-gradué, post-gradué, ou FMC

TCS Mesure le degré de concordance entre la performance des candidats et celle d’un panel de référence, sur une série de tâches basées sur des cas. Chacune de ces tâches consiste à juger l’effet qu’a une nouvelle donnée sur le statut d’une option, dans des contextes cliniques comportant de l’incertitude. Inférences sur la qualité du raisonnement clinique

Plus Site web: www.cme.umontreal.ca/tcs (toutes les publications en format PDF) E-Mail bernard.charlin@umontreal.ca

Construction of cases / questions SCT construction guidelines BMC Medical informatics and decision making, Accepted, 2008

Validation and answer key A few professionals A few students Re-writing of some cases Panel take the test

Panel: practical difficulties