Télécharger la présentation
Publié parMarthe Gilles Modifié depuis plus de 10 années
1
Le test de concordance de script Principes, applications,
Faculté de médecine Le test de concordance de script Principes, applications, résultats de recherche Bernard Charlin, MD, PhD CPASS Centre de pédagogie appliquée en sciences de la santé
2
Plan Les principes du test Exemples d’application
Contraste avec les autres formats Résultats de recherche Les points clés
3
Le test de concordance de script (TCS)
Méthode d’évaluation du raisonnement clinique Basée sur des cas Permettant l’incertitude Incertitude Pas assez de données cliniques Au delà des données probantes Standardisé Même stimuli Correction automatisée et objective
4
L’approche TCS Un cas clinique, bref
Une nouvelle information est présentée Prendre une décision Diagnostique Investigation Traitement
5
Format des items SCT tests10 are comprised of a series of short clinical scenarios, each followed by a series of test questions, each made up of three parts. The first part (“If you were thinking of”) contains a diagnosis, investigation, or treatment that is relevant to the clinical scenario. The second part (“And then you find”) presents new information, such as a physical sign, a pre-existing condition, an imaging study, or a laboratory test result, that may have an effect on the first part. The third part (“This hypothesis becomes”) is a five-point Likert scale (-2, ruled out or almost ruled out, to +2, certain or almost certain) that the examinee uses to indicate what effect this information (part 2) has on the proposed diagnosis, investigation, or treatment (part 1)
6
Médicine d’urgence pédiatrique (Benoit Carrière)
Un bébé de 2 mois est emmené par ses parents car il boit moins bien depuis 48h. Il s’essouffle rapidement en prenant ses biberons. Il n’a pas présenté de fièvre ou de vomissements. Aucun antécédent pertinent n’est relevé à l’anamnèse. Son examen démontre une fréquence cardiaque très rapide (>200/min), mais un enfant éveillé, bien perfusé
7
Médecine d’urgence pédiatrique (B Carrière)
8
Médecine d’urgence pédiatrique (B Carrière)
9
Script: Connaissances organisées / tâches spécifiques
Connaissances en réseaux Relations / liens : signes cliniques / entités cliniques Organisées pour des tâches (diagnostiques / management . . .) Multiples micro-jugements dans le processus Scripts and clinical reasoning. Medical Education, 2007, 41: 1178
10
TCS et incertitude 2 niveaux
Situation (toujours) Plusieurs options sont pertinentes Questions (pas toujours) Divergence / consensus
11
TCS Le test vérifie si les décisions cliniques prise par les candidats concordent avec celles prises par un panel de référence SCT, a Tool to Assess the Reflective Clinician. T&L in Medicine,2000, 12:
12
La méthode des scores combinés
Un groupe de praticiens expérimentés (panel de référence ) Toutes les réponses sont enregistrées Points en fonction du nombre de membres du panel Exemple: panel de 20 membres -1 : 14 membres : 6 membres Autres 14/14 = 1 point /14 = 0.42 point 0/14 = 0 point
13
Plan Les principes du test Exemples d’application
Contraste avec les autres formats Résultats de recherche Les points clés
14
Connaissances thérapeutiques
15
Radio-oncologie (Carole Lambert) Scénario clinique: Une patiente de 56 ans vous est référée pour traitement d’un cancer du poumon non à petites cellules T3 N2 M0 Si vous pensiez recommander un traitement combiné chimio-radiothérapie à visée curative Il est possible d’administrer le test par ordinateur et de l’enrichir d’images, de radiographies ou de clips vidéo. Voici un exemple tiré d’un test destiné aux internes de radio oncologie.
16
-2 -1 0 1 2 Et qu’alors vous trouvez:
Un ganglion supra-claviculaire de 2.5 cm Votre recommendation devient: Totalement Plutôt Appropriée Très C-I C-I C-I appropriée
17
Raisonnement per-opératoire S. Meterissian (McGill)
La description du cas est suivie par des questions présentées en trois parties: La première, (si vous pensez à) continent une hypothèse diagnostique, une option d’investigation ou de traitement, pertinents dans la situation. La seconde (et qu’alors vous trouvez) présente une nouvelle information telle qu’une donnée clinique, un cliché d’imagerie, un résultat de laboratoire. La troisième (l’effet sur votre hypothèse est) une échelle de Likert en 5 points que l’étudiant utilise pour indiquer l’effet qu’a cette nouvelle information sur l’hypothèse ou l’option proposée
19
Neurology SCT (S Lubarsky, McGill)
20
Veterinary medicine (S Ramaekers, Utrecht)
21
Veterinary medicine (S Ramaekers, Utrecht)
22
Évaluer le professionnalisme (Éric Droin, hôpital St-Justine)
Vous recevez en consultation pour avis une patiente âgée de 35 ans, dont c’est la première grossesse, alors à 28 semaines de gestation. Cette patiente est professeur de danse classique. L’échographie qui vient d’être réalisée a mis en évidence chez son bébé de sexe féminin des pieds-bots bilatéraux. La probabilité d’association à une anomalie neurologique sous-jacente potentiellement grave n’est pas exclue mais est faible. D’emblée la patiente est très agressive, en veut à l’échographiste avec qui elle a discuté car elle pense que « tout le monde veut l’obliger à garder une grossesse dont elle ne veut plus ». La patiente vous dit qu’il est impensable pour elle de mettre au monde une fille « qui sera sur les pointes dès sa naissance ». Le conjoint s’oppose à l’interruption de la grossesse.
23
Évaluer le professionnalisme (Exemple de format B du TCS)
ATTITUDES POSSIBLES (1) Vous expliquez à la patiente que cette malformation est accessible à une correction chirurgicale et vous proposez une consultation auprès d’un confrère chirurgien spécialisé (2) La patiente refuse catégoriquement de voir un chirurgien pédiatre et vous appuyez sa demande d’interruption de grossesse malgré l’avis du conjoint (3) Vous refusez d’appuyer sa demande d’interruption de la grossesse puisque le conjoint s’y oppose
24
Évaluer le professionnalisme (Exemple de format B du TCS)
ATTITUDES POSSIBLES (4) Vous vous opposez à envisager une interruption de grossesse à 28 semaines pour une pathologie orthopédique accessible à un traitement chirurgical avec un faible risque d’anomalie neurologique associée (5) Vous convenez que la profession de la patiente doit être prise en compte et que la demande d’interruption de la grossesse est recevable
25
Entourez le niveau de vos jugements pour chaque attitude (une seule réponse par attitude)
-2 = Totalement inacceptable; -1 = Difficilement acceptable; 0 = Non pertinent dans cette situation; +1 = Plutôt acceptable; +2 = Totalement acceptable Jury: 15 professionnels santé désignés par leurs pairs
26
Plan Les principes du test Exemples d’application
Contraste avec les autres formats Résultats de recherche Les points clés
27
Quelques outils d’évaluation
QCM QCM à contexte clinique Oraux Questions à réponse courte Questions à long développement Clinical Reasoning Problem (CRPs) Un outil parfait?
28
QCM à contexte riche Un jeune homme de 20 ans est poignardé dans le bras avec un couteau. La face dorsale de l’avant bras est insensible, ainsi que la face dorsale de la main entre le pouce et l’index. Les extenseurs du poignet sont paralysés et il ne peut étendre le pouce entre les articulations métacarpophalangienne et interphalangienne. Quel nerf a été atteint? A- Le nerf médian B- Le nerf cubital C- Le nerf radial D- Le nerf interosseux postérieur E- Le nerf brachial postérieur
29
Quelle tâche? Au sein du processus Il n’y a pas une seule réponse
TCS: un micro-jugement Au sein du processus Il n’y a pas une seule réponse QCM à contexte riche L’issue du processus de raisonnement Une seule réponse correcte
30
Les professions: bien plus que la simple application de règles et de principes
Problèmes bien définis Données, but & solution sont clairs Savoir technique Problèmes mal définis Données, but, solutions sont incertains Savoir professionnel Schön D, The Reflective Practitioner, 1983
31
Plan Les principes du test Exemples d’application
Contraste avec les autres formats Résultats de recherche Les points clés
32
Discrimination selon le niveau
Validité (que signifient les scores?) Si reflète la qualité du raisonnement clinique: Les scores devraient refléter l’expérience Mais… avec les tests traditionnels: résidents seniors Standardized assessment in context of uncertainty: EHProfessions, 2004, 27: 304
33
Radio-oncologie externes 51,62 Résidents 71,20 Expérience 76,67
Toutes les recherches menées sur le TCS (1eres publications datent de 1998) montrent que les scores augmentent avec l’expérience clinique Quelques mots à propos de cette étude: Tous les résidents francophones du Québec (une cinquantaine); des étudiants en stages radio-onco Panel: à peu près tous les radio oncologues francophones de la province (cinquantaine) Noter qu’aucun membre du panel n’a score de 100 (ce ne sont pas des %),
34
(tests: environ 20 cas / 3 questions / 1 h )
Fidélité Sibert L et al. Urology 2006 Lambert C, Radiation oncology, 2005 Carrière B, Emergency medicine in pediatrics, 2005 Meterissian, Per-operative reasoning, 2005 Cronbach Alpha : 0.70 to 0.92 (tests: environ 20 cas / 3 questions / 1 h )
35
Panel / combien de membres?
Comment obtenir des scores stables indépendamment de la composition du panel? Assessment in context of uncertainty: How many members are needed on the panel? Medical Education, 2005
36
Mean reliability coefficients for increasing panel size (1 000 random samples per panel size)
Nous avons mené une étude à partir d’un panel de 80 personnes en faisant des échantillons de taille croissante (5, 10, 15, 20…) en attribuant les membres de façon aléatoire. Nous avons trouvé qu’il faut au moins 10 membres pour obtenir une bonne stabilité et qu’à partir de 20 la fidélité augmente lentement quand on augmente la taille du jury Conclusions pratiques Examens informels (intra programme) 5 à 10 = OK Examens à hauts enjeux, ex. examen classant: faut un minimum de 20
37
Panel: enseignants ou médecins en exercice?
Quel est l’effet de la fonction d’enseignant sur les scores et les rangs des résidents Composition of the panel of reference… Medical Teacher, 2007
39
Réponses sur le panel: quelle variabilité?
Quelles sont les questions qui détectent le mieux l’experience clinique? Celles avec consensus ? Celles avec variabilité ? Assessment of clinical reasoning: is it necessary to accept variability of answers within the panel of reference to detect clinical experience? Medical Education, 2006
40
Effect size in relation to variability
Conséquence: pour faire des tests qui détectent bien l’expérience clinique, il faut introduire délibérément des questions qui induisent de la variabilité parmi les membres du panel. The subtest that better discriminates according to level of clinical experience is clearly the moderate variability subtest
41
Plus de cas ou plus de questions?
Gagnon R. SCT: More cases or more questions? AHSE, 2008
42
G coefficients / number of questions, number of cases (5, 10, 15, 20, 25, 30) Radio-oncology
43
Plan Les principes du test Exemples d’application
Contraste avec les autres formats Résultats de recherche Les points clés
44
SCT on line Test construction Test administration Test correction
Immediate feedback Multimedia stimuli
46
TCS: les point clés Standardisé
Même stimulus / processus de score automatisé Bien accepté Tâches qui appartiennent à la réalité clinique Pré-gradué, post-gradué, ou FMC
47
TCS Mesure le degré de concordance entre la performance des candidats et celle d’un panel de référence, sur une série de tâches basées sur des cas. Chacune de ces tâches consiste à juger l’effet qu’a une nouvelle donnée sur le statut d’une option, dans des contextes cliniques comportant de l’incertitude. Inférences sur la qualité du raisonnement clinique
48
Plus Site web: (toutes les publications en format PDF)
54
Construction of cases / questions
SCT construction guidelines BMC Medical informatics and decision making, Accepted, 2008
55
Validation and answer key
A few professionals A few students Re-writing of some cases Panel take the test
56
Panel: practical difficulties
Présentations similaires
© 2024 SlidePlayer.fr Inc.
All rights reserved.