La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Faculté de médecine Centre de pédagogie appliquée en sciences de la santé CPASS Le test de concordance de script Principes, applications, résultats de.

Présentations similaires


Présentation au sujet: "Faculté de médecine Centre de pédagogie appliquée en sciences de la santé CPASS Le test de concordance de script Principes, applications, résultats de."— Transcription de la présentation:

1 Faculté de médecine Centre de pédagogie appliquée en sciences de la santé CPASS Le test de concordance de script Principes, applications, résultats de recherche Bernard Charlin, MD, PhD

2 Plan Les principes du test Exemples dapplication Contraste avec les autres formats Résultats de recherche Les points clés

3 Le test de concordance de script (TCS) Méthode dévaluation du raisonnement clinique –Basée sur des cas –Permettant lincertitude Incertitude –Pas assez de données cliniques –Au delà des données probantes Standardisé –Même stimuli –Correction automatisée et objective

4 Lapproche TCS Un cas clinique, bref Une nouvelle information est présentée Prendre une décision Diagnostique Investigation Traitement

5 Format des items

6 Médicine durgence pédiatrique (Benoit Carrière) Un bébé de 2 mois est emmené par ses parents car il boit moins bien depuis 48h. Il sessouffle rapidement en prenant ses biberons. Il na pas présenté de fièvre ou de vomissements. Aucun antécédent pertinent nest relevé à lanamnèse. Son examen démontre une fréquence cardiaque très rapide (>200/min), mais un enfant éveillé, bien perfusé

7 Médecine durgence pédiatrique (B Carrière)

8

9 Script: Connaissances organisées / tâches spécifiques Connaissances en réseaux Relations / liens : signes cliniques / entités cliniques Organisées pour des tâches (diagnostiques / management...) Multiples micro-jugements dans le processus Scripts and clinical reasoning. Medical Education, 2007, 41: 1178

10 TCS et incertitude 2 niveaux 1.Situation (toujours) Plusieurs options sont pertinentes 2.Questions (pas toujours) Divergence / consensus

11 TCS Le test vérifie si les décisions cliniques prise par les candidats concordent avec celles prises par un panel de référence SCT, a Tool to Assess the Reflective Clinician. T&L in Medicine,2000, 12:

12 La méthode des scores combinés Un groupe de praticiens expérimentés (panel de référence ) Toutes les réponses sont enregistrées Points en fonction du nombre de membres du panel Exemple: panel de 20 membres -1 : 14 membres 0 : 6 membres Autres 14/14 = 1 point 6/14 = 0.42 point0/14 = 0 point

13 Plan Les principes du test Exemples dapplication Contraste avec les autres formats Résultats de recherche Les points clés

14 Connaissances thérapeutiques

15 Scénario clinique: Scénario clinique: Une patiente de 56 ans vous est référée pour traitement dun cancer du poumon non à petites cellules T3 N2 M0 Si vous pensiez recommander un traitement combiné chimio-radiothérapie à visée curative Radio-oncologie (Carole Lambert)

16 Totalement Plutôt Appropriée Très C-I C-I C-I appropriée Et qualors vous trouvez : Un ganglion supra- claviculaire de 2.5 cm Votre recommendation devient:

17 Raisonnement per-opératoire S. Meterissian (McGill)

18

19 Neurology SCT (S Lubarsky, McGill)

20 Veterinary medicine (S Ramaekers, Utrecht)

21

22 Évaluer le professionnalisme (Éric Droin, hôpital St-Justine) Vous recevez en consultation pour avis une patiente âgée de 35 ans, dont cest la première grossesse, alors à 28 semaines de gestation. Cette patiente est professeur de danse classique. Léchographie qui vient dêtre réalisée a mis en évidence chez son bébé de sexe féminin des pieds-bots bilatéraux. La probabilité dassociation à une anomalie neurologique sous-jacente potentiellement grave nest pas exclue mais est faible. Demblée la patiente est très agressive, en veut à léchographiste avec qui elle a discuté car elle pense que « tout le monde veut lobliger à garder une grossesse dont elle ne veut plus ». La patiente vous dit quil est impensable pour elle de mettre au monde une fille « qui sera sur les pointes dès sa naissance ». Le conjoint soppose à linterruption de la grossesse.

23 Évaluer le professionnalisme (Exemple de format B du TCS) ATTITUDES POSSIBLES (1) Vous expliquez à la patiente que cette malformation est accessible à une correction chirurgicale et vous proposez une consultation auprès dun confrère chirurgien spécialisé (2) La patiente refuse catégoriquement de voir un chirurgien pédiatre et vous appuyez sa demande dinterruption de grossesse malgré lavis du conjoint (3) Vous refusez dappuyer sa demande dinterruption de la grossesse puisque le conjoint sy oppose

24 Évaluer le professionnalisme (Exemple de format B du TCS) ATTITUDES POSSIBLES (4) Vous vous opposez à envisager une interruption de grossesse à 28 semaines pour une pathologie orthopédique accessible à un traitement chirurgical avec un faible risque danomalie neurologique associée (5) Vous convenez que la profession de la patiente doit être prise en compte et que la demande dinterruption de la grossesse est recevable

25 Entourez le niveau de vos jugements pour chaque attitude (une seule réponse par attitude) -2 = Totalement inacceptable; -1 = Difficilement acceptable; 0 = Non pertinent dans cette situation; +1 = Plutôt acceptable; +2 = Totalement acceptable Jury: 15 professionnels santé désignés par leurs pairs

26 Plan Les principes du test Exemples dapplication Contraste avec les autres formats Résultats de recherche Les points clés

27 Quelques outils dévaluation QCM QCM à contexte clinique Oraux Questions à réponse courte Questions à long développement Clinical Reasoning Problem (CRPs) Un outil parfait?

28 QCM à contexte riche Un jeune homme de 20 ans est poignardé dans le bras avec un couteau. La face dorsale de lavant bras est insensible, ainsi que la face dorsale de la main entre le pouce et lindex. Les extenseurs du poignet sont paralysés et il ne peut étendre le pouce entre les articulations métacarpophalangienne et interphalangienne. Quel nerf a été atteint? A- Le nerf médian B- Le nerf cubital C- Le nerf radial D- Le nerf interosseux postérieur E- Le nerf brachial postérieur

29 Quelle tâche? TCS: un micro-jugement Au sein du processus Il ny a pas une seule réponse QCM à contexte riche Lissue du processus de raisonnement Une seule réponse correcte

30 Les professions: bien plus que la simple application de règles et de principes Problèmes bien définis Données, but & solution sont clairs Savoir technique Problèmes mal définis Données, but, solutions sont incertains Savoir professionnel Schön D, The Reflective Practitioner, 1983

31 Plan Les principes du test Exemples dapplication Contraste avec les autres formats Résultats de recherche Les points clés

32 Discrimination selon le niveau Validité (que signifient les scores?) Si reflète la qualité du raisonnement clinique: Les scores devraient refléter lexpérience Mais… avec les tests traditionnels: résidents seniors Standardized assessment in context of uncertainty: EHProfessions, 2004, 27: 304

33 Radio-oncologie externes 51,62 R é sidents 71,20 Exp é rience 76,67

34 Fidélité Sibert L et al. Urology 2006 Lambert C, Radiation oncology, 2005 Carrière B, Emergency medicine in pediatrics, 2005 Meterissian, Per-operative reasoning, 2005 Cronbach Alpha : 0.70 to 0.92 (tests: environ 20 cas / 3 questions / 1 h )

35 Panel / combien de membres? Comment obtenir des scores stables indépendamment de la composition du panel? Assessment in context of uncertainty: How many members are needed on the panel? Medical Education, 2005

36 Mean reliability coefficients for increasing panel size (1 000 random samples per panel size)

37 Panel: enseignants ou médecins en exercice? Quel est leffet de la fonction denseignant sur les scores et les rangs des résidents Composition of the panel of reference… Medical Teacher, 2007

38

39 Réponses sur le panel: quelle variabilité? Quelles sont les questions qui détectent le mieux lexperience clinique? Celles avec consensus ? Celles avec variabilité ? Assessment of clinical reasoning: is it necessary to accept variability of answers within the panel of reference to detect clinical experience? Medical Education, 2006

40 Effect size in relation to variability The subtest that better discriminates according to level of clinical experience is clearly the moderate variability subtest

41 Plus de cas ou plus de questions? Gagnon R. SCT: More cases or more questions? AHSE, 2008

42 G coefficients / number of questions, number of cases (5, 10, 15, 20, 25, 30) Radio-oncology

43 Plan Les principes du test Exemples dapplication Contraste avec les autres formats Résultats de recherche Les points clés

44 SCT on line Test construction Test administration Test correction Immediate feedback Multimedia stimuli

45

46 TCS: les point clés Standardisé Même stimulus / processus de score automatisé Bien accepté Tâches qui appartiennent à la réalité clinique Pré-gradué, post-gradué, ou FMC

47 TCS Mesure le degré de concordance entre la performance des candidats et celle dun panel de référence, sur une série de tâches basées sur des cas. Chacune de ces tâches consiste à juger leffet qua une nouvelle donnée sur le statut dune option, dans des contextes cliniques comportant de lincertitude. Inférences sur la qualité du raisonnement clinique

48 Plus Site web: (toutes les publications en format PDF)

49

50

51

52

53

54 Construction of cases / questions SCT construction guidelines BMC Medical informatics and decision making, Accepted, 2008

55 Validation and answer key Validation –A few professionals –A few students Re-writing of some cases Panel take the test

56 Panel: practical difficulties


Télécharger ppt "Faculté de médecine Centre de pédagogie appliquée en sciences de la santé CPASS Le test de concordance de script Principes, applications, résultats de."

Présentations similaires


Annonces Google