Documentation écrite et stations formative N. Junod Perron Programme des compétences cliniques UDREM 17.1.2017

2ème et 3ème année bachelor 4 stations formatives Min 1 supervision après observation directe Min 1 supervision sur video à distance Min 1 supervision au cabinet (3 étudiants) Déroulement Interaction avec patient simulé (18 min) Anamnèse, examen clinique, explication/fin Feedback du patient et du superviseur Documentation écrite des éléments notés par l’étudiant

Exemple SF3

Etat des lieux Points positifs Points négatifs Structure SOAP Subjective Objective Assessment Plan Temps de réflexion Premier exercice de documentation Pas de formation sur comment faire Pas de feedback Pas de suivi de l’évolution de la qualité de la documentation

Communication écrite et présentation orale de cas Marqueur du raisonnement clinique (synthèse et priorisation) Etape essentielle dans résolution clinique Erreurs de documentation – impact négatif sur les soins Nécessité que l’information écrite soit lisible, compréhensible et intelligible Compétence qui s’apprend (feedback!)

Cadre conceptuel - RIME RIME – développement/progression de l’étudiant Reporter Interpreter Manager Educator Pangaro L. Academic Medicine 1999

Cadre conceptuel - RIME RIME – communication écrite Reporter Interpreter Manager Educator Pangaro L. Academic Medicine 1999

Documentation écrite post-entretien Fait partie de l’examen final de médecine aux USA (USMLE step 2 clinical skills) depuis 1998 Résumé et interprétation des données récoltées durant un entretien avec patient simulé Support pour évaluer les compétences de l’étudiant en raisonnement clinique Jusqu’à récemment, peu d’outils développés et validés pour évaluer la qualité de cette documentation et son lien avec la qualité du raisonnement clinique

Assessing the semantic content of clinical cases presentations: studies of reliability and concurrent validity Structure sémantique: Capacité d’abstraction: traduction de la terminologie «laïque» en terminologie médicale Attributs bipolaires: aigu/chronique, poly/mono, uni-bilatéral,… 4 classes sémantiques (qualificateurs) Réduite Dispersée Elaborée (long) Compilée (bref) En lien avec la précision diagnostique Indicateur de la qualité de l’organisation des connaissances et du raisonnement clinique Positive relationship with pre-existing quality of thinking scores/global ratings Cognitive explanation of strengths/weaknesses in reasoning/information organisation Bordage G et al, Academid Medicine 1997

Étudiants 2ème année USA (n=170) The feasability, reliability and validity of a post-encounter form for evaluating clinical reasoning Étudiants 2ème année USA (n=170) Entretien et examen physique Complétion d’une checklist (anamnnèse et compétences en communication) par patient simulés Formulaire post-entretien Présentation orale Durning et al, Med Teacher 2012

Formulaire post-entretien Résumé Liste des problèmes The feasibility, reliability and validity of a post-encounter form for evaluating clinical reasoning Formulaire post-entretien Résumé Liste des problèmes Diagnostic différentiel Diagnostic le plus probable Eléments soutenant cette probabilité Faisabilité bonne: complétion PEF en 12 minutes Scoring: 1-3 minutes après consensus sur comment scorer Encapsulation: : synthèse de la plainte, examen physique et autres éléments en termes abstraits, proches du diagnostic: hypotension et tachycardie traduit en choc Fiabilité interodeur 0.82 et 0.92 pour score global et compétences sémantiques et encapsulation Corrélations petites à modérées entre les différents scores Corréation entre PEF résumé et SP checklist: extraction des éléments clés sont meilleurs pour poser un diagnostic selon patient PEF avait corrélations avec différents éléments de la OP PEF (diagnostic) corrélait avec SP aassociated symptoms: rechercher des symptômes complémentaires demande une pensée et un raisonnement diagnostique Pas d’association avec PEF liste des problèmes, DD et OP rating et PS checlist Durning et al, Med Teacher 2012

Anamnèse complémentaire et examen physique Organisation générale The feasibility, reliability and validity of a post-encounter form for evaluating clinical reasoning Présentation orale Rythme Anamnèse de la plainte Anamnèse complémentaire et examen physique Organisation générale Résumé Compétence sémantique (qualificateurs, encapsulation) Score global Durning et al, Med Teacher 2012

The feasibility, reliability and validity of a post-encounter form for evaluating clinical reasoning Faisabilité bonne: complétion PEF en 12 minutes Evaluation du formulaire: 1-3 minutes après consensus sur comment évaluer Fiabilité intercodeur Kappa 0.82 - 0.92 pour score global et compétences sémantiques et encapsulation Corrélations petites à modérées entre les différents scores Formulaire - résumé et checklist SP: extraction des éléments clés sont meilleurs pour poser un diagnostic selon patient Formulaire - corrélations avec différents éléments de la prés. orale Formulaire – rechercher les symptômes associés Formulaire –liste des problèmes– pas d’association avec liste des problèmes, diagnostic diff., évaluation présentation orale et checklist PS Durning et al, Med Teacher 2012

Development and preliminary validation of a rubric to assess medical students’ written summary statements in virtual patient cases Cadre RIME, qualificateurs sémantiques 50 résumés» issus d’interactions avec cas virtuels (10 mots) Précision factuelle Rétrécissement approprié du diagnostic différentiel Transformation de l’information Utilisation de qualificateurs sémantiques Evaluation globale Consistence interne acceptable cronbach alpha 0.77 Fiabilité inter examinateur: ICC 0.891 Spearman corrélations: modéré à bonnes entre les composantes Rétrécissement approprié et transformation de l’information avant la corrélation la meilleure avec l’évaluation globale Nécessité d’une formation pour rendre les examinateurs attentifs aux mêmes éléments Smith S et al, Academic Medicine 2016

Development and preliminary validation of a rubric to assess medical students’ written summary statements in virtual patient cases Consistence interne acceptable: cronbach alpha 0.77 Fiabilité inter examinateur: ICC 0.891 Spearman corrélations: modéré à bonnes entre les composantes Rétrécissement approprié et transformation de l’information avant la corrélation la meilleure avec l’évaluation globale Nécessité d’une formation pour rendre les examinateurs attentifs aux mêmes éléments Smith S et al, Academic Medicine 2016

The IDEA assessment tool: assessing the reporting, diagnostic reasoning and decision making skills BUT: encourager une meilleure articulation avec le raisonnement clinique) Notes d’admission en milieu hospitalier (section évaluation) Résumé interprétatif Diagnostic différentiel avec engagement vers le diagnostic le plus probable Explication du raisonnement à l’origine du diagnostic le plus probable Diagnostic alternatif avec explication du raisonnement 216 notes de 128 étudiants, stage méd. interne Baker EA et al. Teach and Learning 2015

IDEA tool 12 items Anamnèse documentée Examen physique documenté Plainte, description, chronologie, contexte, complétude Examen physique documenté Complétude, éléments clés Evaluation documentée Interprétatif, diagnostic différentiel, explication, alternative Plan documenté Plan bien raisonné Coéfficients de fiabilité Cronbach alpha: structure interne de l’instrument 0.88, 0.79, 0.85 Coefficients de Pearson: anamnèse patient corrélait avec the compétences de reporting, r 0.86 DEA corrélait avec compétences de raisonnement clinique et de décision 0.75 et 0.88 Fiabiliét intercodeur: 0.02 0.56 pour 7/15 items pour 2 codeurs Fiabilité intercodeur pour 22 codeurs: ICC 0.29 à 0.67 Association entre score IDEA et les notes finales Fiabilité intercodeur:

The IDEA assessment tool: assessing the reporting, diagnostic reasoning and decision making skills structure interne de l’instrument: cronbach alpha 0.88, 0.79, 0.85 Coefficients de Pearson: anamnèse patient corrélait avec les compétences de «rapporteur, r 0.86 DEA corrélait avec compétences de raisonnement clinique et de décision 0.75 et 0.88 Fiabilité intercodeur: 0.02 - 0.56 pour 7/15 items pour 2 codeurs Fiabilité intercodeur pour 22 codeurs: ICC 0.29 à 0.67 Association entre score IDEA et les notes finales

Validity of case summaries in written examinations of clinical reasoning 700 étudiants de médecine à Louvain Années 4 et 5 d’un curriculum de 7 ans Examen écrit pour deux cours de médecine générale avant stage (8 cas) Rappel factuel Représentation du problème Génération d’hypothèses Test des hypothèses Synthèses Dory V et al, Teaching and Learning 2016

Validity of case summaries in written examinations of clinical reasoning Résumés de cas: Vignette écrite de 1-2 paragraphes (plainte, atcds, examen physique en terminologie laïque) Etudiants doivent résumé le cas en qqs phrases comme s’ils le présentaient à un superviseur Dory V et al, Teaching and Learning 2016

Validity of case summaries in written examinations of clinical reasoning Rubrique générique pour le score: Extraction des éléments pertinents Qualité sémantique (transformation) Critère global (qualificateurs réduit/dispersé/élaboré/compilé Tests d’inférences de score et de généralisation Résumés de cas corrélaient de manière significative avec d’autres sous-scores en lien avec le raisonnement clinique et de connaissance mais corrélations basses à modérée 0.15 à 0.36 Permet la distinction entre étudiants de niveaux d’habilité différents Scoring inferince (responses from score) and generalisation inference (from scores on a particular version fo the test to scores on any conceivable version of the test) Résumés de cas corrélaient de manière significatif avec d’autres sous-scores en lien avec le raisonnement clinique et de connaissance mais corrélations basses à modérée 0.15 à 0.36 Permet la distinction entre étudiants de niveaux d’abilité différents Dory V et al, Teaching and Learning 2016

Characteristics and implications of diagnostic justification scores based on the new patient note format of the USMLE step 2 CS exa Développement d’un rubrique pour évaluer le nouveau formulaire de documentation écrite USLME Documenter les éléments pertinents de l’anamnèse et de l’examen physique Lister 3 diagnostics par ordre de probabilité Justifier le diagnostic différentiel en listant les éléments négatifs et positifs de l’anamnèse et l’examen physique Lister 5 éléments pour la prise en charge immédiate du patient Yudkowsky R et al Academic Medicine 2015

Characteristics and implications of diagnostic justification scores based on the new patient note format of the USMLE step 2 CS exa Performance sur la «justification» était l’unique facteur (et le plus prédictif) contribuant à la note globale de la performance (faisant le lien entre les données récoltées et le diagnostic) In addition to clinical training and clinical supervision (opportunistic) Simulation-based training with Sps (virtual) Teaching hypothesis-driven history and PE’ in the preclinical years Focusing on clinical reasoning tasks during clinical supervision and tasks (write ups and oral presentation) Yudkowsky R et al Academic Medicine 2015

Projets en cours et dans le futur en fac de médecine à Genève Davantage former les étudiants au raisonnement clinique dès les années bachelor PPS: cours processus décisionnel (M. Nendaz) Cours MIGA (UIGP) Stations formatives: stimuler/modéliser le raisonnement clinique lors du feedback donné …

Enquête suisse en 2015 sur l’enseignement et l’évaluation de la communication Souhaits: + de formation sur Annoncer une mauvaise nouvelle Gérer une consultation difficile Collaborer avec d’autres professionnels de la santé Présenter un cas au superviseur

But Changer le formulaire de documentation écrite Anamnèse Examen physique Résumé (2-3 phrases max) Liste des diagnostics différentiels Le diagnostic le plus probable Eléments soutenant ce choix Plan de prise en charge Changer le support (papier vers informatique)

Etude de corrélation? Evaluer les corrélations entre Qualité de la documentation écrite Qualité de la communication médecin-patient Qualité de la récolte d’information/examen physique

Etude comparative? Tester l’efficacité de différents types de formation T1: Modèle structuré lors des stations formatives (SF) T2: Formation pré-SF T3 Formation pré-SF et feedback post SF T3: Formation pré-SF+ feedback post SF et entraînement avec PS virtuels

Continuité bachelor-master Que cibler en 2-3ème année? Comment poursuivre formation et évaluation durant années cliniques VIPS pour le côté formatif Station ds les examens AMC Outil pour identifier les étudiants en difficultés par rapport au raisonnement clinique?