Grilles de communication et ECOS Checklist ou score global? Noëlle Junod Perron et Bernard Cerutti

Introduction Principes de l’évaluation (assessment) Validité Fiabilité Impact éducatif Crédibilité Faisabilité et coût Evaluation sanctionnelle «What is important is the relationship between the accuracy of the scoring and the level at which decisions are made» (Schuwirth & Van der Vleuten, 2004 p.804). «The stakes of the evaluation determine the requirements for the psychometric rigor of the measurement » (Duffy et al., 2004 p.500).

ECOS – choix de la grille- controverse Checklists Evaluation globale Pour obtenir un impact important, il faut que la méthode d’attribution des scores reflète les objectifs éducationnels et modèles d’enseignement

A Genève (items communication) ECOS 3ème année (Bachelor 3 ): grille maison env 13 items, 1 score global communication, 1 score global 4-5ème année (Master 1 AMC MPR et MI): grille maison env 13 items, 1 score global communication, 1 score global Poids communication: entre 1/6 et 1/3 du score global Examen fédéral Grille Hodges: 4 dimensions transversales et 1 évaluation communication globale En 2017: addition de la grille Hodges à la grille communication pour les ECOS de 3ème et 4ème années

Hodges’ scale No theoretical framework used Study sample: 57 2nd and 3rd year medical students, Canada Comparison between checklist and global rating in 10x10 minute OSCE stations Validity Mean global rating scores higher for senior students Differences by level of training for the some subscale Reliability – interstation 0.54 for checklist 0.70 for global rating Hodges et al, Medical Education 2003

But Evaluer les caractéristiques (psychométriques) des éléments de la grille maison Evaluer les caractéristiques (psychométriques) des éléments de Hodges Evaluer la corrélation entre grille maison et grille Hodges En général Présence d’un effet profil examinateur (interniste généraliste versus spécialiste; enseignant en communication vs non enseignant) ? Sous-analyse par dimension: éléments checklist articulés aux 4 dimensions Hodges

Méthode Résumé descriptif Corrélation Variabilité de la variabilité des items de communications de Hodges et lien avec: Valeur du score global communication selon check-list Profil examinateur Effet aléatoire examinateur

Résultats 12 stations 73 examinateurs 210 étudiants 813 situations étudiant x examinateur

Analyse des items de la grille maison (valeurs moyennes) Facilité (%) Indice de discrimination Accueil 16 82.9 0.19 Questions ouvertes au départ 12 81.8 0.10 Exploration perspectives patients 3 40.7 Résumés 4 43.7 0.12 Logique de l’anamnèse 10 71.3 0.27 Etapes 8 76.6 Explication 14 64.5 0.30 Evite le jargon 85.1 0.11 Planification 61.0 Fin 65.4 Non verbal 11 88.6 0.13 Emotions 62.2 Attentif 86.6 0.16

Distribution des scores: dimensions Hodges

Analyse des items dimension Hodges Dimensions Moyenne Corrélation avec les autres items (~pseudo Rbis) Réponse aux besoins/émotions du patient 3.1 0.22 Structuration 3.2 0.33 Expression verbale 3.3 0.24 Expression non verbale 0.31 Valeur moyenne évaluation item Hodges global: 2.6

Corrélations éléments grille Hodges Corrélations entre dimensions 0.5-0.6

Analyse (explication de la variabilité des items Hodges)

Analyse (explication de la variabilité des items Hodges) Analyse univariée Effet Station (MI MPR Module 4) moyenne 0.53 vs 0.50 vs 0.50 p=0.511 Examinateur (Homme Femme): moyenne 0.51 vs 0.51 p=0.697 Expérience en enseignement de la communication: moyenne 0.54 vs 0.53 p=0.073 Profil de l’examinateur (généraliste vs spécialiste): 0.53 vs 0.50 p=0.125

Analyse (explication de la variabilité des items Hodges) Analyse multivariée (avec effet aléatoire examinateur) Sexe examinateur (Homme Femme): p=0.541 Expérience en enseignement de la communication: p=0.861 Spécialité examinateur (généraliste vs spécialiste): p=0.749 Effet examinateur p<.0001

Corrélation entre évaluation communication globale (Hodges) et grille Hodges (somme 4 dimensions)

Corrélation entre évaluation globale communication (Hodges global) et évaluation globale de la station Corrélation 0.606

Corrélation entre scores grille Hodges (somme 4 dimensions et score grille maison (somme items)

Lien check-list - dimensions Hodges (cinq experts) Grilles Sélection items Hodges expert 1 Sélection items Hodges expert 2 Sélection items Hodges expert 3 Sélection items Hodges expert 4 Sélection items Hodges expert 5 Moyenne   Accueille le patient d’une façon adéquate : a) salue le patient et se présente ; b) met le patient à l’aise (2 éléments=fait, 1 élément=partiel 0 élément=pas fait) 2 1 1.8 réponse 1.5 structure expression verbale 1.4 expression non verbale Explique le programme et le temps disponible pour la consultation, vérifie que le patient est d’accord et s’il a d’autres préoccupations(3-4 éléments=fait, 1-2 éléments=partiel, 0 élément=pas fait) 1.6 0.8 Commence l’entretien par des questions ouvertes avant les questions fermées (Je vous écoute ! Que puis-je pour vous ? Que vous arrive-t-il ? Racontez-moi… comment cela s’est-il passé ?) (1x=partiel / >1x=fait) 0.2 Pendant l'anamnèse, l'étudiant a cherché activement quels étaient les attentes, le vécu émotionnel, les représentations, l’impact du symptôme dans la vie du patient 1.2 Organise la récolte d’informations dans une séquence logique 0.6

Réponse aux sentiments du patient Corrélation 0.39

Structure Corrélation 0.32

Expression verbale Corrélation 0.29

Expression non verbale Corrélation 0.24

Résultats principaux Corrélation présente entre checklist maison et Hodges Communication Performance globale Pas de changement en fonction du profil des examinateurs Difficultés à articuler les items de la checklist avec 4 dimensions de Hodges Question: comment avoir une échelle

Résultats principaux Validité: Fiabilité Impact éducatif Crédibilité Validité externe: reflète ce qui est recommandé dans la littérature/enseigné Validité interne: Cronbach > 0.7-0.8 Certains items: haut score de réussite mais Rpbis très bas Fiabilité Jamais été mesurée Pas d’examens fiables car pas assez de stations Impact éducatif monitoring difficile Crédibilité Cadre de référence utilisé Faisabilité et coût Peu de coût car formation des formateurs absente ou très partielle

A discuter Choix de la grille (mélange checklist et dimensions globales)? Obtenir consensus entre enseignants en communication éléments checklist en lien avec les dimensions de Hodges?