L’évaluation en stage clinique Jean JOUQUAN Bureau de Pédagogie Médicale Faculté de Médecine de Brest, Université de Bretagne Occidentale XVI° Journées universitaires francophones de pédagogie médicale. Cotonou, 6 avril 2005 Session organisée sous l’égide de la

 Evaluation de l’enseignement (formations) Evaluation Outcome-based education Institutions (Politiques) Programmes (Curriculum) Cours et/ou stages (Interventions) Evaluation de l’enseignement (formations)  Evaluation Evaluation des apprentissages (étudiants) Connaissances (Ce que l’on sait) Compétences (Ce que l’on sait faire) Performances (Ce que l’on fait) Conséquences, impact

Quels sont les enjeux et quel est l’objet de l’évaluation des apprentissages en stage? De quels outils d’évaluation des apprentissages en stage dispose t-on? Y a-t-il des bons et des mauvais outils pour l’évaluation des apprentissages en stage? Quelles recommandations peut-on formuler pour l’évaluation des apprentissages en stage? Quelques questions de recherche concernant l’évaluation des apprentissages en stage

Quels sont les enjeux et quel est l’objet de l’évaluation des apprentissages en stage?

The clinical teaching context: a cause for concern. Le contexte des stages cliniques est potentiellement le contexte le plus motivant et le plus puissant pour l’enseignement et l’apprentissage des compétences cliniques intégrées. D. Prideaux et al. Clinical teaching: maintaining an educational role for doctors in the new health care environment Med Educ 2000; 34 : 820-826 Les stages cliniques (externat) sont loin de fournir régulièrement un environnement d’apprentissage idéal pour les étudiants. R. Remmen et al. An evaluation study of the didactic quality of clerkships Med Educ 2000; 34 : 820-826 The clinical teaching context: a cause for concern. J.Spencer Med Educ 2003; 37 : 182-183

« Evaluation drives curriculum » G. Miller, 1961 «  Si vous voulez savoir ce que font les professeurs, regardez le programme … » « …si vous voulez savoir ce que font les étudiants, regardez le système d’évaluation !» G. Norman, 1991

Professionnalisme Ethique Compétence clinique Attitudes Habiletés Connaissances Connaissances hautement organisées Processus de contrôle de haut niveau Raisonnement clinique Investigation Décisions thérapeutiques Education du patient Performances cliniques Action médicale Ethique

Prévention/maintien de la santé Soins primaires Santé des populations Les problèmes de santé rencontrés en stage sont-ils représentatifs des futures pratiques professionnelles des étudiants ? Prévention/maintien de la santé Soins primaires Santé des populations Continuité des soins Soins communautaires Modèle bio-psycho-social Maladies/soins aigus Soins secondaires/tertiaires Santé des individus Soins intermittents/ traitement des épisodes Soins en institution Modèle bio-clinique

Quels sont les enjeux et quel est l’objet de l’évaluation des apprentissages en stage? De quels outils d’évaluation des apprentissages en stage dispose t-on?

       Compétence clinique Raisonnement clinique Attitudes Habiletés Connaissances Raisonnement clinique (Résolution de problèmes)   Connaissances hautement organisées Processus de contrôle de haut niveau   Performances cliniques  Pratiques médicales réelles Modifié d ’après Newble, Norman et Van der Vleuten, 2000

Exigence d’information Respect de la dignité   Professionnalisme    Altruisme Sens du devoir Exigence d’information  Autonomie Compétence clinique Responsabilité Respect  Action médicale  Excellence Empathie  Intégrité Bienfaisance Consentement  Ethique 

Questions à réponse ouverte et courte (QROC) Tâches académiques Questions à réponse ouverte et courte (QROC) Questions à choix multiples (QCM) Cartes conceptuelles (Concept mapping) Représentations visuelles et propositionnelles de concepts thématisés, liés entre eux par une relation explicitement nommée (causalité, conditionnalité, identité, …) organisés hiérarchiquement, à l’égard desquelles un jugement qualitatif ou semi-quantitatif peut être porté.).

Tâches professionnelles simulées ou modélisées (1) Analyse de cas cliniques [Patients Management Problem (PMP)] ; Sequential Managment Problem (SMP) ; Modified Essay Question (MEQ)] Dossier clinique (sous forme papier ou sous forme numérique) dont les informations sont fournies de manière séquentielle, linéaire ou bien algorithmique, à la demande de l’étudiant, après chacune de ses réponses (ouvertes ou fermées). La démarche employée par l’étudiant est comparée à celle d’un expert ou d’un groupe de référence et l’appréciation est formulée à l’aide de scores plus ou moins combinés.

Tâches professionnelles simulées ou modélisées (2) Test de concordance de script (TCS) Un problème clinique est soumis à l’étudiant qui doit interpréter des données et prendre des décisions. Des hypothèses d’interprétation ou de décisions lui sont fournies en même temps que des informations nouvelles lui sont communiquées. L’étudiant doit indiquer à l’aide d’une échelle l’importance du crédit ou du discrédit que l’information nouvelle apporte à l’hypothèse. Un score est attribué en prenant en compte des prévalences respectives de plusieurs opinions d’experts.

Tâches professionnelles simulées ou modélisées (3) Examen Clinique Objectif Structuré (ECOS) Une personne (bien portant, patient stabilisé, comédien) est entraînée à jouer de manière reproductible le rôle standardisé d’un patient. Les activités d’interrogatoire, d’examen physique, d’éducation et de conseil de l’étudiant sont appréciées à l’aide de « check-lists », d’échelles de cotation, élémentaires ou globales. Des tâches procédurales complémentaires exploitant divers matériels (mannequins, imagerie, résultats de laboratoire, ECG,…) sont prescrites et côtées. L’ensemble fait l’objet de « stations » d’évaluation (indépendantes ou complémentaires) codifiées.

Formulaire d’observations longitudinales Observation directe de l’étudiant dans une tâche professionnelle non standardisée (1) Formulaire d’observations longitudinales Des échelles de notation sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, l’interrogatoire, l’examen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, l’humanisme, le professionnalisme, la compétence générale. Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3), satisfaisantes (4-6), supérieures (7-9).

Clinical Evaluation Exercise (CEX) Observation directe de l’étudiant dans une tâche professionnelle non standardisée (2) Clinical Evaluation Exercise (CEX) L’étudiant est observé pendant qu’il interroge et examine un patient puis il présente le cas et en discute la gestion. La cotation est faite à l’aide d’une échelle d’évaluation à 9 points Objective Structured Long Examination Record (OSLER) L’étudiant est observé par 2 examinateurs pendant qu’il interroge et examine un patient puis il argumente sa prise en charge. Les examinateurs fondent leur jugement en appréciant 10 items. Chaque item fait l’objet d’une cotation (en 3 grades) et d’un score (en 9 paliers de 35 à 80), étayée par des descripteurs critèriés.

Audit de dossiers médicaux Outils visant à documenter des apprentissages effectués à partir de pratiques réelles  Audit de dossiers médicaux Des « biopsies » sont effectuées parmi les dossiers des patients pris en charge par les étudiants. Les informations « objectives » du dossier (observations, pancartes, courrier, prescriptions, feuilles de surveillance…) sont analysées et appréciées .

Outils visant à documenter des apprentissages effectués à partir de pratiques réelles  Portfolio Collections organisées de matériel apportant des informations sur les apprentissages effectués et sur les compétences développées par un étudiant au cours d'une période : -récits de problèmes complets ou de certains évènements (échecs, incidents,...), notes d'analyse bibliographique, résumés d'entretiens avec des personnes ressources, descriptions de projets en cours, "journaux de bord" d'activités professionnelles, vidéo-clips d'entretiens avec des patients ou de tâches procédurales, .... ; -une analyse réflexive développée à partir de cette base d’information.

Quels sont les enjeux et quel est l’objet de l’évaluation des apprentissages en stage? De quels outils d’évaluation des apprentissages en stage dispose t-on? Y a-t-il des bons et des mauvais outils pour l’évaluation des apprentissages en stage?

La démarche évaluative 1. Recueillir des informations relatives aux apprentissages réalisés pendant et/ou à l’issue d’une période de stage 2. Interpréter ces informations afin de porter un jugement quant à la valeur de ces apprentissages 3. Dans le but de prendre une décision

Quelques conceptions et/ou pratiques erronées en matière d’évaluation (1) L’évaluation se limite au recueil des informations (souvent à l’aide d’une mesure) 9, 5 /20 (mesure) mauvais (jugement) ajourné (décision) 10, 5 /20 (mesure) bon (jugement) reçu (décision)

« étudiant intelligent très motivé » « travail insuffisant » Quelques conceptions et/ou pratiques erronées en matière d’évaluation (2) L’évaluation se limite au jugement (les informations qui l’étayent ne sont pas connues ou ne sont pas explicites) « très bon stage » « étudiant intelligent très motivé » « travail insuffisant »

Quelques conceptions et/ou pratiques erronées en matière d’évaluation (3) La mesure est confondue avec la note Le résultat d’une mesure est un score (résultat ou somme des résultats à des tests) La note est une manière codifiée de communiquer le résultat d’une évaluation (décision) et de le rendre public - valeur numérique [8/20, 80/100] - ou cote littérale : A, B, …

La perspective DOCIMOLOGIQUE de l ’évaluation La perspective de l ’évaluation « AUTHENTIQUE » (in-training assessment) Les informations relatives aux apprentissages doivent résulter d’une mesure La qualité métrologique des instruments de mesure est le garant de la rigueur de l’évaluation Les apprentissages sont mesurés indirectement grâce à des tests (tâches) standardisés Clivage entre les situations d ’apprentissage et les situations d ’évaluation Les informations relatives aux apprentissages résultent de procédures éclectiques Les critères de rigueur sont ceux de l’approche qualitative Les apprentissages sont appréciés directement à partir de performances, de travaux personnels des étudiants Enchâssement de l’évaluation dans les situations d’apprentissage

Problème à résoudre Problème simple (well structured problem) tous les indices sont disponibles d ’emblée la solution requiert des tâches familières peuvent être résolus avec un haut degré de certitude les experts s’accordent sur la nature de la solution correcte Problème complexe (ill structured problem) les indices nécessaires à la solution ne sont pas (tous) disponibles d ’emblée le problème évolue au cours de son investigation la solution n ’est pas standardisée mais unique ne peuvent pas être résolus avec un haut degré de certitude Les experts sont souvent en désaccord quant à la meilleure solution à mettre en œuvre, même quand le problème peut être considéré comme ayant été résolu But visé : appliquer la « bonne » solution But visé : élaborer et argumenter l’une des solutions raisonnables possibles

Cueillette orientée de données RAISONNEMENT CLINIQUE Un processus général qui s ’opère sur et grâce à des connaissances spécifiques Acquisition initiale d ’informations Genèse d ’hypothèses Cueillette orientée de données Evaluation des hypothèses Sélection Confirmation du diagnostic Planification du traitement

Raisonnement clinique Stratégies générales Processus souhaité Processus déficient Génération précoce de plusieurs hypothèses Ancrage persistant Ouverture adéquate des hypothèses Fermeture précoce des hypothèses Hypothèses concurrentielles, flexibilité Une seule hypothèse à la fois, rigidité Ensemble complet d’hypothèses Ensemble incomplet d’hypothèses Collecte de données orientée par les hypothèses Collecte de données « désengagée » Collecte stratégique de données discriminantes Collecte routinière de données peu discriminantes Réévaluation pertinente des hypothèses Mauvaise interprétation des données

Quels sont les enjeux et quel est l’objet de l’évaluation des apprentissages en stage? De quels outils d’évaluation des apprentissages en stage dispose t-on? Y a-t-il des bons et des mauvais outils pour l’évaluation des apprentissages en stage? Quelles recommandations peut-on formuler pour l’évaluation des apprentissages en stage?

L ’introuvable « étalon or » (1) Le problème des outils pour évaluer la compétence Aucun outil d ’évaluation utilisé isolément n’est capable d ’évaluer adéquatement les connaissances, habiletés et attitudes d ’un résident. Holmboe ES, Hawkins RE. 1998 Il est peu encourageant mais probablement véridique de dire que nous n ’avons aucune méthode raisonnablement fiable pour évaluer la compétence clinique. Newble D, Norman G, Van der Vleuten. 2000 Il n ’y a aucune méthode idéale pour évaluer la compétence médicale -Donabedian A. 2000

L ’introuvable « étalon or » (2) Le problème de la définition des « standards » Malheureusement, nous ne disposons pas de critère de référence objectif pour déterminer quels devraient être les standards ; de ce fait, nous n ’avons aucune méthode probante pour décider si un standard est trop haut ou trop bas. Kane MT, Crooks TJ et Cohen AS., 1999 La plupart des procédures d ’établissement des standards pour l ’évaluation des compétences sont discutables en raison de leur caractère arbitraire et de leur non-fidélité. Friedman BenDavid M. 2000

8 recommandations pragmatiques Utiliser plusieurs outils d’évaluation des apprentissages en stage Tâches standardisées et tâches authentiques Tâches explorant à la fois le processus et le résultat Utiliser chaque outil plusieurs fois au cours d’un stage Echantillon varié et représentatif de « cas cliniques » Nombre suffisant d’interactions avec des patients ou des patients « standardisés » Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants. Cotation selon jugement global vs cotation avec check-list

8 recommandations pragmatiques Utiliser des procédures d ’évaluation cohérentes avec les options pédagogiques conceptuelles du programme, compte tenu des conséquences attendues chez les étudiants. Raisonnement clinique vs recueil protocolaire de l’observation Problèmes complexes vs problèmes simples Lorsque des entrevues avec des patients sont exploitées pour l’évaluation des apprentissages en stage Observer directement l’étudiant pendant son interaction avec le patient Faire verbaliser à haute voix l’étudiant sur le processus qu’il a développé

8 recommandations pragmatiques Si l’auto-évaluation des étudiants est sollicitée dans le cadre de la démarche évaluative, l’accompagner systématiquement d’un dispositif de rétro-action (supervisions cliniques récurrentes, tutorat, … Rendre explicite aux étudiants, dès le début du stage, la nature des tâches d’évaluation et les critères qui seront pris en compte pour la correction et/ou pour la détermination de la réussite. Développer des procédures d ’évaluation cohérentes avec les ressources du programmes (évaluateurs, budget, temps, logistique de soutien,…) et avec les valeurs culturelles et sociales

Conclusions Dispose t-on d ’un outil « idéal » d ’évaluation des apprentissages en stage? Peut-on se dispenser d ’évaluer les compétences cliniques et professionnelles?. Quels sont les « moins  mauvais » outils d ’évaluation des compétences cliniques et professionnelles ? Faut-il «uniformiser» les procédures d ’évaluation des compétences dans toutes les facultés? Comment répondre à « l ’exigence sociale de qualité » Comment peut-on améliorer le dispositif?

Quelques questions de recherche actuelles concernant l’évaluation en stage Combien d’observateurs et combien d’évaluations sont-elles nécessaires pour fournir des renseignements valides et fidèles sur la compétence clinique ? Quels attributs comportementaux faut-il évaluer pour prédire avec sécurité un niveau acceptable de compétence clinique ? D’autres modèles théoriques de la compétence clinique permettraient –ils de développer des procédures plus acceptables en termes de faisabilité ?

Questions d’ordre ontologique : quelle est la nature des apprentissages à évaluer ? Questions d’ordre épistémologique : quelle relation l’évaluateur doit-il entretenir avec l’apprenant à évaluer ? Questions d’ordre méthodologique : quels sont les outils qui offrent le meilleur compromis entre qualités psychométriques et qualités éducationnelle ? Processus de nature éthique : au nom de quoi avons-nous pris nos décisions ?