La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Lévaluation en stage clinique XVI° Journées universitaires francophones de pédagogie médicale. Cotonou, 6 avril 2005 Session organisée sous légide de la.

Présentations similaires


Présentation au sujet: "Lévaluation en stage clinique XVI° Journées universitaires francophones de pédagogie médicale. Cotonou, 6 avril 2005 Session organisée sous légide de la."— Transcription de la présentation:

1 Lévaluation en stage clinique XVI° Journées universitaires francophones de pédagogie médicale. Cotonou, 6 avril 2005 Session organisée sous légide de la Jean JOUQUAN Bureau de Pédagogie Médicale Faculté de Médecine de Brest, Université de Bretagne Occidentale

2 Evaluation Institutions (Politiques) Programmes (Curriculum) Cours et/ou stages (Interventions) Connaissances (Ce que lon sait) Compétences (Ce que lon sait faire) Performances (Ce que lon fait) Evaluation de lenseignement (formations) Evaluation des apprentissages (étudiants)

3 Quels sont les enjeux et quel est lobjet de lévaluation des apprentissages en stage? Y a-t-il des bons et des mauvais outils pour lévaluation des apprentissages en stage? De quels outils dévaluation des apprentissages en stage dispose t-on? Quelles recommandations peut-on formuler pour lévaluation des apprentissages en stage? Quelques questions de recherche concernant lévaluation des apprentissages en stage

4 Quels sont les enjeux et quel est lobjet de lévaluation des apprentissages en stage?

5 Le contexte des stages cliniques est potentiellement le contexte le plus motivant et le plus puissant pour lenseignement et lapprentissage des compétences cliniques intégrées. D. Prideaux et al. Clinical teaching: maintaining an educational role for doctors in the new health care environment Med Educ 2000; 34 : Les stages cliniques (externat) sont loin de fournir régulièrement un environnement dapprentissage idéal pour les étudiants. R. Remmen et al. An evaluation study of the didactic quality of clerkships Med Educ 2000; 34 : The clinical teaching context: a cause for concern. J.Spencer Med Educ 2003; 37 :

6 « Evaluation drives curriculum » G. Miller, 1961 « Si vous voulez savoir ce que font les professeurs, regardez le programme … » « …si vous voulez savoir ce que font les étudiants, regardez le système dévaluation !» G. Norman, 1991

7 Performances cliniques Connaissances hautement organisées Processus de contrôle de haut niveau Compétence clinique Attitudes HabiletésConnaissances Raisonnement clinique Action médicale InvestigationDécisions thérapeutiques Education du patient

8 Les problèmes de santé rencontrés en stage sont-ils représentatifs des futures pratiques professionnelles des étudiants ? Maladies/soins aigus Soins secondaires/tertiaires Santé des individus Soins intermittents/ traitement des épisodes Soins en institution Modèle bio-clinique Prévention/maintien de la santé Soins primaires Santé des populations Continuité des soins Soins communautaires Modèle bio-psycho-social

9 Quels sont les enjeux et quel est lobjet de lévaluation des apprentissages en stage? De quels outils dévaluation des apprentissages en stage dispose t-on?

10 Performances cliniques Connaissances hautement organisées Processus de contrôle de haut niveau Compétence clinique Attitudes HabiletésConnaissances Raisonnement clinique (Résolution de problèmes) Pratiques médicales réelles Modifié d après Newble, Norman et Van der Vleuten, 2000

11 Compétence clinique Action médicale Altruisme Intégrité Responsabilité Sens du devoir Respect Empathie Excellence Consentement Bienfaisance Autonomie Exigence dinformation Respect de la dignité

12 Tâches académiques Questions à réponse ouverte et courte (QROC) Questions à choix multiples (QCM) Cartes conceptuelles (Concept mapping) Représentations visuelles et propositionnelles de concepts thématisés, liés entre eux par une relation explicitement nommée (causalité, conditionnalité, identité, …) organisés hiérarchiquement, à légard desquelles un jugement qualitatif ou semi-quantitatif peut être porté.).

13 Tâches professionnelles simulées ou modélisées (1) Analyse de cas cliniques [Patients Management Problem (PMP)] ; Sequential Managment Problem (SMP) ; Modified Essay Question (MEQ)] Dossier clinique (sous forme papier ou sous forme numérique) dont les informations sont fournies de manière séquentielle, linéaire ou bien algorithmique, à la demande de létudiant, après chacune de ses réponses (ouvertes ou fermées). La démarche employée par létudiant est comparée à celle dun expert ou dun groupe de référence et lappréciation est formulée à laide de scores plus ou moins combinés.

14 Tâches professionnelles simulées ou modélisées (2) Test de concordance de script (TCS) Un problème clinique est soumis à létudiant qui doit interpréter des données et prendre des décisions. Des hypothèses dinterprétation ou de décisions lui sont fournies en même temps que des informations nouvelles lui sont communiquées. Létudiant doit indiquer à laide dune échelle limportance du crédit ou du discrédit que linformation nouvelle apporte à lhypothèse. Un score est attribué en prenant en compte des prévalences respectives de plusieurs opinions dexperts.

15 Tâches professionnelles simulées ou modélisées (3) Examen Clinique Objectif Structuré (ECOS) Une personne (bien portant, patient stabilisé, comédien) est entraînée à jouer de manière reproductible le rôle standardisé dun patient. Les activités dinterrogatoire, dexamen physique, déducation et de conseil de létudiant sont appréciées à laide de « check-lists », déchelles de cotation, élémentaires ou globales. Des tâches procédurales complémentaires exploitant divers matériels (mannequins, imagerie, résultats de laboratoire, ECG,…) sont prescrites et côtées. Lensemble fait lobjet de « stations » dévaluation (indépendantes ou complémentaires) codifiées.

16 Observation directe de létudiant dans une tâche professionnelle non standardisée (1) Formulaire dobservations longitudinales Des échelles de notation sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, linterrogatoire, lexamen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, lhumanisme, le professionnalisme, la compétence générale. Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3), satisfaisantes (4-6), supérieures (7-9).

17 Observation directe de létudiant dans une tâche professionnelle non standardisée (2) Clinical Evaluation Exercise (CEX) Létudiant est observé pendant quil interroge et examine un patient puis il présente le cas et en discute la gestion. La cotation est faite à laide dune échelle dévaluation à 9 points Objective Structured Long Examination Record (OSLER) Létudiant est observé par 2 examinateurs pendant quil interroge et examine un patient puis il argumente sa prise en charge. Les examinateurs fondent leur jugement en appréciant 10 items. Chaque item fait lobjet dune cotation (en 3 grades) et dun score (en 9 paliers de 35 à 80), étayée par des descripteurs critèriés.

18 Outils visant à documenter des apprentissages effectués à partir de pratiques réelles Audit de dossiers médicaux Des « biopsies » sont effectuées parmi les dossiers des patients pris en charge par les étudiants. Les informations « objectives » du dossier (observations, pancartes, courrier, prescriptions, feuilles de surveillance…) sont analysées et appréciées.

19 Outils visant à documenter des apprentissages effectués à partir de pratiques réelles Portfolio Collections organisées de matériel apportant des informations sur les apprentissages effectués et sur les compétences développées par un étudiant au cours d'une période : -récits de problèmes complets ou de certains évènements (échecs, incidents,...), notes d'analyse bibliographique, résumés d'entretiens avec des personnes ressources, descriptions de projets en cours, "journaux de bord" d'activités professionnelles, vidéo-clips d'entretiens avec des patients ou de tâches procédurales,.... ; -une analyse réflexive développée à partir de cette base dinformation.

20 Quels sont les enjeux et quel est lobjet de lévaluation des apprentissages en stage? Y a-t-il des bons et des mauvais outils pour lévaluation des apprentissages en stage? De quels outils dévaluation des apprentissages en stage dispose t-on?

21 La démarche évaluative 1. Recueillir des informations relatives aux apprentissages réalisés pendant et/ou à lissue dune période de stage 2. Interpréter ces informations afin de porter un jugement quant à la valeur de ces apprentissages 3. Dans le but de prendre une décision

22 Quelques conceptions et/ou pratiques erronées en matière dévaluation (1) Lévaluation se limite au recueil des informations (souvent à laide dune mesure) 9, 5 /20 (mesure) mauvais (jugement) ajourné (décision) 10, 5 /20 (mesure) bon (jugement) reçu (décision)

23 Quelques conceptions et/ou pratiques erronées en matière dévaluation (2) Lévaluation se limite au jugement (les informations qui létayent ne sont pas connues ou ne sont pas explicites) « très bon stage » « étudiant intelligent très motivé » « travail insuffisant »

24 Quelques conceptions et/ou pratiques erronées en matière dévaluation (3) La mesure est confondue avec la note Le résultat dune mesure est un score (résultat ou somme des résultats à des tests) La note est une manière codifiée de communiquer le résultat dune évaluation (décision) et de le rendre public - valeur numérique [8/20, 80/100] - ou cote littérale : A, B, …

25 Les informations relatives aux apprentissages doivent résulter dune mesure La qualité métrologique des instruments de mesure est le garant de la rigueur de lévaluation Les apprentissages sont mesurés indirectement grâce à des tests (tâches) standardisés Clivage entre les situations d apprentissage et les situations d évaluation La perspective DOCIMOLOGIQUE de l évaluation La perspective de l évaluation « AUTHENTIQUE » (in-training assessment) Les informations relatives aux apprentissages résultent de procédures éclectiques Les critères de rigueur sont ceux de lapproche qualitative Les apprentissages sont appréciés directement à partir de performances, de travaux personnels des étudiants Enchâssement de lévaluation dans les situations dapprentissage

26 Problème à résoudre Problème simple (well structured problem) tous les indices sont disponibles d emblée la solution requiert des tâches familières peuvent être résolus avec un haut degré de certitude les experts saccordent sur la nature de la solution correcte Problème complexe (ill structured problem) les indices nécessaires à la solution ne sont pas (tous) disponibles d emblée le problème évolue au cours de son investigation la solution n est pas standardisée mais unique ne peuvent pas être résolus avec un haut degré de certitude Les experts sont souvent en désaccord quant à la meilleure solution à mettre en œuvre, même quand le problème peut être considéré comme ayant été résolu But visé : appliquer la « bonne » solution But visé : élaborer et argumenter lune des solutions raisonnables possibles

27 RAISONNEMENT CLINIQUE Un processus général qui s opère sur et grâce à des connaissances spécifiques Acquisition initiale d informations Genèse d hypothèses Evaluation des hypothèses Sélection Confirmation du diagnostic Planification du traitement Cueillette orientée de données

28 Raisonnement clinique Stratégies générales Processus souhaitéProcessus déficient Génération précoce de plusieurs hypothèses Ancrage persistant Ouverture adéquate des hypothèses Fermeture précoce des hypothèses Hypothèses concurrentielles, flexibilité Une seule hypothèse à la fois, rigidité Ensemble complet dhypothèses Ensemble incomplet dhypothèses Collecte de données orientée par les hypothèses Collecte de données « désengagée » Collecte stratégique de données discriminantes Collecte routinière de données peu discriminantes Réévaluation pertinente des hypothèses Mauvaise interprétation des données

29 Quels sont les enjeux et quel est lobjet de lévaluation des apprentissages en stage? Y a-t-il des bons et des mauvais outils pour lévaluation des apprentissages en stage? De quels outils dévaluation des apprentissages en stage dispose t-on? Quelles recommandations peut-on formuler pour lévaluation des apprentissages en stage?

30 L introuvable « étalon or » (1) Le problème des outils pour évaluer la compétence Aucun outil d évaluation utilisé isolément nest capable d évaluer adéquatement les connaissances, habiletés et attitudes d un résident. –Holmboe ES, Hawkins RE Il est peu encourageant mais probablement véridique de dire que nous n avons aucune méthode raisonnablement fiable pour évaluer la compétence clinique. –Newble D, Norman G, Van der Vleuten Il n y a aucune méthode idéale pour évaluer la compétence médicale - Donabedian A. 2000

31 L introuvable « étalon or » (2) Le problème de la définition des « standards » Malheureusement, nous ne disposons pas de critère de référence objectif pour déterminer quels devraient être les standards ; de ce fait, nous n avons aucune méthode probante pour décider si un standard est trop haut ou trop bas. –Kane MT, Crooks TJ et Cohen AS., 1999 La plupart des procédures d établissement des standards pour l évaluation des compétences sont discutables en raison de leur caractère arbitraire et de leur non-fidélité. –Friedman BenDavid M. 2000

32 8 recommandations pragmatiques 1.Utiliser plusieurs outils dévaluation des apprentissages en stage Tâches standardisées et tâches authentiques Tâches explorant à la fois le processus et le résultat 2.Utiliser chaque outil plusieurs fois au cours dun stage Echantillon varié et représentatif de « cas cliniques » Nombre suffisant dinteractions avec des patients ou des patients « standardisés » 3.Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants. Cotation selon jugement global vs cotation avec check-list

33 8 recommandations pragmatiques 4.Utiliser des procédures d évaluation cohérentes avec les options pédagogiques conceptuelles du programme, compte tenu des conséquences attendues chez les étudiants. Raisonnement clinique vs recueil protocolaire de lobservation Problèmes complexes vs problèmes simples 5.Lorsque des entrevues avec des patients sont exploitées pour lévaluation des apprentissages en stage Observer directement létudiant pendant son interaction avec le patient Faire verbaliser à haute voix létudiant sur le processus quil a développé

34 8 recommandations pragmatiques 8.Développer des procédures d évaluation cohérentes avec les ressources du programmes (évaluateurs, budget, temps, logistique de soutien,…) et avec les valeurs culturelles et sociales 6.Si lauto-évaluation des étudiants est sollicitée dans le cadre de la démarche évaluative, laccompagner systématiquement dun dispositif de rétro-action (supervisions cliniques récurrentes, tutorat, … 7.Rendre explicite aux étudiants, dès le début du stage, la nature des tâches dévaluation et les critères qui seront pris en compte pour la correction et/ou pour la détermination de la réussite.

35 Conclusions Dispose t-on d un outil « idéal » d évaluation des apprentissages en stage? Peut-on se dispenser d évaluer les compétences cliniques et professionnelles?. Quels sont les « moins mauvais » outils d évaluation des compétences cliniques et professionnelles ? Faut-il «uniformiser» les procédures d évaluation des compétences dans toutes les facultés? Comment répondre à « l exigence sociale de qualité » Comment peut-on améliorer le dispositif?

36 Combien dobservateurs et combien dévaluations sont-elles nécessaires pour fournir des renseignements valides et fidèles sur la compétence clinique ? Quels attributs comportementaux faut-il évaluer pour prédire avec sécurité un niveau acceptable de compétence clinique ? Dautres modèles théoriques de la compétence clinique permettraient –ils de développer des procédures plus acceptables en termes de faisabilité ? Quelques questions de recherche actuelles concernant lévaluation en stage

37 Questions dordre ontologique : quelle est la nature des apprentissages à évaluer ? Questions dordre méthodologique : quels sont les outils qui offrent le meilleur compromis entre qualités psychométriques et qualités éducationnelle ? Questions dordre épistémologique : quelle relation lévaluateur doit-il entretenir avec lapprenant à évaluer ? Processus de nature éthique : au nom de quoi avons-nous pris nos décisions ?

38


Télécharger ppt "Lévaluation en stage clinique XVI° Journées universitaires francophones de pédagogie médicale. Cotonou, 6 avril 2005 Session organisée sous légide de la."

Présentations similaires


Annonces Google