Pr. Didier GIET Valérie MASSART CDS – 23 mai 2007

Présentation au sujet: "Pr. Didier GIET Valérie MASSART CDS – 23 mai 2007"— Transcription de la présentation:

1 Pr. Didier GIET Valérie MASSART CDS – 23 mai 2007
Université de Liège Département de Médecine Générale Boîtiers de votes et simulation du Test de Concordance de Script (TCS) à la Faculté de Médecine de l’Université de Liège Pr. Didier GIET Valérie MASSART CDS – 23 mai 2007

2 1. contexte de la mise en place du TCS
sommaire 1. contexte de la mise en place du TCS 2. procédure de simulation du TCS 3. exemples d’exercices proposés aux étudiants DG

3 oral multidisciplinaire
contexte procédure exemples dispositifs d’évaluation mis en place à la Faculté de Médecine de l’ULg ECOS/EMS évaluation V-F oral multidisciplinaire stages …  CONSTAT : manque d’évaluation du raisonnement dans un contexte d’incertitude DG

4 contexte procédure exemples Test de Concordance de Script (TCS)
proposé depuis 2003 à des étudiants volontaires de 4ème doctorat à titre expérimental (non sanctionnant)

5 depuis 2003, récolte et analyse des données
contexte procédure exemples depuis 2003, récolte et analyse des données  place du TCS dans le panel d’évaluations de fin de formation prégraduée médicale ? pertinence

6 mai juin contexte procédure exemples présentation de l’expérience
présentation du TCS simulation de l’examen avec boîtiers de votes juin 4. passation du TCS sur papier 5. feed-back différés VM

7 1. présentation de l’expérience
contexte procédure exemples 1. présentation de l’expérience constats et besoins de la Faculté évaluation : - globale - professionnalisante - informative - longitudinale - évaluation de connaissances - précision variable de l’évaluation des compétences - évaluations sanctionnantes (≠ informatives) 1. Depuis que les universités existent  les connaissances des étudiants sont évaluées par les enseignants et se distribuent de manière assez superposable d’année en année que ce soit un examen oral ou un examen écrit. 2. Depuis quelque(s) dizaine(s) d’années  les compétences des étudiants sont évaluées par les enseignants avec une précision variable (stages, ECOS,…) 3. La plupart des évaluations sont « sanctionnantes » plutôt qu’ (in)formatives BESOINS : - Une évaluation globale de la formation - Une évaluation professionnelle, qui porte sur l’utilisation des connaissances, la compétence - Une évaluation informative, qui permet à chaque étudiant de situer ses acquis et aux enseignants de mesurer les effets de leurs stratégies - Une évaluation longitudinale, qui inscrit tout changement dans une ligne de progrès  TCS

8 2. présentation du TCS contexte procédure exemples
- évaluation du raisonnement clinique - évaluation de la capacité à résoudre des problèmes mal définis  expertise professionnelle - discriminant (novices / experts) - évaluation du raisonnement clinique (actuellement non évalué de manière spécifique dans les procédures actuelles)

9 procédure contexte exemples
Ghislaine, 45 ans, souffre de migraines depuis 4 semaines. Elle est inquiète et vous consulte pour obtenir un diagnostic. Si vous pensiez demander Et que vous apprenez que Demander ce test devient un scanner cérébral l’effet du paracétamol est fugace -2 -1 +1 +2 -2 inutile ou non pertinent -1 moins utile, moins pertinent l’information n’a aucun effet sur la pertinence de l’hypothèse envisagée +1 plus utile +2 indispensable

10 procédure contexte exemples scénario : vie clinique réelle
Ghislaine, 45 ans, souffre de migraines depuis 4 semaines. Elle est inquiète et vous consulte pour obtenir un diagnostic. scénario : vie clinique réelle problème, même pour un expert Si vous pensiez demander Et que vous apprenez que Demander ce test devient un scanner cérébral l’effet du paracétamol est fugace -2 -1 +1 +2 quel effet sur le statut de votre opinion ? une des options pertinentes nouvelle donnée Les principes du TCS sont décrits ci-après : - Le candidat est placé dans un contexte clinique authentique, décrit dans une vignette. - Ce contexte clinique représente un problème même pour un clinicien averti, soit parce qu'il n'y a pas assez de données soit parce qu'elles sont ambigües. - Plusieurs options de diagnostic, d'investigation ou de traitement sont pertinentes dans la situation. - Les items (question) sont bâtis à partir des questions que se posent les cliniciens expérimentés dans un tel contexte clinique. - L'item correspond à la présentation d'une des options pertinentes et d'une nouvelle donnée (non décrite dans la vignette). La tâche pour l'étudiant consiste à determiner l'effet que cette nouvelle donnée a sur le statut de l'option. La réponse du candidat est recueillie sur une échelle de Likert. Les différents points de l'échelle correspondent à des valeurs positives (l'option est renforcée par la nouvelle donnée), neutre (la donnée ne modifie pas le statut de l'option) ou négative (l'option est infirmée par la donnée). DANS CE CAS, une des options pertienentes. Tâche réelle : contexte authentique 2. C’est un problème même pour un expert : il existe plusieurs options face à une telle situation, pas de réponse univoque. 3. La tâche. Dans un contexte clinique : apport d’une des options pertinentes, une nouvelle donnée, quel effet sur le statut de votre opinion ?  micro-jugement au sein d’un processus ; il n’y a pas qu’une seule réponse possible 4. Format de réponse : Échelle de likert La façon dont les cliniciens traitent les données Modèle de catégorisation / scripts --> Il s’agit d’une évaluation standardisée des problèmes mal définis : Format du stimulus identique pour tous les étudiants ( ce qui n’est pas le cas en situztion de stage par exemple : les étudiants sont évalués au chevet d’un patient; pas le même pr ts les étu) Format de réponse identique Le système d’établissement des scores est identiques, et validés. -2 inutile ou non pertinent -1 moins utile, moins pertinent l’information n’a aucun effet sur la pertinence de l’hypothèse envisagée +1 plus utile +2 indispensable échelle de Likert

11 test de CONCORDANCE de scripts
contexte procédure exemples groupe d’experts passent le test la réponse de chaque expert reflète une opinion valide exemple : 10 membres -2 -1 +1 +2 3 experts 7 experts score : diviser par la valeur la plus haute 3/7 = 0,42 pt 7/7 = 1 pt 0/7 = 0 pt 0/7 = 0 pt 0/7 = 0 pt crédit de l’étudiant fonction du nb de réponses des experts test de CONCORDANCE de scripts

12 3. simulation de l’examen avec boîtiers de votes
contexte procédure exemples 3. simulation de l’examen avec boîtiers de votes permet aux étudiants de : - se familiariser avec le TCS - recevoir un FB immédiat : confrontation des scripts étu-experts - évaluation du raisonnement clinique (actuellement non évalué de manière spécifique dans les procédures actuelles)

13 1. diagnostic  6 exercices 2. investigation  6 exercices
contexte procédure exemples simulation du TCS 3 types de questions 1. diagnostic  6 exercices 2. investigation  6 exercices 3. traitement  6 exercices - évaluation du raisonnement clinique (actuellement non évalué de manière spécifique dans les procédures actuelles) DG

14 contexte procédure exemples question diagnostique
Madame Dumont est âgée de 79 ans. Elle développe une éruption érythémato-vésiculeuse confluente au niveau d’un membre inférieur. si votre hypothèse est et que vous apprenez que l’effet sur l’hypothèse diagnostique est un zona elle ne décrit aucune douleur -2 l’hypothèse est absolument ou pratiquement éliminée 1 l’hypothèse devient moins probable 0 l’information n’a aucun effet sur l’hypothèse +1 l’hypothèse devient plus probable +2 il ne peut s’agit pratiquement que de cette hypothèse

15 contexte procédure exemples avis des experts question diagnostique
Madame Dumont est âgée de 79 ans. Elle développe une éruption érythémato-vésiculeuse confluente au niveau d’un membre inférieur. si votre hypothèse est et que vous apprenez que l’effet sur l’hypothèse diagnostique est un zona elle ne décrit aucune douleur avis des experts -2 l’hypothèse est absolument ou pratiquement éliminée 1 l’hypothèse devient moins probable 0 l’information n’a aucun effet sur l’hypothèse +1 l’hypothèse devient plus probable +2 il ne peut s’agit pratiquement que de cette hypothèse 2 0,4 5 1 2 0,4 1 0,2

16 question d’investigation
contexte procédure exemples question d’investigation Yves, 52 ans, présente une vive douleur lombaire basse irradiée en hémi-ceinture depuis 12 heures. Si vous pensiez demander et que vous apprenez que demander ce test devient un abdomen à blanc la tigette urinaire est positive pour les nitrites -2 inutile ou non pertinent -1 moins utile, moins pertinent 0 l’information n’a aucun effet sur la pertinence de l’hypothèse envisagée +1 plus utile +2 indispensable

17 question d’investigation
contexte procédure exemples question d’investigation Yves, 52 ans, présente une vive douleur lombaire basse irradiée en hémi-ceinture depuis 12 heures. Si vous pensiez demander et que vous apprenez que demander ce test devient un abdomen à blanc la tigette urinaire est positive pour les nitrites avis des experts -2 inutile ou non pertinent -1 moins utile, moins pertinent 0 l’information n’a aucun effet sur la pertinence de l’hypothèse envisagée +1 plus utile +2 indispensable 1 0,3 2 0,5 4 1 3 0,8

18 question de traitement
contexte procédure exemples question de traitement Martine, 23 ans, présente un œil rouge et prurigineux. Si vous pensiez donner et que vous apprenez que L’attitude envisagée devient Frakidex® (collyre corticoïdes) son fils de 3 ans a vécu une histoire clinique semblable la semaine dernière -2 inutile ou non pertinente -1 moins utile, moins pertinente 0 non influencée par la nouvelle donnée +1 utile et souhaitable +2 indispensable

19 question de traitement
contexte procédure exemples question de traitement Martine, 23 ans, présente un œil rouge et prurigineux. Si vous pensiez donner et que vous apprenez que L’attitude envisagée devient Frakidex® (collyre corticoïdes) son fils de 3 ans a vécu une histoire clinique semblable la semaine dernière avis des experts -2 inutile ou non pertinente -1 moins utile, moins pertinente 0 non influencée par la nouvelle donnée +1 utile et souhaitable +2 indispensable 5 1 2 0,4 3 0,6

20 contexte procédure exemples courbe des résultats par matière
Résultats TCS 2004, envoyés aux étudiants courbe des résultats par matière résultats (notes) de l’étudiant

21 contexte procédure exemples
Résultats TCS 2004, envoyés aux étudiants : corrélation TCS-examens

22 merci pour votre attention !
Université de Liège Département de Médecine Générale merci pour votre attention !