Pr. Didier GIET Valérie MASSART CDS – 23 mai 2007 Université de Liège Département de Médecine Générale Boîtiers de votes et simulation du Test de Concordance de Script (TCS) à la Faculté de Médecine de l’Université de Liège Pr. Didier GIET Valérie MASSART CDS – 23 mai 2007

1. contexte de la mise en place du TCS sommaire 1. contexte de la mise en place du TCS 2. procédure de simulation du TCS 3. exemples d’exercices proposés aux étudiants DG

oral multidisciplinaire contexte procédure exemples dispositifs d’évaluation mis en place à la Faculté de Médecine de l’ULg ECOS/EMS évaluation V-F oral multidisciplinaire stages …  CONSTAT : manque d’évaluation du raisonnement dans un contexte d’incertitude DG

contexte procédure exemples Test de Concordance de Script (TCS) proposé depuis 2003 à des étudiants volontaires de 4ème doctorat à titre expérimental (non sanctionnant)

depuis 2003, récolte et analyse des données contexte procédure exemples depuis 2003, récolte et analyse des données  place du TCS dans le panel d’évaluations de fin de formation prégraduée médicale ? pertinence

mai juin contexte procédure exemples présentation de l’expérience présentation du TCS simulation de l’examen avec boîtiers de votes juin 4. passation du TCS sur papier 5. feed-back différés VM

1. présentation de l’expérience contexte procédure exemples 1. présentation de l’expérience constats et besoins de la Faculté évaluation : - globale - professionnalisante - informative - longitudinale - évaluation de connaissances - précision variable de l’évaluation des compétences - évaluations sanctionnantes (≠ informatives) 1. Depuis que les universités existent  les connaissances des étudiants sont évaluées par les enseignants et se distribuent de manière assez superposable d’année en année que ce soit un examen oral ou un examen écrit. 2. Depuis quelque(s) dizaine(s) d’années  les compétences des étudiants sont évaluées par les enseignants avec une précision variable (stages, ECOS,…) 3. La plupart des évaluations sont « sanctionnantes » plutôt qu’ (in)formatives BESOINS : - Une évaluation globale de la formation - Une évaluation professionnelle, qui porte sur l’utilisation des connaissances, la compétence - Une évaluation informative, qui permet à chaque étudiant de situer ses acquis et aux enseignants de mesurer les effets de leurs stratégies - Une évaluation longitudinale, qui inscrit tout changement dans une ligne de progrès  TCS

2. présentation du TCS contexte procédure exemples - évaluation du raisonnement clinique - évaluation de la capacité à résoudre des problèmes mal définis  expertise professionnelle - discriminant (novices / experts) - évaluation du raisonnement clinique (actuellement non évalué de manière spécifique dans les procédures actuelles)

procédure contexte exemples Ghislaine, 45 ans, souffre de migraines depuis 4 semaines. Elle est inquiète et vous consulte pour obtenir un diagnostic. Si vous pensiez demander Et que vous apprenez que Demander ce test devient un scanner cérébral l’effet du paracétamol est fugace -2 -1 +1 +2 -2 inutile ou non pertinent -1 moins utile, moins pertinent l’information n’a aucun effet sur la pertinence de l’hypothèse envisagée +1 plus utile +2 indispensable

procédure contexte exemples scénario : vie clinique réelle Ghislaine, 45 ans, souffre de migraines depuis 4 semaines. Elle est inquiète et vous consulte pour obtenir un diagnostic. scénario : vie clinique réelle problème, même pour un expert Si vous pensiez demander Et que vous apprenez que Demander ce test devient un scanner cérébral l’effet du paracétamol est fugace -2 -1 +1 +2 quel effet sur le statut de votre opinion ? une des options pertinentes nouvelle donnée Les principes du TCS sont décrits ci-après : - Le candidat est placé dans un contexte clinique authentique, décrit dans une vignette. - Ce contexte clinique représente un problème même pour un clinicien averti, soit parce qu'il n'y a pas assez de données soit parce qu'elles sont ambigües. - Plusieurs options de diagnostic, d'investigation ou de traitement sont pertinentes dans la situation. - Les items (question) sont bâtis à partir des questions que se posent les cliniciens expérimentés dans un tel contexte clinique. - L'item correspond à la présentation d'une des options pertinentes et d'une nouvelle donnée (non décrite dans la vignette). La tâche pour l'étudiant consiste à determiner l'effet que cette nouvelle donnée a sur le statut de l'option. La réponse du candidat est recueillie sur une échelle de Likert. Les différents points de l'échelle correspondent à des valeurs positives (l'option est renforcée par la nouvelle donnée), neutre (la donnée ne modifie pas le statut de l'option) ou négative (l'option est infirmée par la donnée). DANS CE CAS, une des options pertienentes. Tâche réelle : contexte authentique 2. C’est un problème même pour un expert : il existe plusieurs options face à une telle situation, pas de réponse univoque. 3. La tâche. Dans un contexte clinique : apport d’une des options pertinentes, une nouvelle donnée, quel effet sur le statut de votre opinion ?  micro-jugement au sein d’un processus ; il n’y a pas qu’une seule réponse possible 4. Format de réponse : Échelle de likert La façon dont les cliniciens traitent les données Modèle de catégorisation / scripts --> Il s’agit d’une évaluation standardisée des problèmes mal définis : Format du stimulus identique pour tous les étudiants ( ce qui n’est pas le cas en situztion de stage par exemple : les étudiants sont évalués au chevet d’un patient; pas le même pr ts les étu) Format de réponse identique Le système d’établissement des scores est identiques, et validés. -2 inutile ou non pertinent -1 moins utile, moins pertinent l’information n’a aucun effet sur la pertinence de l’hypothèse envisagée +1 plus utile +2 indispensable échelle de Likert

test de CONCORDANCE de scripts contexte procédure exemples groupe d’experts passent le test la réponse de chaque expert reflète une opinion valide exemple : 10 membres -2 -1 +1 +2 3 experts 7 experts score : diviser par la valeur la plus haute 3/7 = 0,42 pt 7/7 = 1 pt 0/7 = 0 pt 0/7 = 0 pt 0/7 = 0 pt crédit de l’étudiant fonction du nb de réponses des experts test de CONCORDANCE de scripts

3. simulation de l’examen avec boîtiers de votes contexte procédure exemples 3. simulation de l’examen avec boîtiers de votes permet aux étudiants de : - se familiariser avec le TCS - recevoir un FB immédiat : confrontation des scripts étu-experts - évaluation du raisonnement clinique (actuellement non évalué de manière spécifique dans les procédures actuelles)

1. diagnostic  6 exercices 2. investigation  6 exercices contexte procédure exemples simulation du TCS 3 types de questions 1. diagnostic  6 exercices 2. investigation  6 exercices 3. traitement  6 exercices - évaluation du raisonnement clinique (actuellement non évalué de manière spécifique dans les procédures actuelles) DG

contexte procédure exemples question diagnostique Madame Dumont est âgée de 79 ans. Elle développe une éruption érythémato-vésiculeuse confluente au niveau d’un membre inférieur. si votre hypothèse est et que vous apprenez que l’effet sur l’hypothèse diagnostique est un zona elle ne décrit aucune douleur -2 -1 0 +1 +2 -2 l’hypothèse est absolument ou pratiquement éliminée 1 l’hypothèse devient moins probable 0 l’information n’a aucun effet sur l’hypothèse +1 l’hypothèse devient plus probable +2 il ne peut s’agit pratiquement que de cette hypothèse

contexte procédure exemples avis des experts question diagnostique Madame Dumont est âgée de 79 ans. Elle développe une éruption érythémato-vésiculeuse confluente au niveau d’un membre inférieur. si votre hypothèse est et que vous apprenez que l’effet sur l’hypothèse diagnostique est un zona elle ne décrit aucune douleur -2 -1 0 +1 +2 avis des experts -2 l’hypothèse est absolument ou pratiquement éliminée 1 l’hypothèse devient moins probable 0 l’information n’a aucun effet sur l’hypothèse +1 l’hypothèse devient plus probable +2 il ne peut s’agit pratiquement que de cette hypothèse 2 0,4 5 1 2 0,4 1 0,2

question d’investigation contexte procédure exemples question d’investigation Yves, 52 ans, présente une vive douleur lombaire basse irradiée en hémi-ceinture depuis 12 heures. Si vous pensiez demander et que vous apprenez que demander ce test devient un abdomen à blanc la tigette urinaire est positive pour les nitrites -2 -1 0 +1 +2 -2 inutile ou non pertinent -1 moins utile, moins pertinent 0 l’information n’a aucun effet sur la pertinence de l’hypothèse envisagée +1 plus utile +2 indispensable

question d’investigation contexte procédure exemples question d’investigation Yves, 52 ans, présente une vive douleur lombaire basse irradiée en hémi-ceinture depuis 12 heures. Si vous pensiez demander et que vous apprenez que demander ce test devient un abdomen à blanc la tigette urinaire est positive pour les nitrites -2 -1 0 +1 +2 avis des experts -2 inutile ou non pertinent -1 moins utile, moins pertinent 0 l’information n’a aucun effet sur la pertinence de l’hypothèse envisagée +1 plus utile +2 indispensable 1 0,3 2 0,5 4 1 3 0,8

question de traitement contexte procédure exemples question de traitement Martine, 23 ans, présente un œil rouge et prurigineux. Si vous pensiez donner et que vous apprenez que L’attitude envisagée devient Frakidex® (collyre corticoïdes) son fils de 3 ans a vécu une histoire clinique semblable la semaine dernière -2 -1 0 +1 +2 -2 inutile ou non pertinente -1 moins utile, moins pertinente 0 non influencée par la nouvelle donnée +1 utile et souhaitable +2 indispensable

question de traitement contexte procédure exemples question de traitement Martine, 23 ans, présente un œil rouge et prurigineux. Si vous pensiez donner et que vous apprenez que L’attitude envisagée devient Frakidex® (collyre corticoïdes) son fils de 3 ans a vécu une histoire clinique semblable la semaine dernière -2 -1 0 +1 +2 avis des experts -2 inutile ou non pertinente -1 moins utile, moins pertinente 0 non influencée par la nouvelle donnée +1 utile et souhaitable +2 indispensable 5 1 2 0,4 3 0,6

contexte procédure exemples courbe des résultats par matière Résultats TCS 2004, envoyés aux étudiants courbe des résultats par matière résultats (notes) de l’étudiant

contexte procédure exemples Résultats TCS 2004, envoyés aux étudiants : corrélation TCS-examens

merci pour votre attention ! Université de Liège Département de Médecine Générale merci pour votre attention !