La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Principes d’évaluation en éducation médicale JP. Fournier Département de Pédagogie Médicale Centre de Simulation Médicale Faculté de Médecine Université.

Présentations similaires


Présentation au sujet: "Principes d’évaluation en éducation médicale JP. Fournier Département de Pédagogie Médicale Centre de Simulation Médicale Faculté de Médecine Université."— Transcription de la présentation:

1 Principes d’évaluation en éducation médicale JP. Fournier Département de Pédagogie Médicale Centre de Simulation Médicale Faculté de Médecine Université de Nice Sophia Antipolis

2 Les challenges  Compétence vs Excellence :  Impact négatif de l’examen sommatif sur le développement professionnel ultérieur ;  Importance d’examens formatifs ;  Changement de comportement d’étudiants et tuteurs ;  Novice vs Expert :  Progression du mode de raisonnement avec l’acquisition d’expertise ;  Examens adaptés ;  Validité et fidélité ;  Examen formatif vs examen sommatif. D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011 DU de Pédagogie et d’Enseignement par Simulation

3 Validité(s)  Force des conclusions et inférences que l’on peut tirer des résultats d’une évaluation ;  5 facettes « classiques » :  Validité apparente (face validity) : examen adapté à son objectif ;  Validité de contenu (content validity) : contenu de l’examen représentatif du corpus de compétences (connaissances) à mesurer ;  Validité de construit (construct validity) : aptitude à identifier les groupes par niveau d’expertise (experts vs novices) ;  Validité prédictive (predictive validity) : aptitude à prédire le futur (ex; succès professionnel après validation) ;  Validité résultante (consequential validity) : conséquences éducatives du test. D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011 DU de Pédagogie et d’Enseignement par Simulation

4 Validité de construit Origine des preuvesPreuvesConclusions ContenuTable de spécificationContenu du test représentatif Processus de réponsesConstruction du testConstruction du test satisfaisante Structure interneDonnées psychométriquesAnalyse d’items, fidélité Validité externeCorrélation avec d’autres tests Résultats concordants ConséquenceConséquences du testImpact du test D’après Downing SM. Med Educ 2003 DU de Pédagogie et d’Enseignement par Simulation

5 Fidélité (reliability)  Reproductibilité des scores dans le temps ;  Indissociable de la validité ;  Plusieurs approches pour la mesurer :  Consistance interne : score α de Cronbach ;  Théorie classique des tests ;  Théorie de la généralisabilité. D’après Downing SM Med Educ 2004 Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011 DU de Pédagogie et d’Enseignement par Simulation

6 Examen sommatif vs formatif  Opposition classique quasiment point par point ;  Ré-introduction d’examen formatifs ;  Ré-évaluation de l’importance d’examens formatifs ;  Plusieurs conséquences :  Changements culturels ;  Intégration de données formatives dans une évaluation sommative ;  Nécessité d’évaluation formative psychométriquement correcte. D’après Van der Vleuten CPM Med Educ 2005 DU de Pédagogie et d’Enseignement par Simulation

7 Les principes  Spécificité de cas ;  Table de spécification ;  Pyramide de Miller ;  Quel(s) test(s) pour quel(s) objectifs ?  Equation d’utilité. DU de Pédagogie et d’Enseignement par Simulation

8 Principes : spécificité de cas D’aprè Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011  Compétences multi facettes ;  Pas ou peu d’extrapolation d’un cas à l’autre ;  A compenser par l’augmentation du nombre de cas (et donc de la durée d’examen,…et de correction). DU de Pédagogie et d’Enseignement par Simulation

9 DU de Pédagogie et d’Enseignement par Simulation Pyramide de Miller Connaissances Utilisation des connaissances Compétences Action QCM, QROC, questions rédactionnelles Cascades, QCM à contexte riche, TCS, problèmes à résolution séquentielle Examen oral, ECOS, épreuve de clinique, simulation, TCS Observation directe, pairs, vidéo, audits D ’ après Miller Acad. Med Compétence Performance

10 Pyramide de Miller D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011 DU de Pédagogie et d’Enseignement par Simulation

11 DU de Pédagogie et d’Enseignement par Simulation Table de spécification (blue print) D’après Amin Z. Practical guide to medical students assessment, 2006

12 Equation d’utilité Utilité = Fidélité x Validité x Faisabilité x Acceptabilité x Impact éducatif D’après Van der Vleuten CPM. Adv Health Sci Educ 1996 DU de Pédagogie et d’Enseignement par Simulation

13 Principaux tests utilisés TestCompétence(s) explorée(s) Avantage(s)Inconvénient(s) QCM  Connaissances  Validité  Fidélité  Difficiles à préparer  Cueing effect TCS  Raisonnement en contexte d’incertitude  Validité  Validité de construit  Fidélité  Déroutant  Jury Key-features  Connaissances  Raisonnement  Validité  Fidélité  Difficiles à préparer Questions courtes  Résolution de problèmes  Raisonnement  Résolution de problèmes  Correcteur(s) dépendante(s) Questions rédactionnelles  Analyse et synthèse  Processus cognitif évolué  Correcteur(s) dépendante(s)  Fidélité médiocre  Examens écrits : DU de Pédagogie et d’Enseignement par Simulation

14 Principaux tests utilisés TestCompétence(s) explorée(s) Avantage(s)Inconvénient(s) ECOS  Habiletés  Comportement  Communication  Validité  Fidélité  Coût, logistique  Check-list désavantageant les étudiants évolués  Artificiels parfois Examen oral  Connaissances  Raisonnement  Exploration en profondeur  Fidélité  Standardisation Mini CEX  Habiletés cliniques  Communication  Validité  Fidélité  Feedback  Teste la compétence plutôt que la performance Patients standardisés  Habiletés cliniques  Communication  Réalisme  Plusieurs aspects évalués simultanément  Coût  Logistique  Observation directe : DU de Pédagogie et d’Enseignement par Simulation

15 Principaux tests utilisés TestCompétence(s) explorée(s) Avantage(s)Inconvénient(s) Collègues  Habiletés cliniques  Habiletés psychosociales  Multiples sources d’évaluation  Performance réelle  Crédibilité ? Patients  Habiletés psychosociales  Une des meilleures sources  Validité ?  Performance insuffisante ? Portfolios  Pratique réflexive  Evaluation multi format  Profil d’un individu à partir de multiples sources  Interférences avec l’auto évaluation  Temps  Non fidèle.  Evaluation multi source : D’aprèsEpstein RM. N Engl J Med 2007 Kogan JR. JAMA 2009 Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011 DU de Pédagogie et d’Enseignement par Simulation

16 Mini CEX D’après Norcini J. Med Teacher 2007 DU de Pédagogie et d’Enseignement par Simulation

17 Utilisation de la simulation comme outil d’évaluation Multiples impératifs / limites :  Identification d’objectifs d’apprentissage ;  Identification de as à résoudre ;  Construction de scenari ;  Choix de a technique de simulation ;  Chaque étudiant accomplit plusieurs tâches ;  Check-list ou évaluation globale ; observateurs entraînés et en nombre suffisant ;  Comparabilité du niveau de difficulté d’une tâche à l’autre ;  Vérification de l’extrapolation en pratique réelle. D’aprèsBoulet J. in Dunn WF (Ed) Simulators i critical care and beyond, SCCM, Des Plaines, 2004 Van der Vleuten CPM. Teach Learn Med 1990 Newble D. Teach Learn Med 1994 DU de Pédagogie et d’Enseignement par Simulation


Télécharger ppt "Principes d’évaluation en éducation médicale JP. Fournier Département de Pédagogie Médicale Centre de Simulation Médicale Faculté de Médecine Université."

Présentations similaires


Annonces Google