Principes d’évaluation en éducation médicale JP. Fournier Département de Pédagogie Médicale Centre de Simulation Médicale Faculté de Médecine Université de Nice Sophia Antipolis

DU de Pédagogie et d’Enseignement Les challenges Compétence vs Excellence : Impact négatif de l’examen sommatif sur le développement professionnel ultérieur ; Importance d’examens formatifs ; Changement de comportement d’étudiants et tuteurs ; Novice vs Expert : Progression du mode de raisonnement avec l’acquisition d’expertise ; Examens adaptés ; Validité et fidélité ; Examen formatif vs examen sommatif. DU de Pédagogie et d’Enseignement par Simulation D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011

DU de Pédagogie et d’Enseignement Validité(s) Force des conclusions et inférences que l’on peut tirer des résultats d’une évaluation ; 5 facettes « classiques » : Validité apparente (face validity) : examen adapté à son objectif ; Validité de contenu (content validity) : contenu de l’examen représentatif du corpus de compétences (connaissances) à mesurer ; Validité de construit  (construct validity) : aptitude à identifier les groupes par niveau d’expertise (experts vs novices) ; Validité prédictive (predictive validity) : aptitude à prédire le futur (ex; succès professionnel après validation) ; Validité résultante (consequential validity) : conséquences éducatives du test. D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011 DU de Pédagogie et d’Enseignement par Simulation

DU de Pédagogie et d’Enseignement Validité de construit Origine des preuves Preuves Conclusions Contenu Table de spécification Contenu du test représentatif Processus de réponses Construction du test Construction du test satisfaisante Structure interne Données psychométriques Analyse d’items, fidélité Validité externe Corrélation avec d’autres tests Résultats concordants Conséquence Conséquences du test Impact du test DU de Pédagogie et d’Enseignement par Simulation D’après Downing SM. Med Educ 2003

Fidélité (reliability) Reproductibilité des scores dans le temps ; Indissociable de la validité ; Plusieurs approches pour la mesurer : Consistance interne : score α de Cronbach ; Théorie classique des tests ; Théorie de la généralisabilité. D’après Downing SM Med Educ 2004 Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011 DU de Pédagogie et d’Enseignement par Simulation

Examen sommatif vs formatif Opposition classique quasiment point par point ; Ré-introduction d’examen formatifs ; Ré-évaluation de l’importance d’examens formatifs ; Plusieurs conséquences : Changements culturels ; Intégration de données formatives dans une évaluation sommative  ; Nécessité d’évaluation formative psychométriquement correcte. DU de Pédagogie et d’Enseignement par Simulation D’après Van der Vleuten CPM Med Educ 2005

DU de Pédagogie et d’Enseignement Les principes Spécificité de cas ; Table de spécification ; Pyramide de Miller ; Quel(s) test(s) pour quel(s) objectifs ? Equation d’utilité. DU de Pédagogie et d’Enseignement par Simulation

Principes : spécificité de cas Compétences multi facettes ; Pas ou peu d’extrapolation d’un cas à l’autre ; A compenser par l’augmentation du nombre de cas (et donc de la durée d’examen,…et de correction). D’aprè Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011 DU de Pédagogie et d’Enseignement par Simulation

DU de Pédagogie et d’Enseignement par Simulation Pyramide de Miller Performance Observation directe, pairs, vidéo, audits Action Examen oral, ECOS, épreuve de clinique, simulation, TCS Compétences Cascades, QCM à contexte riche, TCS, problèmes à résolution séquentielle Utilisation des connaissances QCM, QROC, questions rédactionnelles Connaissances Compétence D’après Miller Acad. Med. 1990 DU de Pédagogie et d’Enseignement par Simulation

DU de Pédagogie et d’Enseignement Pyramide de Miller DU de Pédagogie et d’Enseignement par Simulation D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011

Table de spécification (blue print) D’après Amin Z. Practical guide to medical students assessment, 2006 DU de Pédagogie et d’Enseignement par Simulation

DU de Pédagogie et d’Enseignement Equation d’utilité Utilité = Fidélité x Validité x Faisabilité x Acceptabilité x Impact éducatif D’après Van der Vleuten CPM. Adv Health Sci Educ 1996 DU de Pédagogie et d’Enseignement par Simulation

Principaux tests utilisés Examens écrits : Test Compétence(s) explorée(s) Avantage(s) Inconvénient(s) QCM Connaissances Validité Fidélité Difficiles à préparer Cueing effect TCS Raisonnement en contexte d’incertitude Validité de construit Déroutant Jury Key-features Raisonnement Questions courtes Résolution de problèmes Correcteur(s) dépendante(s) Questions rédactionnelles Analyse et synthèse Processus cognitif évolué Fidélité médiocre DU de Pédagogie et d’Enseignement par Simulation

Principaux tests utilisés Observation directe : Test Compétence(s) explorée(s) Avantage(s) Inconvénient(s) ECOS Habiletés Comportement Communication Validité Fidélité Coût, logistique Check-list désavantageant les étudiants évolués Artificiels parfois Examen oral Connaissances Raisonnement Exploration en profondeur Standardisation Mini CEX Habiletés cliniques Feedback Teste la compétence plutôt que la performance Patients standardisés Réalisme Plusieurs aspects évalués simultanément Coût Logistique DU de Pédagogie et d’Enseignement par Simulation

Principaux tests utilisés Evaluation multi source : Test Compétence(s) explorée(s) Avantage(s) Inconvénient(s) Collègues Habiletés cliniques Habiletés psychosociales Multiples sources d’évaluation Performance réelle Crédibilité ? Patients Une des meilleures sources Validité ? Performance insuffisante ? Portfolios Pratique réflexive Evaluation multi format Profil d’un individu à partir de multiples sources Interférences avec l’auto évaluation Temps Non fidèle. D’après Epstein RM. N Engl J Med 2007 Kogan JR. JAMA 2009 Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011 DU de Pédagogie et d’Enseignement par Simulation

DU de Pédagogie et d’Enseignement Mini CEX D’après Norcini J. Med Teacher 2007 DU de Pédagogie et d’Enseignement par Simulation

Utilisation de la simulation comme outil d’évaluation Multiples impératifs / limites : Identification d’objectifs d’apprentissage ; Identification de as à résoudre ; Construction de scenari ; Choix de a technique de simulation ; Chaque étudiant accomplit plusieurs tâches ; Check-list ou évaluation globale ; observateurs entraînés et en nombre suffisant ; Comparabilité du niveau de difficulté d’une tâche à l’autre ; Vérification de l’extrapolation en pratique réelle. D’après Boulet J. in Dunn WF (Ed) Simulators i critical care and beyond, SCCM, Des Plaines, 2004 Van der Vleuten CPM. Teach Learn Med 1990 Newble D. Teach Learn Med 1994 DU de Pédagogie et d’Enseignement par Simulation