Gilles Lebuffe, Stéphane Plateau Intérêt du simulateur comme outil d’évaluation des DES d’anesthésie-réanimation. Expérience au CHU de Lille Gilles Lebuffe, Stéphane Plateau Clinique d’Anesthésie-Réanimation de l’hôpital Huriez CHRU de Lille France

Evaluation des DES Aucune évaluation pour l’attribution du diplôme En anesthésie-réanimation: Délivrance du DES après soutenance d’un mémoire Selon les Facultés: Examen oral complémentaire Évaluation orale: Commodité d’organisation Evaluation de la prise en charge du patient à partir des connaissances scientifiques du candidat Apprécie la qualité du raisonnement ou le bon jugement Aucun retour sur la réactivité et le comportement en situation critique

La simulation Simulateur réaliste Outil potentiel de formation et d’évaluation des internes Mise en situation du candidat sans interférer avec la sécurité du patient Création de scénarii Simples, réalistes et reproductibles Observation du raisonnement clinique en situation critique Reproduire matériellement les composantes d’une intervention chir sous AG Mannequin électronique (VS, pouls, PA) Matériel d’anesthésie (respirateur, système de perfusion) Monitorage Simulateur réaliste

Environnement de simulation

Scénario Elaboration d’une banque de scénarii Tester le candidat sur un éventail de cas Scénarii courts et valides Mise en place de scores d’évaluation Propositions des items par des experts Analyse de l’homogénéité des grilles d’évaluation ou consistance interne ou test  de Crombach Etude de la performance et de la fiabilité des items Valeur optimale entre 0,6 et 0,9

Consistance interne de quelques situations Scénario Test a de Crombach Hypoxémie Tachycardie HTA postopératoire Hypotension postopératoire Effet toxique des AL Rachianesthésie totale Intubation difficile Hypoxie peropératoire Tachycardie ventriculaire Choc anaphylactique Bronchospasme Ischémie myocardique a < 0,6 0,63 0,79 0,64 0,88 0,69 0,71 0,76 Br J Anaesth 2004, 92; 388 Anesthesiology 2002, 97; 1434

Consistance interne de quelques situations Scénario Test a de Crombach Hypoxémie Tachycardie HTA postopératoire Hypotension postopératoire Effet toxique des AL Rachianesthésie totale Intubation difficile Hypoxie peropératoire Tachycardie ventriculaire Choc anaphylactique Bronchospasme Ischémie myocardique a < 0,6 0,63 0,79 0,64 0,88 0,69 0,71 0,76 Br J Anaesth 2004, 92; 388 Anesthesiology 2002, 97; 1434

Scénario intubation oesophagienne et choc anaphylactique

Choc anaphylactique

Score d’évaluation (1)

Scénario bronchospasme et souffrance myocardique

Bronchospasme

Score d’évaluation (2)

Evaluation de la préparation du bloc opératoire

Validité du simulateur pour apprécier la performance des internes A/R en situation critique

Scores globaux * Scénario intubation oesophagienne et réaction anaphylactique Scénario bronchospasme et souffrance myocardique *

Testing internal consistency and construct validity during evaluation of performance in a patient simulator Devitt et al. Anesth Analg 1998; 86:1140 Pour chaque item, score significativement plus élevé pour les anesthésistes expérimentés (P<0.001; Test de Cochran-Mantel-Haenszel)

Evaluation of anesthesia residents using mannequin-based simulator Schwid et al. Anesthesiology 2002; 97:1434 *& Simulateur Méti 97 internes de 10 facultés américaines Scénarii Deux scénarii successifs par interne Score d’évaluation sur 108 points *& * * p<0.05; débutant vs année 1,2,3 & p<0.05; année 1 vs année 2,3

Analyse des erreurs commises au cours de l’évaluation

Omissions lors des procédures de vérification du matériel et des consignes de sécurité Année 1 n=11 Année 2 n=13 Année 3 Année 4 P Aspiration Non vérifiée Vérifiée 1 10 8 5 2 9 0,76 Matériel de secours de suppléance Non vérifié Vérifié 11 3 13 Défibrillateur 0,64 Intervention 12 Jeun 7 4 6 0,56 Réglage des alarmes 0,74 P = comparaison omissions juniors (1ère et 2ème année) vs seniors (3ème et 4ème année)

Prise en charge du choc anaphylactique Paramètres Année 1 n=6 Année 2 n=7 Année 3 n=3 Année 4 n=5 P Arrêt précoce des halogénés Non effectué Effectué 3 6 1 5 0,75 Remplissage précoce 4 2 0,09 Administ. précoce d’adrénaline Non effectuée Effectuée 0,04 Posologie adéquate d’adrénaline Information de l’équipe chir. 0,58 Prélèvements sanguins Non effectués Effectués 0,71 P = comparaison omissions juniors (1ère et 2ème année) vs seniors (3ème et 4ème année)

Principales erreurs pour la prise en charge du bronchospasme Omissions Année 1 n=5 Année 2 n=6 Année 3 n=8 Année 4 P Analyse de la courbe de capno Non effectué Effectué 4 1 2 3 5 6 0,45 Vérification de l’intubation 8 0,66 Diminution des agents halogénés Non effectuée Effectuée Administration de bronchodilatateurs 0,25 P = comparaison omissions juniors (1ère et 2ème année) vs seniors (3ème et 4ème année)

Evaluation du simulateur par les internes

Appréciationdu simulateur par les internes d’A/R Juniors Seniors Evaluation globale 9 [8 – 10] 8 [8 – 9] Outil de formation 8 [7 – 9] Outil d’évaluation Valeurs médianes [25 – 75ème centile]

Appréciation du simulateur par les internes d’A/R: Commentaires libres « Le stress de l’évaluation est non négligeable. Malgré le réalisme, quelques difficultés à se mettre dans l’ambiance d’un bloc avec un vrai patient » « Difficulté d’être naturel avec un mannequin » « Difficulté de commenter et d’agir en même temps » « Mannequin très réaliste, excellente mise en situation, mémorisation intense des erreurs commises lors de la simulation » « On est plus vigilant car on sait qu’il va se passer quelque chose » « Très stressant, impressionnant » « Intéressant, utile pour la formation, à quand la prochaine »

Intérêt d’une évaluation par simulation comparée aux examens écrits et oraux Faible corrélation entre les scores de simulation et les examens écrits et oraux r = 0,38 vs examen écrit et 0,43 vs examen oral (Anesthesiology 2002; 97: 1434) r = 0,19 vs examen écrit et 0,04 vs examen oral (Med Educ 2000; 34: 42) Exploration de différents aspects de la connaissance Evaluation de la performance clinique avec le simulateur Existe-t-il une appréciation du raisonnement clinique avec la simulation? Evaluation du raisonnement par la verbalisation des décisions et des actes réalisés Problème de la mobilisation des ressources cognitive en situation critique Avantage de l’observation du candidat dans un environnement similaire à celui de la réalité Nécessité d’exposer l’interne à plusieurs situations afin de réduire la spécificité de contenu

Conclusions La simulation apparaît comme un outil discriminant et valide pour apprécier les performances des internes d’A/R en situation critique La validité de la simulation dépend principalement du niveau de réalisme des paramètres simulés et de l’homogénéité des grilles d’évaluation Nécessité de valider nos résultats sur des effectifs plus larges impliquant plusieurs facultés Problème de la cohérence des méthodes d’enseignement et de l’évaluation par simulation