Dr. Sana El Mhamdi, Dr. Jean-Luc Quenon Paris La Villette - Cité des Sciences et de l’Industrie Lundi 28 et mardi 29 novembre 2011 Atelier n° D15 Avancées scientifiques en méthodologie QGR Elaborer des plans d’action efficaces en santé Impact d’un outil d’aide à la structuration des plans d’actions pour la sécurité des soins Dr. Sana El Mhamdi, Dr. Jean-Luc Quenon

Problématique (1) La sécurité des soins : attention croissante sur le plan mondial (Wilson RM, 1995) Principal indicateur de la sécurité des soins : fréquence des événements indésirables graves (EIG) et des EIG évitables (Kohn LT, 2000) EIG : blessures non intentionnelles ou complications causées par la gestion des soins de santé plutôt que par le processus pathologique avec - un prolongement du séjour hospitalier, - une ré-hospitalisation, - un handicap, - une menace du pronostic vital - ou un décès (OMS, 2004) JIQHS : 28 – 29 Novembre 2011

Problématique (2) Fréquence des EIG : 5 à 22 % Evitabilité des EIG : 35 à 75 % En France : 6,6 EIG / 1000 journées d’hospitalisation Evitabilité 35 % (Michel P, 2007) Prévention des EIG évitables nécessite la compréhension de la dynamique de survenue Analyse approfondie des causes des EIG efficace (Murphy JF, 2008) Outils disponibles (Root cause analysis) Mais peu d’intérêt pour les plans d’actions JIQHS : 28 – 29 Novembre 2011

Problématique (3) Gestionnaires de risques (GDR) en difficulté lors de l’élaboration des plans d’actions Un outil intéressant utilisé par les Hôpitaux Universitaires de Genève - Adaptation en santé d’un outil utilisé dans le milieu industriel (modèle DEPOSE de C. Perrow) Efficacité de cet outil sur la pertinence des actions proposées non étudié JIQHS : 28 – 29 Novembre 2011

Projet "IMPULSIONS des plans d’actIONS pour la sécurité des soins) IMPact d’un oUtiL d’aide à la Structuration des plans d’actIONS pour la sécurité des soins) CCECQA, Hôpital du Val de Grâce (Paris), Hôpitaux Universitaires de Genève Institut de recherche biomédicale des Armées Objectif principal Evaluation de l’impact d’un outil d’aide à l’élaboration des plans d’actions, après analyse des EIG, sur la pertinence des actions proposées par les GDR hospitaliers Objectif secondaire Etudier la variabilité de cette efficacité selon le scénario d’EIG analysé JIQHS : 28 – 29 Novembre 2011

Présentation de l’outil JIQHS : 28 – 29 Novembre 2011

Méthodes (1) 1- Schéma d’étude Etude expérimentale randomisée en groupes parallèles GROUPE A GROUPE B Groupe de référence Groupe intervention A1 A2 B1 B2 Scénario 1 (sans l’outil) Scénario 2 (sans l’outil) Scénario 1 (sans l’outil) Scénario 2 (sans l’outil) Mesure 1 10 jours 10 jours 10 jours 10 jours Scénario 2 (sans l’outil) Scénario 1 (sans l’outil) Scénario 2 (avec l’outil) Scénario 1 (avec l’outil) Mesure 2 JIQHS : 28 – 29 Novembre 2011

Méthodes (2) 2- Echantillon d’étude Nombre de sujets nécessaires : 50 GDR hospitaliers (25 par groupe) Echantillon de l’étude : GDR hospitaliers volontaires et exerçant dans un établissement de santé adhérent au CCECQA JIQHS : 28 – 29 Novembre 2011

Méthodes (3) 3- Randomisation Randomisation aléatoire simple en deux groupes sur les critères suivants : - Formation initiale, - Formations diplômantes en qualité ou GDR hospitaliers - Ancienneté dans la fonction de gestionnaire de risques hospitaliers - Nombre d’EIG analysés de façon approfondie durant les 12 derniers mois. Randomisation de chaque groupe en deux sous-groupes JIQHS : 28 – 29 Novembre 2011

Méthodes (4) 4- Critère de jugement principal Nombre d’actions proposées par les GDR hospitaliers identiques à des référentiels pré construits JIQHS : 28 – 29 Novembre 2011

Méthodes (5) 5- Les référentiels utilisés Analyse des scénarios par un comité de huit experts GDR des hôpitaux de Genève et Percy Age médian : 51 ans - Ancienneté médiane dans la GDR hospitaliers : 8 ans - Nombre médian d’EI analysés les 12 derniers mois : 48 1ère étape : analyse individuelle des scénarios et proposition d’actions 2ème étape : élaboration d’un référentiel pour chaque scénario à partir des actions proposées JIQHS : 28 – 29 Novembre 2011

Méthodes (6) 8- Traitement des données Trois chargés d’études : comparaisons individuelles des réponses des participants avec les actions proposées dans les référentiels Deux parmi les trois étaient en insu Comparaison des réponses et discussion des divergences En cas de difficultés : recours aux huit experts JIQHS : 28 – 29 Novembre 2011

Méthodes (7) 9- Stratégie d’analyse Etude descriptive Impact de l’outil d’aide à l’élaboration de plans d’actions - Comparaison des moyennes des différences du nombre d’actions (mesure 2 – mesure 1) Modélisation - Analyse de l’efficacité de l’outil en tenant compte de la mesure et du scénario étudié JIQHS : 28 – 29 Novembre 2011

Résultats (1) Recrutement Randomisation Gestionnaires de risques éligibles (n = 114 appartenant aux 111 établissements adhérents au CCECQA) Refus de participation (n = 58) Recrutement 56 GDR ont accepté de participer Randomisation (n = 56) Randomisation Attribué au groupe contrôle A (n = 28) Attribué au groupe intervention B (n = 28) JIQHS : 28 – 29 Novembre 2011

Résultats (1) Suivi Analyse Attribué au groupe contrôle A (n = 28) Attribué au groupe intervention B (n = 28) Suivi Attribué au sous-groupe A1 (n = 14) Attribué au sous-groupe A2 (n = 14) Attribué au sous-groupe B1 (n = 14) Attribué au sous-groupe B2 (n = 14) Perdu de vue (n = 1) Analyse Analysés (n = 13) Analysés (n = 14) Analysés (n = 14) Analysés (n = 14) Figure 1 – Diagramme montrant la randomisation des participants JIQHS : 28 – 29 Novembre 2011

Résultats (2) Répartition des caractéristiques des participants après randomisation en quatre sous-groupes (n = 56) Caractéristiques des participants A1 (n=14) A2 (n=14) B1 (n=14) B2 (n=14) Total Formation initiale Médicale 1 2 5 Paramédicale 6 21 Autres 7 8 30 Diplômes Aucun 4 17 Qualité 32 Gestion des risques Ancienneté _ Médiane 4,5 Quartile : q25 – q75 2 – 5,7 2 – 8 2 – 6 Nombre d’EIG analysés 3 0 – 7 1 – 9 2 – 10 JIQHS : 28 – 29 Novembre 2011

Nombre moyen d’actions Résultats (3) 1- La première mesure Comparaison du nombre moyen d’actions pertinentes proposées par les deux groupes lors de la première mesure (n = 55). Groupes Nombre moyen d’actions pertinentes ± ET p Groupe A (n = 27) 3 ± 1,8 0,83 Groupe B (n = 28) 3,07 ± 1,9 Les catégories « organisation » et « local de prise en charge » étaient les plus identifiées par les deux groupes JIQHS : 28 – 29 Novembre 2011

Nombre moyen d’actions pertinentes ± ET Résultats (4) 2- La deuxième mesure Comparaison du nombre moyen d’actions pertinentes proposées par les deux groupes lors de la seconde mesure (n = 55). Groupes Nombre moyen d’actions pertinentes ± ET p Groupe A (n = 27) 2,8 ± 1,2 < 0,001 Groupe B (n = 28) 4,6 ± 1,7 Les catégories « organisation » et « procédures » étaient les plus identifiées par les deux groupes JIQHS : 28 – 29 Novembre 2011

Différence moyenne ± ET Résultats (5) 3- Evaluation de l’impact de l’outil testé Comparaison des moyennes des différences des actions pertinentes proposées par les deux groupes lors des deux mesures (n = 55). Groupes Différence moyenne ± ET p Groupe A (n = 27) -0,6 ± 2,2 0,004 Groupe B (n = 28) 1,3 ± 2,2 JIQHS : 28 – 29 Novembre 2011

Résultats (6) Variables Coefficients estimés IC 95 % p Scénario n° 1 Etude de la variation du nombre d’actions pertinentes proposées par les GDR (n = 55). Résultats du modèle linéaire mixte Variables Coefficients estimés IC 95 % p Scénario n° 1 Outil < 0,001 Non – Oui 2,43 [1,40 – 3,40] Scénario n° 2 Outil  0,046 1,1 [0,02 – 2,00] JIQHS : 28 – 29 Novembre 2011

Discussion (1) 1- Points forts Schéma expérimental le plus approprié pour évaluer l’impact de l’outil Randomisation assure la comparabilité des groupes Analyse des réponses : chargés d’étude en insu Anonymisation des fiches de réponses dès leur réception JIQHS : 28 – 29 Novembre 2011

Discussion (2) 2- Points faibles Deux scénarios cliniques Même catégorie d’EIG Groupe contrôle moins motivé ? JIQHS : 28 – 29 Novembre 2011

Discussion (3) 2- Généralisation des résultats Echantillon construit sur la base du volontariat GDR plus motivés et ancrés dans la dynamique d’analyse des EIG Randomisation sur le nombre d’événements analysés les 12 derniers mois permet de neutraliser cet effet Représentativité de l’échantillon des GDR exerçant au niveau des établissements français ? JIQHS : 28 – 29 Novembre 2011

Discussion (4) 3- Généralisation de l’utilisation de l’outil Efficacité prouvée de l’outil sur les deux scénarios analysés La généralisation nécessite : - Etude de la faisabilité et de l’acceptabilité de l’outil JIQHS : 28 – 29 Novembre 2011

Etude de la faisabilité et de l’acceptabilité de l’outil Réalisé auprès des 28 GDR du groupe intervention Questionnaire explorant la faisabilité et l’acceptabilité de l’outil par les participants Selon les répondants : outil acceptable au prix de quelques modifications JIQHS : 28 – 29 Novembre 2011

Conclusion GDR hospitaliers souvent : - Sans formations diplômantes - Peu d’expérience dans l’analyse systémique Outil testé a montré son efficacité Taux de participation important intérêt pour la recherche et volonté de disposer de nouveaux outils JIQHS : 28 – 29 Novembre 2011

Merci pour votre attention