1 Taux de mortalité hospitalière normalisés (TMHN) [Hospital Standardised Mortality ratio – HSMR] L’indicateur de mortalité : indicateur hyper sensible... Journées Internationales de la Qualité Hospitalière et en Santé Paris La Villette - Cité des Sciences et de l’Industrie 23 novembre 2009 Brian Jarman

2 Principaux éléments de l’exposé Taux de mortalité hospitalière normalisés : marqueur de la qualité Calculés au R.-U., p. ex. pour les besoins de l’enquête Bristol, etc. Résultats publiés pour les diagnostics associés à 80 % des décès Importance du suivi en temps réel (UK, US, Pays-bas) Examinés en 12+ pays (UK, US, Pays-bas, Canada, Japon…) Analyses de régression pour expliquer les variations Détails du calcul des TMHN Exemple de mesures prises dans les hôpitaux britanniques et américains

3 La qualité des soins de santé « le degré auquel les services de santé dispensés aux particuliers et aux populations augmentent la probabilité de résultats pour la santé désirables et reflètent les connaissances couramment admises » ( Lohr KN, Harris-Wehling J., « Medicare: a strategy for quality assurance », Quarterly Review Bulletin, 1991; vol. 17, n o 1, p. 6-9.)

4 La qualité des hôpitaux en tant qu’établissements Donabedian a classifié les éléments des soins de santé et a proposé une étude de la qualité en trois facettes : structure – les installations, l’équipement ainsi que les ressources financières et humaines processus – ce qui se passe pour le patient résultat – l’issue : l’état de santé du patient à la suite du traitement Ces facettes sont toutes déterminantes pour le patient.

5 Bills of Mortality London deaths during the Great Plague1665

66 Childhood home, Embley Park Later residence, Claydon House, Bucks Florence Nightingale ( ), nurse Uniform hospital statistics would: “Enable us to ascertain the relative mortality of different hospitals as well as of different diseases and injuries at the same and at different ages, the relative frequency of different diseases and injuries among the classes which enter hospitals in different countries, and in different districts of the same country” Florence Nightingale 1863

77 Ernest Amory Codman (1869–1940) a Boston surgeon A founder American College of Surgeons Noted “calamities of surgery or those accidents and complications over which we have no known control. These should be acknowledged to ourselves and to the public and study directed to their prevention” "I had made an error of skill of the most gross character and even (during the operation) failed to recognize that I had made it". His reforming attempts “brought him mostly ridicule, poverty and censure”

8 Étude « Harvard Medical Practice » dans les hôpitaux de l’État de New York (NEJM 1991) patients sélectionnés de façon aléatoire qui ont visité un hôpital de l’État de New York 3,7 % de blessures à la suite d’événements indésirables liés aux soins médicaux 13,6 % ont causé la mort du patient. 58 % étaient évitables. Selon ce calcul, 12 % des décès enregistrés annuellement dans les hôpitaux du R.-U. seraient évitables. Selon les études, les chiffres sont sensiblement les mêmes en Australie, en Nouvelle-Zélande, au Canada et au R.-U.

99 Adverse event studies (adapted from Charles Vincent) Approx: 50% avoidable, 8% result in death, 6% in permanent disability Total 210 hospitals involved, 100,429 admissions Weighted (by no. admissions) mean adverse event rate = 6.6% of admissions For example: 8% of 5.7% of 1.6m IP admissions = 7,300 deaths annually, half avoidable Study Number of hospitalsDate Number of admissions Adverse event rate (%) California Insurance Feasibility (The California study assessed `potentially compensable’ events) , Harvard Medical Practice , Utah-Colorado (UTCOS) , Quality in Australian Health Care , Denmark , New Zealand , United Kingdom219991, Canada , France (pilot only) Netherlands ,9265.7

10 Enquête du Bristol Royal Infirmary Le nombre élevé de plaintes reçues quant aux pratiques de l’établissement de Bristol depuis 1986 a entraîné la réalisation d’une enquête indépendante en Toutes les chirurgies cardiaques infantiles ont été reportées jusqu’à la nomination d’un nouveau chirurgien cardiologue. En juin 1996, un groupe de parents ont réclamé la tenue d’une enquête publique sur les services de chirurgie cardiaque infantile (CCI) au BRI. Les audiences du GMC de 1998 ont suscité la prise de mesures disciplinaires à l’endroit de 3 médecins : 2 sont carrément rayés, 1 voit ses droits de pratique restreints.

11 Nombre de plaintes enregistrées à l’endroit du service de CCI de Bristol (par année, jusqu’en 1994) 14 février, 27 mars, 8 mai, 3 juillet, 9 octobre et 20 novembre 1992, rapports « Private Eye »

12 La profession médicale et la transparence D r E. Armstrong, secrétaire, BMA Question : « Est-ce dire qu’on se trouvait alors devant un problème inextricable : un médecin incompétent dans un certain domaine était pratiquement intouchable… alors qu’un médecin qui aurait porté plainte contre lui, du moins jusqu’au début des années 1990, jusqu’à ce que la culture change, aurait clairement outrepassé les limites ? » Réponse : « C’est malheureusement une parfaite description du dilemme du médecin. »

13 Inspections du Royal College Sir B. Jackson, président du RCS depuis 1997 Question : « Croyez-vous que les inspections [des hôpitaux par le Royal College] visent surtout à s’assurer que les stagiaires ont suffisamment d’expérience clinique et sont dûment supervisés ou plutôt à suivre la qualité de la prestation des soins dans un hôpital? » Réponse : « Elles visent plutôt à vérifier l’expérience et la supervision des stagiaires. »

14 Le Department of Health et les médecins Sir Graham Hart, secrétaire permanent, DOH, « La profession a de profondes réserves au regard de la participation du Ministère [aux questions du rendement clinique], réserves qui, jusqu’à un certain point, … sont justifiées et que le Ministère partage. » «... si les ministres décidaient de s’aventurer dans la participation et l’intervention [dans les questions du rendement clinique], ils devront alors se préparer au tollé de la profession. Ce n’est certes pas une entreprise à prendre à la légère. »

15 Rapport d’enquête de Bristol (Kennedy) – Déclaration ouverte des événements indésirables « Une culture de sécurité exige, à sa base, la création d’un milieu ouvert, non punitif, où les professionnels de la santé n’hésiteront pas à déclarer les événements indésirables et les quasi-incidents. » « Depuis le début des années 1990, une base de données existe au Department of Health (la base de données « Hospital Episode Statistics* ») qui contient, entre autres, de l’information sur les décès dans les hôpitaux. Celle-ci n’était auparavant pas jugée utile à l’analyse du rendement des hôpitaux. Elle l’est maintenant, quoique un peu tard. » *Hospital Episode Statistics (HES) ≡ Programme de Médicalisation des Systèmes d’Information Médicale (PMSI) en France

16 Taux de mortalité liée à la chirurgie cardiaque infantile, par région, toutes chirurgies ouvertes confondues, patients de moins d’un an, base de données HES, d’avril 1991 à mars 1995 Chiffres provisoires, Dr Foster Unit, Imperial College, Londres, 2003

17 Chirurgie cardiaque infantile à Bristol et en Angleterre (patients de moins d’un an, chirurgies à cœur ouvert) – mortalité annuelle

18 Rapport de Bristol : Mesures de la morbidité « En plus des taux de mortalité, nos spécialistes ont examiné les données statistiques disponibles sur les niveaux de morbidité à la suite de la CCI à Bristol par rapport à d’autres centres spécialisés. Le constat : les sources de données courantes disponibles n’offrent pas de fondations suffisamment solides pour pouvoir tirer des conclusions rigoureuses sur la morbidité. »

19 Problèmes entourant la mesure de la morbidité Mesurer l’état de santé préopératoire Obtenir des méthodologies de mesure et des mesures convenues, universellement reconnues, homologues pour toutes les unités « …les centres les mieux cotés, c.-à-d. les centres affichant des taux de mortalité inférieurs à l’issue de la chirurgie cardiaque adulte, étaient ceux qui obtenaient de meilleurs résultats face aux complications, c.-à-d. ils les détectaient plus tôt et les traitaient mieux, pour un même indice de gravité. » [Bristol] Les hôpitaux affichant des taux de mortalité inférieurs sont ceux qui déclarent le plus d’« événements indésirables » : ils sont plus vigilants. Les mesures de processus en milieu hospitalier exigent du temps et n’améliorent pas toujours les résultats.

20 Les avantages des taux de mortalité dans la mesure des résultats La mort est un événement ponctuel, défini (contrairement à la morbidité, qui est un phénomène prolongé, difficile à consigner). Il y a obligation juridique d’enregistrer les décès – les dossiers seront donc probablement complets et exacts. Les taux de mortalité sont intelligibles pour le public (et les politiciens). Les taux de mortalité hospitalière pourraient servir de marqueur de la qualité.

21 Importance des TMHN (diagnostics associés à 80 % de tous les décès) Grand nombre de décès – amincissement des intervalles de confiance Mesure globale pour l’hôpital Permet les variations de codification entre les hôpitaux pour les codes liés à la CIM Ajustés automatiquement en fonction des groupes clients et des facteurs sociaux (les groupes clients constituent une approximation) Chaque mois ‘NHS Choices’ website depuis :-

22 Example of indirect standardisation by age for one hospital Sum of expected deaths = 540. Observed deaths = 600. HSMR=Obs/Exp x 100 = 110 National death rate Hospital admissions per year Expected hospital deaths per year if hospital had national death rate

23 Exemple des données recueillies Hospital Episode Statistics (HES) - Toutes les admissions aux hôpitaux du NHS en Angleterre - Statistiques recueillies à des fins administratives Admission 3 juillet 2000 Sortie 12/7/2000 Hôpital St Mary’s Fracture de la cheville Réduction de fracture par plaque 14797, 21, RJ5, 14806, 1, F, 66, HA02QF, S828, V799, W201 Urgence Patient vivant à la sortie Sexe Âge Code post- intervention Passager d’autobus

24 International HSMRs red=published green=monthly Red= published Green= monthly Japan xxx Hong Kong xxxxxxx England xxxxxxxxxxx Netherlands xxxxxxxxxxx Sweden xxxxxxxxxJ Canada xxx CIHI US Medicare xxxxxxxxxxx US AHRQ xxxxxxx x x Australia (NSW) xxxxxxxx Singapore xxxxxxxxx Wales xxxxxxxxxx

25 HSMR comparisons of trends: England, US mainland & 61 US hospitals outside US mainland (57 in Puerto Rico & 4 others) IOM report – Crossing the Quality Chasm & Bristol Royal Infirmary Inquiry Report

26 TMHN (HSMR) - England

27 ROC curve areas comparing ‘simple’, ‘intermediate’ and ‘complex’ models derived from HES with models derived from clinical databases for four index procedures Aylin P; Bottle A; Majeed A. Use of administrative data or clinical databases as predictors of risk of death in hospital: comparison of models. BMJ 2007;334: 1044

28 Calibration plots for ‘complex’ HES-based risk prediction models for four index procedures showing observed number of deaths against predicted based on validation set Aylin P; Bottle A; Majeed A. Use of administrative data or clinical databases as predictors of risk of death in hospital: comparison of models. BMJ 2007;334: 1044

29 Pourquoi les données n’ont-elles pas été utilisées davantage? Confidentialité et manque d’incitatifs, mais les attitudes ont changé. On avait auparavant recours aux diagnostics pris individuellement – peu de décès estimés problématiques, larges intervalles de confiance, résultats peu fiables. Ajustement inadéquat pour les facteurs confusionnels Absence des 4 « P » pour donner le coup d’envoi : –Politique –« PR » (relations publiques) –Presse/publications (médias et universités) –Production (un organisme chargé des tâches quotidiennes, d’assumer les coûts, de répondre aux questions) Nécessité de données à jour sur le Web afin de permettre le suivi Difficulté d’impulser le changement : besoin d’un catalyseur

30 Éléments nécessaires à l’amélioration des soins de santé 1.La prise de conscience du fait qu’il existe des problèmes et qu’il faut que les choses changent 2.La volonté de composer avec les problèmes 3.Une façon de mesurer la qualité des soins 4.La mise en œuvre des mécanismes nécessaires pour réaliser les changements 5.Une façon de faire le suivi des changements

31 Ajustements apportés par normalisation (données de US Medicare) pour les caractéristiques suivantes: Groupe d’âge Sexe Race (USA) Type d’admission (cas très urgent, cas urgent, cas non urgent, etc.) Source d’admission (aiguillage par un médecin, salle d’urgence, transfert, etc.) Durée du séjour (+/-) Chacune des caractéristiques ci-dessus pour chacun des diagnostics composant les diagnostics associés à 80 % de tous les décès

32 Taux de mortalité hospitalière normalisés selon l’âge, le sexe, la race, le payeur, la source d’amission et le type d’admission par frais normalisés selon le diagnostic (par admission) AHRQ, données de 1997

33 Exemples d’application Walsall hôpital NHS Trust au R.-U. Le Walsall hôpital NHS Trust affichait le TMHN (130) le plus élevé d’Angleterre au moment de la publication des données en janvier D’emblée, profonde remise en question des données Enquêtes sur les résidences et la prise en charge des ACV par les MG dans le secteur En bout de ligne, on a accepté les données et déployé des changements globaux.

34 Mike Browne, directeur médical, Walsall hôpitals NHS Trust « À la suite de la publication des données sur les TMHN en janvier 2001, nous avons déployé beaucoup d’efforts à élaborer ce que je crois être un cadre de gouvernance clinique de premier ordre. Nous nous sommes penchés sur la mortalité dans tous les secteurs affectés [c.-à-d. les groupes de patients affichant un taux de mortalié élevé]. » « Nous avons constitué sept groupes. Chacun a été appelé à analyser des observations aberrantes et à déterminer les interventions possibles. Chaque groupe comprenait un directeur principal de manière à donner du poids à l’exercice. Il n’existait pas une solution simple - une seule cause. Tous ont dû se creuser les méninges. »

35 Walsall : principaux secteurs d’intervention (BMJ, 12 février 2005) Soins cliniques : cardiopathies, affections malignes, troubles gastro-intestinaux, troubles respiratoires, néphropathies, diabète, autres groupes vasculaires, traumatologie et orthopédie, anesthésie, réanimation, accidents et urgences, soins intensifs, clinique externe, diététique, pédiatrie, gérontologie. Gestion : vérification, risque clinique, formation continue, gestion des lits, services d’information et gestion du rendement, recherche et développement, formation, équipe d’administration des sorties, perfectionnement du personnel, élaboration du cheminement des soins intégrés, enquêtes nationales confidentielles, lignes directrices du NICE, rapports d’étape de NSF, structure de gouvernance clinique et projet Evercare pour les soins primaires.

36 Walsall change of HSMR – intervention from 2001

37 US CUSUM chart - log (likelihood or odds ratio): hypertension & heart failure: 250 admissions over 2 years Trigger

38 Steiner method for log (odds ratio or likelihood) chart

39 Example of monthly alerts: diagnosis = AMI

40 HSMRs and Mortality Alerts In letter to hospital we point out that HSMRs give an overview of a hospital’s mortality and many factors could affect the results including chance, poor case-mix adjustment, coding problems and quality of care Mortality Alerts are sent every month to any hospital that has a high adjusted death rate (for 78 CCS diagnoses and 124 procedures covering 90% all deaths) in the preceding 12 months at the 99.9% control limit The Alerts are copied to the Healthcare Commission, which can inspect a hospital and have other data.

41 Walsall HSMR cusum analysis – intervention started after HSMRs published Jan 2001 Intervention

42 Walsall annual death rate for HSMR diagnoses

43 Un scandale dans un hôpital « ébranle le système de santé britannique » Scandale de l’hôpital de Stafford. La Croix, 1/4/08 « Le rapport affirme qu’il y a eu en moyenne 400 à décès de plus dans cet hôpital que dans les autres du pays, entre 2005 et La fille d’une ancienne patiente évoque même des conditions dignes d’un «hôpital de campagne du tiers-monde » » « Comment de tels dysfonctionnements ont-ils pu se produire dans un hôpital public ? Pression financière et bureaucratie défaillante semblent en être les causes principales » « au-delà de cet établissement, c’est tout le système de santé public qui est ébranlé. À commencer par l’institution qui octroie le statut de fondation aux hôpitaux et qui prétend ne pas avoir été informée des plaintes déposées contre celui de Stafford » « Les systèmes de contrôle sanitaire sont également visés, bien qu’ils aient été les seuls à alerter le public de ces dysfonctionnements »

44 Healthcare Commission report on Mid Staffordshire NHS Hospitals Trust 18 March 2009 “ Dr Foster Intelligence real-time monitoring system The real-time monitoring system produced by Dr Foster Intelligence uses standardised methodologies (designed by Professor Sir Brian Jarman and Dr Paul Aylin) to allow trusts to compare their clinical outcomes against all other acute trusts in England, and against a local peer group. The system is also able to monitor outcomes for specific consultant teams, and by specialty. Where a significant divergence in a clinical outcome is detected, an automated alert is produced.”

45 Mid Staffordshire NHS Hospitals Trust HSMRs Healthcare Commission first report 18/03/2008

46 Funnel plot showing change of NWLH HSMR to

47 National Survey of NHS Patients Significant (p<0.001) associations were found between HSMR and the following questions in the National Survey of NHS Patients (with the poorer, more dissatisfied responses corresponding to higher mortality): –‘If you had any anxieties or fears about your condition or treatment, did a doctor discuss them with you?’ –‘If your family or someone else close to you wanted to talk to a doctor, did they have enough opportunity to do so?’ –‘Did a member of staff explain the purpose of the medicines you were to take at home in a way you could understand?’ –‘Did a member of staff tell you about medication side-effects to watch for when you went home?’ –‘Would you recommend this hospital to your family and friends?’

48 Toujours taux de mortalité

49 Conclusion La qualité des soins de santé a été définie comme « le degré auquel les services de santé dispensés aux particuliers et aux populations augmentent la probabilité de résultats pour la santé désirables et reflètent les connaissances couramment admises ». Les taux de mortalité ajustés sont des résultats susceptibles de servir de marqueur pour l’amélioration des soins hospitaliers. Les données peuvent aussi être obtenues chaque mois directement des hôpitaux, analysées de façon centrale puis diffusées sur le Web. Ces analyses peuvent fournir de l’information de gestion et clinique qui permettra de faire le suivi des coûts et de la qualité des soins. C’est une décennie décisive pour la qualité et la sécurité en santé