Évaluer la satisfaction des patients hospitalisés : A propos de l’Échelle de Qualité des Soins EQS L. Moret - Y Foucher - P. Lombrail - JM. Nguyen Remerciements à B. Dessomme Pôle d’Information Médicale, d’Évaluation et de Santé Publique CHU Nantes Décembre 2002 RECEMAP

Contexte Obligation pour les établissements de santé La mesure de la satisfaction, une obligation… Obligation pour les établissements de santé Renforcée par la procédure d’accréditation Indicateur du résultat Du processus de prise en charge Des soins Composante des performances hospitalières Décembre 2002 RECEMAP

Contexte mais un manque d’outils de mesure valides Peu d’outils validés en français Notamment pour les ‘questionnaires de sortie’ Risque d’attribuer aux patients des opinions erronées EQS : Échelle de Qualité des Soins Salomon, Gasquet, Mesbah, Ravaud – Int J for Quality in Health care, 1999 Validée en médecine et chirurgie, pas en obstétrique Taille de l’échantillon d’analyse insuffisante Décembre 2002 RECEMAP

Objectif Dans le cadre d’un projet de recherche plus général, utilisant l’EQS comme gold-standard Élargir la validation de l’EQS au service d’obstétrique Vérifier la validation interne de l’EQS Taille d’échantillon de validation adaptée Solutionner les problèmes méthodologiques rencontrés Décembre 2002 RECEMAP

Population et méthode Étude en cours Étude de validation Hôpital Cochin en 1997 8 services enquêtés : 4 services de médecine et 4 services de chirurgie Patients interrogés le jour précédant leur sortie 60 questionnaires par service Étude en cours CHU de Nantes-avril 2002 9 services enquêtés : 4 services de médecine, 4 services de chirurgie, 1 service d’obstétrique Patients interrogés le jour de leur sortie 60 questionnaires par service Décembre 2002 RECEMAP

EQS : Échelle de Qualité des Soins Salomon, Gasquet, Mesbah, Ravaud – Int J for Quality in Health care, 1999 Construction à dire d’experts Liste d’items de questionnaires de satisfaction français et anglo-saxons Interviews non-structurées de 20 patients hospitalisés 59 items testés auprès des professionnels et de 50 patients ACP exploratoire : Items ayant des coordonnées >0.50 sur un axe Facteur 1 : Information médicale : 21 items Variance expliquée 27.5% Facteur 2 : Relations avec les soignants : 19 items Variance expliquée 7.4% Analyse de fiabilité pas à pas Maximisation du coefficient a de Cronbach avec un minimum d’items 13 items dans chaque dimension Échelle EQS : 26 items 4 Modalités codées de 0 à 3 : ‘Pas du tout’ , ‘Pas vraiment’, ‘Presque’, ‘Tout à fait’ 1 modalité ‘Non concerné’ Décembre 2002 RECEMAP

Résultats Échantillon Étude en cours 88.5% 86.2% 724 patients sortants 62 n’ont pu être interrogés (sortie précipitée, patient introuvable) 38 ne respectant pas les critères d’inclusion (langue, état clinique) 624 patients éligibles 23 refus (3.7%) 49 abandons 552 questionnaires remplis 54 questionnaires ayant au moins une valeur manquante 498 réponses exhaustives Étude de validation 80.2% 534 patients éligibles 54 refus (10%) 52 autre raison (langue, état clinique) 428 questionnaires remplis Réponses exhaustives : 93.2% à 100% par item Non-répondants significativement plus âgés (72.2 ans  18.9 versus 56.6 ans  20.6– p<0.01) Décembre 2002 RECEMAP

Caractéristiques socio-médicales des répondants Étude de validation Age moyen 55.5 ans ± 17.1 Femmes 48.4% DMS 8.5 jours ± 7,8 Admission en urgence 24.6% Intervention chirurgicale 52.1% Maladie chronique (>6 mois) 63.3% Étude en cours Age moyen 57,2 ans ± 21,1 Femmes 52.2% DMS 7.8 jours ± 8,8 5 jours en moyenne en obstétrique 13,2 jours en médecine interne Admission en urgence 46.5% Intervention chirurgicale 44% Maladie chronique (>6 mois) 50% Décembre 2002 RECEMAP

Distribution des réponses des 26 items Étude en cours Décembre 2002 RECEMAP

Propriétés psychométriques 1- ACP : Analyse en Composantes Principales Étude en cours % de Variance expliquée 2 Facteurs : 39.5% Facteur 1 : 26.7% Facteur 2 : 12.8% N=82 Étude de validation % de Variance expliquée 2 Facteurs : 42.3% Facteur 1 : Informations médicales 31.7% Facteur 2 : Relations avec les soignants 10.6% 13 items par facteur N= ? ACP confirmatoire 2 dimensions Décembre 2002 RECEMAP

Projection des 26 items de l’échelle EQS dans les 2 facteurs Rotation Varimax /Matrice de corrélation Items du facteur 1 : Informations médicales Validation Étude en cours J’ai obtenu des informations très claires sur mes symptômes 0.71 0.70 J’ai obtenu des informations très claires sur la raison pour laquelle je passais des examens 0.68 0.56 J’ai obtenu des informations très claires sur les résultats de mes examens 0.61 J’ai obtenu des informations très claires sur l’objectif des traitements (médicaments, opérations) 0.72 J’ai obtenu des informations très claires sur les effets indésirables possibles des traitements 0.60 Les médecins ont répondu à toutes mes questions 0.65 J’ai pu identifier le médecin responsable de moi 0.50 J’ai obtenu des explications très claires sur les symptômes qui doivent m’alerter à l’avenir 0.67 0.74 J’ai obtenu des explications très claires sur les activités que je pourrai reprendre après ma sortie J’ai reçu des explications très claires sur mon suivi médical après ma sortie 0.63 On a tenu compte de mon avis pour organiser ma sortie 0.45 0.51 Les médecins ont demandé mon avis avant d’informer mes proches sur mon état de santé 0.41 Mes proches ont obtenu des informations claires et compréhensibles sur mon état de santé 0.57 0.48 Décembre 2002 RECEMAP

Items du facteur 2 : Relations avec les soignants Validation Étude en cours J’ai vu une infirmière aussi souvent que je le souhaitais 0.71 0.65 On a fait le maximum quand j’étais angoissé(e), inquiet(e), triste 0.52 0.48 On a respecté mon intimité 0.49 0.51 Pour mes gestes quotidiens, on a fait le maximum pour m’aider. 0.77 0.69 J’ai été très perturbé(e) par les propos tenus par les médecins pendant la visite 0.32 -0.06 Il est arrivé aux soignants de parler entre eux, comme si je n’étais pas là 0.17 On a fait le maximum pour soulager ma douleur 0.41 0.58 Pour prendre mes repas, j’ai obtenu une aide très adaptée Pour me laver, j’ai obtenu une aide très adaptée 0.68 Pour faire mes besoins (uriner, ...), j’ai obtenu une aide très adaptée 0.55 Les infirmières étaient très disponibles pour moi 0.66 Il y avait une excellente coordination dans le service 0.72 L’ambiance dans le service était très bonne -0.71 0.73 J’ai été très perturbé(e) par les propos tenus par les médecins pendant la visite Il est arrivé aux soignants de parler entre eux, comme si je n’étais pas là Décembre 2002 RECEMAP

Propriétés psychométriques 2 - Fiabilité : Coefficients a de Cronbach Étude en cours Étude de validation Facteur 1 : Informations médicales a=0.88 (n=103) a=0.81(n=180) Facteur 2 : Relations avec les soignants a=0.87 (n=?) a=0.83 (n=164) Échelle globale : a=0.90 (n=?) a=0.87(n=82) Décembre 2002 RECEMAP

REMISE EN CAUSE DE LA VALIDATION ? Problématique Résultats comparables Incluant le service d’obstétrique MAIS Nombre de questionnaires participant à l’analyse limité ACP réalisée sur 82 questionnaires parmi 498 Coefficients a de Cronbach calculés sur le facteur 1 : n=103 dans l’étude de validation et n=180 dans notre étude Valeurs ‘Non concerné’ Ne sont pas des données manquantes REMISE EN CAUSE DE LA VALIDATION ? Décembre 2002 RECEMAP

Fréquence des réponses ‘non concerné’ par item Décembre 2002 RECEMAP

6 items ont un taux de réponse ‘Non concerné’ > 20% - Items de dépendance physique et psychique - Items concernant l’entourage Dépendance physique et psychique % NC on a fait le maximum quand j’étais angoissé(e), inquiet(e), triste 23.1% pour prendre mes repas, j’ai obtenu une aide très adaptée 48.8% pour me laver, j’ai obtenu une aide très adaptée 34.0% pour faire mes besoins (uriner, ...), j’ai obtenu une aide très adaptée 38.2% Entourage les médecins ont demandé mon avis avant d’informer mes proches sur mon état de santé 47.2% mes proches ont obtenu des informations claires et compréhensibles sur mon état de santé 33.8% Sens clinique Décembre 2002 RECEMAP

Qui sont les ‘Non concernés’ ? Dépendance Plus jeunes Hospitalisés dans des services d’os Opérés Entourage Plus âgés Pas le service d’obstétrique Décembre 2002 RECEMAP

Applicable à tous  les pathologies et les patients Garder tous les items dans l’échelle sélectionne des patients dépendants et entourés Si traitement comme des valeurs manquantes Biais de sélection Construire un outil générique de mesure de de la satisfaction du patient hospitalisé Applicable à tous  les pathologies et les patients EQS 20 : module de mesure générique Associé à des modules spécifiques Décembre 2002 RECEMAP

Résultats Propriétés psychométriques EQS20 1 - ACP : Analyse en Composantes Principales 4 facteurs VP>1 % de Variance Expliquée : 53.2% Facteur 1 25.4% Facteur 2 13.1% Facteur 3 8.1% Facteur 4 6.6% N=217 rotation varimax – matrice de corrélation Décembre 2002 RECEMAP

Facteur 1 Disponibilité des soignants - Organisation du service Facteur 2 Information médicale délivrée Facteur 3 Information donnée sur la sortie Facteur 4 Discrétion des soignants Décembre 2002 RECEMAP

Propriétés psychométriques EQS20 2 - Fiabilité : Coefficients a de Cronbach Échelle globale (20 items) 0.83 n=217 Facteur 1(7 items) 0.83 n=401 Facteur 2 (7 items) 0.78 n=388 Facteur 3 (4 items) 0.79 n=341 Facteur 4 (2 items ) 0.44 n=410 Décembre 2002 RECEMAP

Caractéristiques de l’échelle EQS 20 70 Score moyen élevé Distribution non gaussienne Score moyen ± ET 83.2 ± 14.3 Mode 100 Médiane 86.7 Range 25-100 N=498 60 50 40 n Gestion de la qualité 30 20 Gestion des risques 10 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 Score global de l'échelle EQS20 Calcul du score : somme des réponses données à chaque item divisée par le nombre d’items remplis par le patient – 0 à 100 Décembre 2002 RECEMAP

Validité externe concourante Bonne discrimination entre les services Axe Information médicale Moyenne Écart-type Service E 91.4 14.1 Service C 88.4 12.4 Service A 83.5 18.6 Service H 81.3 19.8 Service F 77.8 19.5 Service G 76.5 24.9 Service D 73.2 19.2 Service I 69.1 25.3 Service B 68.2 TOTAL 78.9 21.5 Axe Informations à la sortie Moyenne Écart-type Service E 85.1 22.9 Service F 80.4 21.4 Service C 75.2 30.8 Service D 74.3 28.1 Service A 70.9 30.0 Service H 70.8 32.1 Service G 65.3 35.7 Service B 63.2 33.6 Service I 62.1 31.3 TOTAL 71.7 30.7 Le service E a déjà travaillé sur l’information médicale délivrée Décembre 2002 RECEMAP

Validité externe concourante m (ET) Facteur 1 Disponibilité Facteur 2 Informations médicales Facteur 3 Informations sortie Facteur 4 Discrétion Score global Entrée : En urgence Programmée NS 74.8(23.3) 83.3(19.3)*** 66.5(32.6) 77.5(27.1)*** 80.8(14.6) 86.0(13.1)*** Intervention chirurgicale Pas d’intervention 96.0(9.3) 91.9(13.2)*** 84.1(19.7) 74.4(22.3)*** 84.2(26.6) 79.0(26.7)* 86.6(12.8) 80.3(14.8)*** Santé perçue Moins bonne Semblable Meilleure 91.7(14.0) 93.8(11.8)* 96.0(8.2) Maladie< 6 mois Maladie>= 6 mois 75.4(23.0) 83.6(18.6)*** 65.1(31.6) 76.8(29.4)*** 81.5(14.6) 85.8(13.3)** Décembre 2002 RECEMAP

Influence de l’âge (modélisation) Biais ? Décembre 2002 RECEMAP

Analyse multivariée (1) Régression linéaire multiple sur le score global EQS 20 s(b) IC(b) 95% p Entrée programmée 3.04 1.33 [0.42;5.65] 0.0233 Intervention chirurgicale 4.46 [1.85;7.07] 0.0009 Age <70 ans 0.14 0.05 [0.05;0.23] 0.0015 Age >70ans -0.54 0.13 [-0.80;-0.28] 0.0001 Décembre 2002 RECEMAP

Analyse multivariée (2) Régression linéaire multiple sur le score global EQS 20 Interaction b s(b) IC(b) 95% p 0 ou 1 hospitalisation * Santé perçue meilleure 8.50 2.68 [3.27;13.73] 0.0016 2 ou 3 hospitalisations * Santé perçue meilleure 0.58 5.91 [-11.01;12.15] 0.8320 Plus de 4 hospitalisations -0.27 5.95 [-11.93;11.39] 0.9620 Décembre 2002 RECEMAP

Validité externe concourante Résultats convergents avec les données de la littérature Facteurs influençant positivement le niveau de satisfaction Hospitalisation programmée Maladie chronique Meilleure santé perçue, peu d’hospitalisations antérieures Intervention chirurgicale Homme Age (effet seuil) : croissant jusqu’à 70 ans Tenir compte de ces facteurs dans la mesure (stratification, ajustement) Décembre 2002 RECEMAP

Conclusion Modalités de traitement des réponses ‘Non concerné’ Traiter comme des valeurs manquantes ? Remplacer par la moyenne ? Modélisation ? Biais de sélection Une réponse possible Questionnaire de satisfaction générique Modules spécifiques (patients dépendants, entourage…) Décembre 2002 RECEMAP

Pour le futur… Construction d’un outil composite en cours Qualités métrologiques de l’EQS 20 à consolider Associer d’autres dimensions non explorées par l’échelle Questions ouvertes Nouvelle approche de la mesure : EVA Simplicité Meilleure exhaustivité ? Développer la dimension ‘information du patient’ Rôle dans le processus de prise de décision Acceptation du risque thérapeutique Décembre 2002 RECEMAP