Les méthodes et outils de validation utilisés au CCECQA S. Tricaud-Vialle S. Domecq M. Kret

Plan Méthodes et outils de validation Conclusion/perspectives ? Rapide historique des outils validés par le CCECQA Métrologie : les étapes de la validation Objectifs de validation Validation d’outils Autres objectifs de validation Conclusion/perspectives ? Etat d’avancement au CCECQA Culture de sécurité Satisfaction au travail Séminaire méthodologique – 29 mars 2011 – CCECQA

Méthodes et outils de validation Rapide historique des outils validés par le CCECQA Métrologie : les étapes de la validation Objectifs de validation Validation d’outils Autres objectifs de validation

Rapide historique des outils validés par le CCECQA 2010 ThéORem / DECLICS ICALIAM Saphora-CE Saphora-MCO – V2 EPP-3F 2005 EPQ-USP PSL / Grille lecture critique Compaqh Douleur / Saphora-Job ERI Dossier Patient - 2 2000 Saphora-Psy Dossier Patient Saphora-MCO PREOPPP Séminaire méthodologique – 29 mars 2011 – CCECQA 1996

Concepts de métrologie La validité d’un outil est sa capacité à effectivement mesurer ce que l’on prétend mesurer La fiabilité d’un outil est sa capacité à donner les mêmes résultats, quelles que soient les conditions d’application, en l’absence de toute variation objective du phénomène mesuré Fiable, non valide Valide et fiable Valide, non fiable Séminaire méthodologique – 29 mars 2011 – CCECQA

Etape Définition Méthode VALIDITE de contenu L’outil convient-il à l’objectif fixé ? Jugement subjectif d’experts et d’utilisateurs, revue de la littérature d’apparence L’outil semble-t-il mesurer ce que l’on prétend mesurer ? explicite L’outil couvre-t-il tous les domaines représentant le concept étudié ? AFC, calcul de scores, corrélations, MES VALIDITE de critère de construit Capacité de l’outil à effectivement mesurer ce que l’on prétend mesurer Capacité à classifier les sujets de la même manière qu’une autre mesure du même concept Capacité à donner des résultats qui confirment les variations attendues selon les modèles théoriques du phénomène mesuré Sensibilité, spécificité, validité de prédiction Corrélation des rangs de Spearman, régression FIABILITE homogénéïté des composantes stabilité Mesure de l’accord Capacité de l’outil à différencier les variations liées au phénomène étudié des autres sources de variation Coefficient entre items et total, coefficient de Cronbach Coefficient de Kappa, coefficient de corrélation intra-classe, ANOVA Les résultats des composants d’un outil tendent à converger APPLICABILITE Simplicité, coût, acceptabilité Susceptibilité de l’outil à être utilisé dans les circonstances dans lesquelles la mesure est nécessaire Séminaire méthodologique – 29 mars 2011 – CCECQA

Objectifs de validation Les objectifs de validation dépendent de la nature de l’outil Questionnaire / grille de détection Validation d’outil Questionnaire / échelle Indicateurs composites Reproductibilité Audit Extrait d’items (indicateurs composites ou simples) Faisabilité / acceptabilité Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (1) SAPHORA Elaboration et validation d’outils et de méthodes de mesure de la satisfaction Projet initié en 1996 Objectif : définir une méthode d’enquête de satisfaction dans les établissements de santé, avec élaboration et validation de questionnaires et d’indicateurs de suivi 4 outils validés Saphora-MCO Saphora-Psy Saphora-Job Saphora-CE Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (2) SAPHORA-MCO Au total, 87 questions Une partie remplie par le patient 52 questions sur l’appréciation du patient sur son séjour selon Phase séjour (admission, hôtellerie, unité de soins, plateau technique, bloc opératoire, sortie du patient) Dimensions mesurées (relations humaines, qualité technique des soins, accessibilité, efficacité, environnement, disponibilité) 10 questions ‘pour mieux vous connaître’ 7 questions sur la « fidélisation » et la recommandation du patient sur l’établissement Une partie remplie par le CCECQA 18 questions sur les services fréquentés, modalités de recueil,… Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (3) Saphora-MCO Définition des scores Approche a priori Matrice Questions-Scores Analyses factorielles Calcul des scores Analyses 2 à 2 (Corrélations)… 1997 Analyses multidimensionnelles (MES) 2008 Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (4) Saphora-MCO Validité de contenu Couverture de tous les domaines du concept étudié Exploration de la structure en dimensions Exploration des relations entre les items et les dimensions Analyses 2 à 2 (méthode Multi-trait Multi-méthode) Référentiel => groupe d’items Calcul de scores Calcul des corrélations pour corréler le score de chaque item avec le score du thème auquel il appartient, chaque item a été enlevé dans le calcul du score du thème auquel il appartient Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (5) Saphora-MCO Validité convergente interne Score 1 Q1 Q2 Q3 Q4 Q1 Validité discriminante interne Redondance Q5 Q6 Q7 Q8 Q9 Notions d’a priori et d’a posteriori Score 2 Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (6) Saphora-MCO Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (7) Saphora-MCO Valeurs en gras : corrélations de l’item avec le score de phase séjour ou de dimension auquel il appartient (validité convergente). Cases grisées : corrélations supérieures à la corrélation de l’item avec le score de la phase séjour ou de la dimension à laquelle il appartient. Valeurs en rouge : corrélations pour lesquelles le test de comparaison est non significatif  : les deux valeurs sont égales (multidimensionnalité). Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (8) Saphora-MCO Etude de la fiabilité : homogénéité Mesurer si les résultats des composants d'un outil tendent à converger Nécessité de l'homogénéité Si les résultats des composants convergent, c'est qu'ils mesurent bien le même concept Si les résultats divergent ou sont indépendants On mesure peut-être plusieurs concepts différents La variation intra-individuelle est plus grande et les effets (des causes, des interventions,...) sont plus difficiles à observer Coefficient  de Cronbach : rapport de variances Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (9) Saphora-MCO Etude de la fiabilité : stabilité des résultats Capacité de l'outil à différencier les variations liées au phénomène étudié des autres sources de variation Variations liées au phénomène étudié Dépendent de l'objectif Effet d'une intervention, évolution naturelle Autres sources de variations Reproductibilité inter/intra-observateurs Répétition chez le même individu (test-retest) Conditions d'utilisation de l'outil Deux situations différentes Réponses sur une échelle qualitative : coefficient de Kappa Réponses sur une échelle quantitative : coefficient de corrélation intra-classe, ANOVA Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (10) Saphora-MCO Etude de la fiabilité : stabilité des résultats Effet du temps Deux séries de test-retest Coefficients de corrélation intra-classe (rapport de SCE et SCR) ric>0.91 : très bon accord - ric[0.70;0.90] : bon accord Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outils : questionnaires (11) Saphora-MCO Validité de contenu : analyses multidimensionnelles Modèles d’équations structurelles (MES) Objectifs Mesurer simultanément les effets de plusieurs déterminants sur plusieurs causes Tester des relations linéaires hypothétiques entre plusieurs variables dites latentes Usage Examen des rapports de causalités multiples Mesure de validité et de fiabilité d’instruments, d’indicateurs Principe Articulation d’analyses factorielles et de régressions Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 18

Validation d’outils : questionnaires (12) Saphora-MCO Modèles d’équations structurelles (2) Deux types de variables Manifestes : items Latentes : dimensions Détermination des modèles Modèle externe : liaison variables manifestes et leurs latentes (étape exploratoire : composition des dimensions) Modèle interne : liaison entre les variables latentes (objectif de l’étude) Séminaire méthodologique – 29 mars 2011 – CCECQA 19

Validation d’outils : questionnaires (13) Saphora-MCO Modèles d’équations structurelles (3) Deux approches LISREL : LInear Structural RELations PLS : Partial Least Squares Concurrentes puis complémentaires Critère Approche LISREL Approche PLS Hypothèses Indépendance et multinormalité - Objectif Estimation des paramètres et donc validation du modèle Réalisation de prévisions Méthodologie Covariance Variance Validation Tests statistiques Indices de qualité prédictive Schéma du modèle de mesure Réflectif Réflectif ou formatif Variables latentes Non estimées Combinaison linéaire des variables manifestes Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 20

Validation d’outils : questionnaires (14) Saphora-MCO Modèles d’équations structurelles (4) Comparaison des approches LISREL et PLS sur leurs résultats Résultats Approche LISREL Approche PLS Validation d’une Théorie Solide basée sur une population bien identifiée Peu solide et données ne vérifiant pas les hypothèses de travail Sous-modèle favorisé Modèle interne Modèle externe Homogénéité Rho de Jöreskog rho de Dillon et Goldstein Qualité du modèle GFI, AGFI, RMSEA, NNFI, NFI, CFI GoF Prévisions Contributions factorielles Coefficient de corrélation Poids externes normalisés Coefficients structurels Séminaire méthodologique – 29 mars 2011 – CCECQA 21

Validation d’outil : questionnaires (15) Saphora-MCO Modèles d’équations structurelles Principaux résultats Confirmation de la structure du questionnaire Vérification de la qualité du modèle Quantification de l’impact des variables manifestes sur leur latente Hiérarchisation des dimensions Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 22

Validation d’outil : questionnaires (16) Saphora-MCO Hôtellerie hospitalière Prise en charge globale du patient Information du patient Satisfaction générale Communication des professionnels de santé Attitude des professionnels de santé Restauration hospitalière Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (17) Saphora-MCO Etablissement de santé Patient Information et communication Soins Hôtellerie Hôtellerie hospitalière Prise en charge globale du patient Information du patient Satisfaction générale Personnel hospitalier Communication des professionnels de santé Attitude des professionnels de santé Restauration hospitalière Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (18) Saphora-Job 155 items répartis Questionnaire de satisfaction 79 items 3 thèmes : l’établissement, l’emploi et le travail 15 sous-thèmes : Culture d’établissement, politique et stratégie d’établissement, organisation des services, communication et information, relations sociales, rémunération, réglementation, promotion et mobilité, formation et évaluation, ressenti du travail, organisation du service, conditions de travail, nature du travail, relations entre collègues, relations avec l’encadrement et les médecins Echelles complémentaires validées sur le moral stress professionnel, état de santé mentale, (émotions positives et négatives) ressenties au travail, intention de partir et satisfaction de la vie professionnelle Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (19) Saphora-Job Construction des scores a priori Thème Sous-thème Questions Travail Organisation du service Q1 à q5   Mes conditions de travail Q6 à q10 Nature de mon travail Q11 à q16 Relations entre collègues Q17 à q21 Relations avec l’encadrement de proximité et médecins Q22 à q27 Emploi Ma rémunération Q28 à q32 La réglementation Q33 à q37 La promotion et la mobilité Q38 à q42 Ma formation et mon évaluation Q43 à q48 Le ressenti de mon métier Q49 à q54 Etablissement Ma culture d’établissement Q55 à q59 La politique et la stratégie dans mon établissement Q60 à q64 L’organisation des services Q65 à q69 La communication et l’information Q70 à q74 Les relations sociales Q75 à q79 Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (20) Saphora-Job Construction des scores a posteriori Graphiques ACP : confirme les trois groupes Etablissement Travail Travail Travail Emploi Etablissement Emploi Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (21) Saphora-Job Validité de construit : vérification d’hypothèses Hypothèses : la satisfaction générale du professionnel au travail (et pour chacun des regroupements d’items validés) va dans le sens contraire de la gravité de son état de santé mentale mesuré par l’échelle GHQ dans le sens contraire de son intention de partir de l’établissement ou du service mesurée par l’échelle INTO dans le sens contraire de son niveau de stress perçu mesuré par l’échelle PSS dans le même sens que ses émotions positives mesurées par l’échelle EP, dans le sens contraire de ses émotions négatives mesurées par l’échelle EN Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (22) Saphora-Job Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (23) Saphora-Job Travail ... Items Etablissement 0,78 (S) 0,16 (S) Satisfaction Globale Conditions Travail Salaire 0,15 (S) Supérieurs 0,08 (S) Reconnaissance 0,07 (S) Carrière 0,03 (S) Réglementation 0,02 (S) 0,002 (NS) Collègues Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (24) Saphora-Job Travail Validation d’outil : questionnaires (24) Saphora-Job Etablissement Stress professionnel Satisfaction Globale Conditions Travail -0,86 Salaire -0,60 Emotions négatives Supérieurs -0,59 Etat santé mentale -0,37 Intention partir Reconnaissance 0,78 Satisfaction vie professionnelle Carrière Emotions positives Réglementation Collègues Séminaire méthodologique – 29 mars 2011 – CCECQA

Validation d’outil : questionnaires (25) DECLICS Etapes réalisées pour la validation du questionnaire CS Etape exploratoire Applicabilité (complétude, saturation, répartition asymétrique) Validité de construit (matrice des corrélations de Spearman car données ordinales à 5 modalités, ACP avec rotation Oblimin) Homogénéité (alpha de Cronbach) Etape confirmatoire : MES approche PLS Qualité du modèle (GoF) Homogénéité (rho de Dillon et Goldstein) Prévision : - modèle externe (poids externes normalisés) - modèle interne (coefficients structurels) Séminaire méthodologique – 29 mars 2011 – CCECQA 32

Validation d’outil : questionnaires (26) DECLICS Résultats de l’étape exploratoire Applicabilité Complétude : 94,8% à 99,8% Saturation : effet plafond 2 items Validité de construit Analyse des corrélations Corrélés faiblement : 3 items Mal placé : 1 item ACP Unidimensionnalité Cohérence interne  de Cronbach global : 0,88  de Cronbach par dimension variant entre 0,46 et 0,84 supérieur à 0,70 : 3 dimensions 7 items diminuant la cohérence interne Conclusion Hypothèse de structuration 10 dimensions (2 dimensions regroupées) 40 items (3 items supprimés, 2 reformulés) Séminaire méthodologique – 29 mars 2011 – CCECQA 33

Validation d’outil : questionnaires (27) DECLICS Résultats de l’étape confirmatoire Homogénéité  de Dillon et Goldstein par dimension variant entre 0,77 et 0,91 supérieur à 0,70 : toutes les dimensions Qualité des modèles : GoF Path diagram du MES de DECLICS avec l’impact des variables manifestes sur les latentes et des latentes sur la culture de sécurité   GoF GoF (Bootstrap) Ecart-type IC 95% par Bootstrap Modèle externe 0,993 0,992 0,001 [0,989 ; 0,995] Modèle interne 1,000 0,000 - Séminaire méthodologique – 29 mars 2011 – CCECQA 34

Validation d’outil : questionnaires (28) DECLICS Echelle des couleurs de la variable latente qui a le plus de poids sur la culture de sécurité à celle qui en a le moins. Séminaire méthodologique – 29 mars 2011 – CCECQA 35

Autres objectifs de validation (1) Reproductibilité Nature des outils : grille de « détection » Critères d’évaluation du dossier-patient (2001) Critères de détection des EIG utilisés dans ERI (2002), puis dans ENEIS (2004 et 2009) Critères d’analyse critique d’indicateurs de qualité des soins dans COMPAQH (2004) Objectif principal : bonne stabilité Analyses statistiques : étude de la reproductibilité Intra-observateur (variabilité liée au temps) Inter-observateurs (variabilité liée à l’observateur) Kappa, CIC, modèle log-linéaire, ANOVA Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 36

Autres objectifs de validation (2) Audit Nature des outils : grille d’audit de pratiques Evaluation de la PEC de la douleur des patients hospitalisés dans programme d’amélioration continue (2003) Evaluation de la traçabilité des Produits Sanguins Labiles en établissement de santé (2004) Objectif : extraire des indicateurs de qualité des soins Bonne validité de contenu, bonne faisabilité/acceptabilité Analyses statistiques Calcul : indicateur composite ou simple (à partir des items), nécessité d’ajustement (régression logistique), sélection (ACM) Choix définitif : corrélation entre résultats et processus (ACP) Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 37

Autres objectifs de validation (3) Audit Nécessité de l’ajustement ? Indicateurs PEC de la douleur 2 indicateurs ajustés (sous forme ratio), 2 indicateurs non ajustés (sous forme %) Utilisation en routine par quelques établissements mais non ajusté Complexité du mode de calcul vs utilisation opérationnelle ? Autres expériences ? Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 38

Conclusion / perspectives ? Quid de l’étude de la sensibilité au changement ? Quid en cas de non reproductibilité ? Comment définir les seuils ? => Prochain(s) séminaire(s) ? Séminaire méthodologique – 29 mars 2011 – CCECQA

Etat d’avancement au CCECQA Culture de sécurité Satisfaction au travail

Satisfaction au travail (1) (au 21 mars) 3 réunions en interne Revue de la littérature en cours Doctorant - CDD deux mois Livraison prévue le 2 mai Mise en place d’un groupe de travail national ES, HAS, DGOS, ANAP, CNG, ATIH… Réunions programmées les 31 mai et 21 juin Objectif : à partir de la revue de la littérature, proposer une nouvelle version du questionnaire Séminaire méthodologique – 29 mars 2011 – CCECQA 41

Satisfaction au travail (2) Planning 2011-2012 Mars-avril 2011 Mise à jour de la revue littérature satisfaction au travail Composition du groupe travail management RH Validation du panel Clarté Identification des établissements participants Mai-juin Organisation de deux rencontres avec le groupe de travail 31 mai et 21 juin. Paris Identification d’un responsable d’enquête par établissement Juin- septembre Préparation et diffusion des supports techniques d’enquête Documents de communication Plateforme technique de saisie en ligne Octobre - novembre Conduite des recueils Décembre Janvier Restitution des résultats par établissement Janvier 2012 Début des analyses de validation Processus d’enquête Construction des indicateurs Séminaire méthodologique – 29 mars 2011 – CCECQA 42

Culture de sécurité (au 21 mars) Deux réunions de travail interne Ré-écriture du protocole d’étude Précisions sur l’outil Précisions sur la procédure de validation Projet de recherche associé ? (avec MALIS2) Rédaction de la procédure de coordination de l’enquête Précision du calendrier Séminaire méthodologique – 29 mars 2011 – CCECQA 43

Calendrier prévisionnel Séminaire méthodologique– 29 MARS 20 1 1 44

Merci de votre attention