Les méthodes et outils de validation utilisés au CCECQA

Présentation au sujet: "Les méthodes et outils de validation utilisés au CCECQA"— Transcription de la présentation:

1 Les méthodes et outils de validation utilisés au CCECQA
S. Tricaud-Vialle S. Domecq M. Kret

2 Plan Méthodes et outils de validation Conclusion/perspectives ?
Rapide historique des outils validés par le CCECQA Métrologie : les étapes de la validation Objectifs de validation Validation d’outils Autres objectifs de validation Conclusion/perspectives ? Etat d’avancement au CCECQA Culture de sécurité Satisfaction au travail Séminaire méthodologique – 29 mars 2011 – CCECQA

3 Méthodes et outils de validation
Rapide historique des outils validés par le CCECQA Métrologie : les étapes de la validation Objectifs de validation Validation d’outils Autres objectifs de validation

4 Rapide historique des outils validés par le CCECQA
2010 ThéORem / DECLICS ICALIAM Saphora-CE Saphora-MCO – V2 EPP-3F 2005 EPQ-USP PSL / Grille lecture critique Compaqh Douleur / Saphora-Job ERI Dossier Patient - 2 2000 Saphora-Psy Dossier Patient Saphora-MCO PREOPPP Séminaire méthodologique – 29 mars 2011 – CCECQA 1996

5 Concepts de métrologie
La validité d’un outil est sa capacité à effectivement mesurer ce que l’on prétend mesurer La fiabilité d’un outil est sa capacité à donner les mêmes résultats, quelles que soient les conditions d’application, en l’absence de toute variation objective du phénomène mesuré Fiable, non valide Valide et fiable Valide, non fiable Séminaire méthodologique – 29 mars 2011 – CCECQA

6 Etape Définition Méthode
VALIDITE de contenu L’outil convient-il à l’objectif fixé ? Jugement subjectif d’experts et d’utilisateurs, revue de la littérature d’apparence L’outil semble-t-il mesurer ce que l’on prétend mesurer ? explicite L’outil couvre-t-il tous les domaines représentant le concept étudié ? AFC, calcul de scores, corrélations, MES VALIDITE de critère de construit Capacité de l’outil à effectivement mesurer ce que l’on prétend mesurer Capacité à classifier les sujets de la même manière qu’une autre mesure du même concept Capacité à donner des résultats qui confirment les variations attendues selon les modèles théoriques du phénomène mesuré Sensibilité, spécificité, validité de prédiction Corrélation des rangs de Spearman, régression FIABILITE homogénéïté des composantes stabilité Mesure de l’accord Capacité de l’outil à différencier les variations liées au phénomène étudié des autres sources de variation Coefficient entre items et total, coefficient de Cronbach Coefficient de Kappa, coefficient de corrélation intra-classe, ANOVA Les résultats des composants d’un outil tendent à converger APPLICABILITE Simplicité, coût, acceptabilité Susceptibilité de l’outil à être utilisé dans les circonstances dans lesquelles la mesure est nécessaire Séminaire méthodologique – 29 mars 2011 – CCECQA

7 Objectifs de validation
Les objectifs de validation dépendent de la nature de l’outil Questionnaire / grille de détection Validation d’outil Questionnaire / échelle Indicateurs composites Reproductibilité Audit Extrait d’items (indicateurs composites ou simples) Faisabilité / acceptabilité Séminaire méthodologique – 29 mars 2011 – CCECQA

8 Validation d’outil : questionnaires (1)
SAPHORA Elaboration et validation d’outils et de méthodes de mesure de la satisfaction Projet initié en 1996 Objectif : définir une méthode d’enquête de satisfaction dans les établissements de santé, avec élaboration et validation de questionnaires et d’indicateurs de suivi 4 outils validés Saphora-MCO Saphora-Psy Saphora-Job Saphora-CE Séminaire méthodologique – 29 mars 2011 – CCECQA

9 Validation d’outil : questionnaires (2)
SAPHORA-MCO Au total, 87 questions Une partie remplie par le patient 52 questions sur l’appréciation du patient sur son séjour selon Phase séjour (admission, hôtellerie, unité de soins, plateau technique, bloc opératoire, sortie du patient) Dimensions mesurées (relations humaines, qualité technique des soins, accessibilité, efficacité, environnement, disponibilité) 10 questions ‘pour mieux vous connaître’ 7 questions sur la « fidélisation » et la recommandation du patient sur l’établissement Une partie remplie par le CCECQA 18 questions sur les services fréquentés, modalités de recueil,… Séminaire méthodologique – 29 mars 2011 – CCECQA

10 Validation d’outil : questionnaires (3) Saphora-MCO
Définition des scores Approche a priori Matrice Questions-Scores Analyses factorielles Calcul des scores Analyses 2 à 2 (Corrélations)… 1997 Analyses multidimensionnelles (MES) 2008 Séminaire méthodologique – 29 mars 2011 – CCECQA

11 Validation d’outil : questionnaires (4) Saphora-MCO
Validité de contenu Couverture de tous les domaines du concept étudié Exploration de la structure en dimensions Exploration des relations entre les items et les dimensions Analyses 2 à 2 (méthode Multi-trait Multi-méthode) Référentiel => groupe d’items Calcul de scores Calcul des corrélations pour corréler le score de chaque item avec le score du thème auquel il appartient, chaque item a été enlevé dans le calcul du score du thème auquel il appartient Séminaire méthodologique – 29 mars 2011 – CCECQA

12 Validation d’outil : questionnaires (5) Saphora-MCO
Validité convergente interne Score 1 Q1 Q2 Q3 Q4 Q1 Validité discriminante interne Redondance Q5 Q6 Q7 Q8 Q9 Notions d’a priori et d’a posteriori Score 2 Séminaire méthodologique – 29 mars 2011 – CCECQA

13 Validation d’outil : questionnaires (6) Saphora-MCO
Séminaire méthodologique – 29 mars 2011 – CCECQA

14 Validation d’outil : questionnaires (7) Saphora-MCO
Valeurs en gras : corrélations de l’item avec le score de phase séjour ou de dimension auquel il appartient (validité convergente). Cases grisées : corrélations supérieures à la corrélation de l’item avec le score de la phase séjour ou de la dimension à laquelle il appartient. Valeurs en rouge : corrélations pour lesquelles le test de comparaison est non significatif  : les deux valeurs sont égales (multidimensionnalité). Séminaire méthodologique – 29 mars 2011 – CCECQA

15 Validation d’outil : questionnaires (8) Saphora-MCO
Etude de la fiabilité : homogénéité Mesurer si les résultats des composants d'un outil tendent à converger Nécessité de l'homogénéité Si les résultats des composants convergent, c'est qu'ils mesurent bien le même concept Si les résultats divergent ou sont indépendants On mesure peut-être plusieurs concepts différents La variation intra-individuelle est plus grande et les effets (des causes, des interventions,...) sont plus difficiles à observer Coefficient  de Cronbach : rapport de variances Séminaire méthodologique – 29 mars 2011 – CCECQA

16 Validation d’outil : questionnaires (9) Saphora-MCO
Etude de la fiabilité : stabilité des résultats Capacité de l'outil à différencier les variations liées au phénomène étudié des autres sources de variation Variations liées au phénomène étudié Dépendent de l'objectif Effet d'une intervention, évolution naturelle Autres sources de variations Reproductibilité inter/intra-observateurs Répétition chez le même individu (test-retest) Conditions d'utilisation de l'outil Deux situations différentes Réponses sur une échelle qualitative : coefficient de Kappa Réponses sur une échelle quantitative : coefficient de corrélation intra-classe, ANOVA Séminaire méthodologique – 29 mars 2011 – CCECQA

17 Validation d’outil : questionnaires (10) Saphora-MCO
Etude de la fiabilité : stabilité des résultats Effet du temps Deux séries de test-retest Coefficients de corrélation intra-classe (rapport de SCE et SCR) ric>0.91 : très bon accord - ric[0.70;0.90] : bon accord Séminaire méthodologique – 29 mars 2011 – CCECQA

18 Validation d’outils : questionnaires (11) Saphora-MCO
Validité de contenu : analyses multidimensionnelles Modèles d’équations structurelles (MES) Objectifs Mesurer simultanément les effets de plusieurs déterminants sur plusieurs causes Tester des relations linéaires hypothétiques entre plusieurs variables dites latentes Usage Examen des rapports de causalités multiples Mesure de validité et de fiabilité d’instruments, d’indicateurs Principe Articulation d’analyses factorielles et de régressions Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 18

19 Validation d’outils : questionnaires (12) Saphora-MCO
Modèles d’équations structurelles (2) Deux types de variables Manifestes : items Latentes : dimensions Détermination des modèles Modèle externe : liaison variables manifestes et leurs latentes (étape exploratoire : composition des dimensions) Modèle interne : liaison entre les variables latentes (objectif de l’étude) Séminaire méthodologique – 29 mars 2011 – CCECQA 19

20 Validation d’outils : questionnaires (13) Saphora-MCO
Modèles d’équations structurelles (3) Deux approches LISREL : LInear Structural RELations PLS : Partial Least Squares Concurrentes puis complémentaires Critère Approche LISREL Approche PLS Hypothèses Indépendance et multinormalité - Objectif Estimation des paramètres et donc validation du modèle Réalisation de prévisions Méthodologie Covariance Variance Validation Tests statistiques Indices de qualité prédictive Schéma du modèle de mesure Réflectif Réflectif ou formatif Variables latentes Non estimées Combinaison linéaire des variables manifestes Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 20

21 Validation d’outils : questionnaires (14) Saphora-MCO
Modèles d’équations structurelles (4) Comparaison des approches LISREL et PLS sur leurs résultats Résultats Approche LISREL Approche PLS Validation d’une Théorie Solide basée sur une population bien identifiée Peu solide et données ne vérifiant pas les hypothèses de travail Sous-modèle favorisé Modèle interne Modèle externe Homogénéité Rho de Jöreskog rho de Dillon et Goldstein Qualité du modèle GFI, AGFI, RMSEA, NNFI, NFI, CFI GoF Prévisions Contributions factorielles Coefficient de corrélation Poids externes normalisés Coefficients structurels Séminaire méthodologique – 29 mars 2011 – CCECQA 21

22 Validation d’outil : questionnaires (15) Saphora-MCO
Modèles d’équations structurelles Principaux résultats Confirmation de la structure du questionnaire Vérification de la qualité du modèle Quantification de l’impact des variables manifestes sur leur latente Hiérarchisation des dimensions Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 22

23 Validation d’outil : questionnaires (16) Saphora-MCO
Hôtellerie hospitalière Prise en charge globale du patient Information du patient Satisfaction générale Communication des professionnels de santé Attitude des professionnels de santé Restauration hospitalière Séminaire méthodologique – 29 mars 2011 – CCECQA

24 Validation d’outil : questionnaires (17) Saphora-MCO
Etablissement de santé Patient Information et communication Soins Hôtellerie Hôtellerie hospitalière Prise en charge globale du patient Information du patient Satisfaction générale Personnel hospitalier Communication des professionnels de santé Attitude des professionnels de santé Restauration hospitalière Séminaire méthodologique – 29 mars 2011 – CCECQA

25 Validation d’outil : questionnaires (18) Saphora-Job
155 items répartis Questionnaire de satisfaction 79 items 3 thèmes : l’établissement, l’emploi et le travail 15 sous-thèmes : Culture d’établissement, politique et stratégie d’établissement, organisation des services, communication et information, relations sociales, rémunération, réglementation, promotion et mobilité, formation et évaluation, ressenti du travail, organisation du service, conditions de travail, nature du travail, relations entre collègues, relations avec l’encadrement et les médecins Echelles complémentaires validées sur le moral stress professionnel, état de santé mentale, (émotions positives et négatives) ressenties au travail, intention de partir et satisfaction de la vie professionnelle Séminaire méthodologique – 29 mars 2011 – CCECQA

26 Validation d’outil : questionnaires (19) Saphora-Job
Construction des scores a priori Thème Sous-thème Questions Travail Organisation du service Q1 à q5 Mes conditions de travail Q6 à q10 Nature de mon travail Q11 à q16 Relations entre collègues Q17 à q21 Relations avec l’encadrement de proximité et médecins Q22 à q27 Emploi Ma rémunération Q28 à q32 La réglementation Q33 à q37 La promotion et la mobilité Q38 à q42 Ma formation et mon évaluation Q43 à q48 Le ressenti de mon métier Q49 à q54 Etablissement Ma culture d’établissement Q55 à q59 La politique et la stratégie dans mon établissement Q60 à q64 L’organisation des services Q65 à q69 La communication et l’information Q70 à q74 Les relations sociales Q75 à q79 Séminaire méthodologique – 29 mars 2011 – CCECQA

27 Validation d’outil : questionnaires (20) Saphora-Job
Construction des scores a posteriori Graphiques ACP : confirme les trois groupes Etablissement Travail Travail Travail Emploi Etablissement Emploi Séminaire méthodologique – 29 mars 2011 – CCECQA

28 Validation d’outil : questionnaires (21) Saphora-Job
Validité de construit : vérification d’hypothèses Hypothèses : la satisfaction générale du professionnel au travail (et pour chacun des regroupements d’items validés) va dans le sens contraire de la gravité de son état de santé mentale mesuré par l’échelle GHQ dans le sens contraire de son intention de partir de l’établissement ou du service mesurée par l’échelle INTO dans le sens contraire de son niveau de stress perçu mesuré par l’échelle PSS dans le même sens que ses émotions positives mesurées par l’échelle EP, dans le sens contraire de ses émotions négatives mesurées par l’échelle EN Séminaire méthodologique – 29 mars 2011 – CCECQA

29 Validation d’outil : questionnaires (22) Saphora-Job
Séminaire méthodologique – 29 mars 2011 – CCECQA

30 Validation d’outil : questionnaires (23) Saphora-Job
Travail ... Items Etablissement 0,78 (S) 0,16 (S) Satisfaction Globale Conditions Travail Salaire 0,15 (S) Supérieurs 0,08 (S) Reconnaissance 0,07 (S) Carrière 0,03 (S) Réglementation 0,02 (S) 0,002 (NS) Collègues Séminaire méthodologique – 29 mars 2011 – CCECQA

31 Validation d’outil : questionnaires (24) Saphora-Job
Travail Validation d’outil : questionnaires (24) Saphora-Job Etablissement Stress professionnel Satisfaction Globale Conditions Travail -0,86 Salaire -0,60 Emotions négatives Supérieurs -0,59 Etat santé mentale -0,37 Intention partir Reconnaissance 0,78 Satisfaction vie professionnelle Carrière Emotions positives Réglementation Collègues Séminaire méthodologique – 29 mars 2011 – CCECQA

32 Validation d’outil : questionnaires (25) DECLICS
Etapes réalisées pour la validation du questionnaire CS Etape exploratoire Applicabilité (complétude, saturation, répartition asymétrique) Validité de construit (matrice des corrélations de Spearman car données ordinales à 5 modalités, ACP avec rotation Oblimin) Homogénéité (alpha de Cronbach) Etape confirmatoire : MES approche PLS Qualité du modèle (GoF) Homogénéité (rho de Dillon et Goldstein) Prévision : - modèle externe (poids externes normalisés) - modèle interne (coefficients structurels) Séminaire méthodologique – 29 mars 2011 – CCECQA 32

33 Validation d’outil : questionnaires (26) DECLICS
Résultats de l’étape exploratoire Applicabilité Complétude : 94,8% à 99,8% Saturation : effet plafond 2 items Validité de construit Analyse des corrélations Corrélés faiblement : 3 items Mal placé : 1 item ACP Unidimensionnalité Cohérence interne  de Cronbach global : 0,88  de Cronbach par dimension variant entre 0,46 et 0,84 supérieur à 0,70 : 3 dimensions 7 items diminuant la cohérence interne Conclusion Hypothèse de structuration 10 dimensions (2 dimensions regroupées) 40 items (3 items supprimés, 2 reformulés) Séminaire méthodologique – 29 mars 2011 – CCECQA 33

34 Validation d’outil : questionnaires (27) DECLICS
Résultats de l’étape confirmatoire Homogénéité  de Dillon et Goldstein par dimension variant entre 0,77 et 0,91 supérieur à 0,70 : toutes les dimensions Qualité des modèles : GoF Path diagram du MES de DECLICS avec l’impact des variables manifestes sur les latentes et des latentes sur la culture de sécurité GoF GoF (Bootstrap) Ecart-type IC 95% par Bootstrap Modèle externe 0,993 0,992 0,001 [0,989 ; 0,995] Modèle interne 1,000 0,000 - Séminaire méthodologique – 29 mars 2011 – CCECQA 34

35 Validation d’outil : questionnaires (28) DECLICS
Echelle des couleurs de la variable latente qui a le plus de poids sur la culture de sécurité à celle qui en a le moins. Séminaire méthodologique – 29 mars 2011 – CCECQA 35

36 Autres objectifs de validation (1) Reproductibilité
Nature des outils : grille de « détection » Critères d’évaluation du dossier-patient (2001) Critères de détection des EIG utilisés dans ERI (2002), puis dans ENEIS (2004 et 2009) Critères d’analyse critique d’indicateurs de qualité des soins dans COMPAQH (2004) Objectif principal : bonne stabilité Analyses statistiques : étude de la reproductibilité Intra-observateur (variabilité liée au temps) Inter-observateurs (variabilité liée à l’observateur) Kappa, CIC, modèle log-linéaire, ANOVA Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 36

37 Autres objectifs de validation (2) Audit
Nature des outils : grille d’audit de pratiques Evaluation de la PEC de la douleur des patients hospitalisés dans programme d’amélioration continue (2003) Evaluation de la traçabilité des Produits Sanguins Labiles en établissement de santé (2004) Objectif : extraire des indicateurs de qualité des soins Bonne validité de contenu, bonne faisabilité/acceptabilité Analyses statistiques Calcul : indicateur composite ou simple (à partir des items), nécessité d’ajustement (régression logistique), sélection (ACM) Choix définitif : corrélation entre résultats et processus (ACP) Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 37

38 Autres objectifs de validation (3) Audit
Nécessité de l’ajustement ? Indicateurs PEC de la douleur 2 indicateurs ajustés (sous forme ratio), 2 indicateurs non ajustés (sous forme %) Utilisation en routine par quelques établissements mais non ajusté Complexité du mode de calcul vs utilisation opérationnelle ? Autres expériences ? Séminaire méthodologique – 29 mars 2011 – CCECQA Séminaire méthodologique – 29 mars 2011 – CCECQA 38

39 Conclusion / perspectives ?
Quid de l’étude de la sensibilité au changement ? Quid en cas de non reproductibilité ? Comment définir les seuils ? => Prochain(s) séminaire(s) ? Séminaire méthodologique – 29 mars 2011 – CCECQA

40 Etat d’avancement au CCECQA
Culture de sécurité Satisfaction au travail

41 Satisfaction au travail (1) (au 21 mars)
3 réunions en interne Revue de la littérature en cours Doctorant - CDD deux mois Livraison prévue le 2 mai Mise en place d’un groupe de travail national ES, HAS, DGOS, ANAP, CNG, ATIH… Réunions programmées les 31 mai et 21 juin Objectif : à partir de la revue de la littérature, proposer une nouvelle version du questionnaire Séminaire méthodologique – 29 mars 2011 – CCECQA 41

42 Satisfaction au travail (2) Planning 2011-2012
Mars-avril 2011 Mise à jour de la revue littérature satisfaction au travail Composition du groupe travail management RH Validation du panel Clarté Identification des établissements participants Mai-juin Organisation de deux rencontres avec le groupe de travail 31 mai et 21 juin. Paris Identification d’un responsable d’enquête par établissement Juin- septembre Préparation et diffusion des supports techniques d’enquête Documents de communication Plateforme technique de saisie en ligne Octobre - novembre Conduite des recueils Décembre Janvier Restitution des résultats par établissement Janvier 2012 Début des analyses de validation Processus d’enquête Construction des indicateurs Séminaire méthodologique – 29 mars 2011 – CCECQA 42

43 Culture de sécurité (au 21 mars)
Deux réunions de travail interne Ré-écriture du protocole d’étude Précisions sur l’outil Précisions sur la procédure de validation Projet de recherche associé ? (avec MALIS2) Rédaction de la procédure de coordination de l’enquête Précision du calendrier Séminaire méthodologique – 29 mars 2011 – CCECQA 43

44 Calendrier prévisionnel
Séminaire méthodologique– 29 MARS 44

45 Merci de votre attention