Sensibilité au changement des outils de mesure Séminaire N°2 20 septembre 2011

Objectifs du séminaire Favoriser le partage d’expériences entre les équipes du consortium Co-construire ensemble une réflexion Clarifier les concepts de sensibilité au changement Identifier les éléments porteurs de changement pour chacun des indicateurs Séminaire n°2 – 20 septembre 2011

Atelier – Question n°1 Que savez-vous sur la sensibilité au changement d’un outil ? Que voudriez-vous savoir ? En termes de concept (et non technique) Questionnement progressif  inter-équipes : temps de réflexion isolé, échanges avec son voisin, puis à 4 Débriefing par groupe (représentant de chaque équipe) Séminaire n°2 – 20 septembre 2011

Production Capacité d’un instrument de mettre en évidence une différence d’état lorsqu’elle existe réellement, d’un groupe d’individus Notre choix d’indicateur permet de mesurer la sensibilité au changement Estimer la part de l’erreur aléatoire par rapport à la variation globale (y inclus le biais d’observation) S’interroger sur les causes de changements : au niveau service ? établissement ? régional ? Séminaire n°2 – 20 septembre 2011

Production Indicateur Mesure d’une situation à un moment donné sur une population donnée 3 situations Détection de l’amélioration ou ampleur/variabilité de l’amélioration ? Situation stable Détérioration Choix de la nature des indicateurs unidimensionnel, multidimensionnel ou composite ? Sensibilité au changement liée à l’erreur de la mesure (ou marge d’incertitude) Stabilité dans le temps : carte de contrôle (marges inférieure et supérieure) Stabilité dans l’espace : funnel plot, forest plot, league table Séminaire n°2 – 20 septembre 2011

Production 3 questions La sensibilité au changement en métrologie Comment avoir la mesure de référence ? Définir une norme ? Comment trouver une définition d’un seuil qui a du sens ? Comment identifier les causes de changement ? La sensibilité au changement en métrologie Indissociable de la validité et de la fiabilité Appel aux notions de sensibilité/spécificité : c’est bien un aspect de validité Validité = évolution réelle + erreur de mesure aléatoire Nécessité de montrer une bonne reproductibilité auparavant Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Définition (dictionnaire) Sensibilité Sens 1 Caractère d'une personne qui ressent des sensations physiques. Anglais sensitivity Sens 2 Caractère d'une personne qui est réceptive psychologiquement, moralement, esthétiquement. Ex Ils n'ont pas la même sensibilité artistique. Anglais sensitivity Sens 3 Capacité d'un instrument de mesure à percevoir de petites variations. Changement Sens 1 Fait de changer (passer d'un état à un autre). Synonyme modification Sens 2 Résultat de ce fait. Mutation, transformation, variation. Synonyme innovation Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Sensibilité au changement d’un outil de mesure (1) Une propriété métrologique capacité d'un instrument de mesure à détecter des changements qui sont petits mais cliniquement importants. (Kirshner &Guyatt, 1985) capacité d’un instrument à objectiver des variations perceptibles, spontanées ou non (Leplège, 2001) en langue anglaise : « responsiveness », « sensitivity », « sensitivity to change » Sa place en métrologie : absence de consensus Élément distinct de la validité et de la fiabilité (Guyatt, Walter & Norman 1987) Ou faisant partie de la validité de construit (Hays 1992) Ou bien même de la fiabilité (Falissard 2008, Auquier 2004) Séminaire n°2 – 20 septembre 2011

Etape Définition Méthode VALIDITE interne L’outil convient-il à l’objectif fixé ? Jugement subjectif d’experts et d’utilisateurs, revue de la littérature d’apparence L’outil semble-t-il mesurer ce que l’on prétend mesurer ? de contenu L’outil couvre-t-il tous les domaines représentant le concept étudié ? AFC, calcul de scores, corrélations, MES VALIDITE externe de critère de construit Capacité de l’outil à effectivement mesurer ce que l’on prétend mesurer Capacité à classifier les sujets de la même manière qu’une autre mesure du même concept Capacité à donner des résultats qui confirment les variations attendues selon les modèles théoriques du phénomène mesuré Sensibilité, spécificité, validité de prédiction Corrélation des rangs de Spearman, régression FIABILITE homogénéïté des composantes stabilité Mesure de l’accord Capacité de l’outil à différencier les variations liées au phénomène étudié des autres sources de variation Coefficient entre items et total, coefficient de Cronbach Coefficient de Kappa, coefficient de corrélation intra-classe, ANOVA Les résultats des composants d’un outil tendent à converger Métrologie : les étapes de la validation APPLICABILITE Simplicité, coût, acceptabilité Susceptibilité de l’outil à être utilisé dans les circonstances dans lesquelles la mesure est nécessaire Séminaire méthodologique – 29 mars 2011 – CCECQA

Ressources identifiées par le CCECQA Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Sensibilité au changement d’un outil de mesure (2) Aspect de la validité auquel une dimension longitudinale est ajoutée (Dubois, 1994) Nécessité de l’étudier Un instrument non fiable est nécessairement non valide Un instrument non valide est aussi nécessairement non sensible au changement Un instrument valide et fiable devrait être sensible au changement mais fiabilité et validité rarement parfaites, l’évaluation de la sensibilité est nécessaire Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Quelques expériences identifiées dans la littérature Pubmed, Science Direct Mots clés Échelles d’évolution de maladie Un article sur l’environnement au travail Séminaire n°2 – 20 septembre 2011

Atelier – Question n°2 Quelles sont vos expériences originales d’approche de la mesure de la sensibilité au changement ? Schéma d’étude, traitement des données Réflexion par équipe : travail sur un projet réalisé (autre que CLARTE) abordant la sensibilité au changement Identifier l’expérience Exposer les limites Séminaire n°2 – 20 septembre 2011

Production Les méthodes qualitatives Les méthodes quantitatives Approche complémentaire aux méthodes quantitatives Explorer les causes de changement d’amélioration/détérioration ou de non changement Apports différents selon les indicateurs ? Mesure de référence, définir un seuil qui a du sens élicitation (accord d’experts technique associé à la statistique) méthode de consensus Reposant sur le degré de certitude, confiance Comment approcher les professionnels ? Les méthodes quantitatives Modélisation de la variation attendue (prédiction) Les indices : à calculer, étude des corrélations sur les variations et les indicateurs de résultats Etude de la sensibilité/spécificité avec repérage des événements Variation significative ? Recherche dans la littérature sur les échelles de qualité de vie Séminaire n°2 – 20 septembre 2011

Production Schéma d’étude A : toutes les entités 2 mesures à période fixe puis étudier les facteurs de variabilité a posteriori Élaboration d’un outil de compréhension des causes de changement Groupe d’experts au préalable Questionnaire auto-administré ou entretien ? Coût ? Cahier de bord à chaque mesure : outil transversal et spécifique RH et Sécurité des soins Schéma d’étude B : choix raisonné 2 mesures dans les entités où identification d’un changement majeur Acceptabilité pour mesures répétées rapprochées ? Réactivité vis-à-vis des événements majeurs pour relancer le recueil Impossibilité d’étudier la spécificité Mesure de la sensibilité sur événements majeurs Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Schéma d’étude (Langlais, 1998) sensibilité au changement de critère  empirique : 2 mesures pour le même groupe de sujets, avant-après une intervention ; classification des sujets améliorés ou non par un expert concomitante : 2 mesures pour le même groupe de sujets avec 2 outils (l’un étudié, l’autre de référence) ; avant-après intervention ; corrélation entre les différences détectées par l’outil étudié et celui de référence sensibilité au changement de construit groupes extrêmes : 2 groupes de sujets devant réagir différemment face à une intervention ; un groupe avec changement attendu et un groupe sans changement attendu (cas-témoin) sensibilité au changement convergente : relation entre changements observés de la caractéristique étudiée et ceux d’autres variables ; étude de corrélations Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Indices de mesure de sensibilité au changement Ampleur de l’effet (effect size - ES) Rapport de la différence des scores moyens sur l’écart-type des scores individuels de la première mesure Réponse moyenne standardisée (standardized response mean - SRM) Rapport de la différence des scores moyens sur l’écart-type des différences des scores individuels entre les 2 mesures Index de Guyatt Rapport de la différence des scores moyens sur l’écart-type des scores individuels dans le groupe « stable »/témoin Autres indices Indice basé sur la différence minimale cliniquement perceptible Indice rapporté à la fiabilité mesurée (CIC) Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Seuils d’interprétation Sensibilité au changement Mauvais si ES inférieur à 0,20 Faible si SRM ou ES compris entre 0,20 à 0,50 (en valeur absolue) Modérée si SRM ou ES compris entre 0,50 et 0,80 Elevée si SRM ou ES supérieur 0,80 Acceptable si Indice de Guyatt supérieur à 0,2 Très grande sensibilité si Indice de Guyatt supérieur à 1 Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Analyses statistiques Tests pour échantillons appariés (Wilcoxon, Student) ANOVA ou test de Tukey Corrélations Courbe de ROC, sensibilité-spécificité Place des analyses qualitatives ??? Séminaire n°2 – 20 septembre 2011

Atelier – Question n°3 Quels types d’événements peuvent être porteurs de changement en gestion des ressources humaines et en sécurité des soins ? Comment les repérer ? Ressources identifiées Discussion et décision Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Théorie du changement - théories des organisations (1) Les raisons qui commandent les changements Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Théorie du changement - théories des organisations (2) En plus les critères d’intentionnalité et de temporalité (Autissier et Moutot 2003) Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Théorie du changement - théories des organisations (2) L’individu dans tout ça : approche sociologique L’analyse culturelle des relations de travail  les comportements (Sainsaulieu) : 4 postures (retrait, séparatiste, communautaire, négociation) L’analyse stratégiques des organisations, au service du diagnostic  jeu des acteurs (Crozier) : 2 concepts (zone d’incertitude, pouvoir et sources de pouvoir) Différents degrés de changement le réglage la réforme la restructuration la refondation Séminaire n°2 – 20 septembre 2011

Ressources identifiées par le CCECQA Exemple d’événements Un article sur l’environnement au travail de Croon. Occup Environ Med 2006 Stabilité environnement de travail une réorganisation ou de fusion un changement de superviseur ou de gestion (0 = oui, 1 = non), un changement dans les heures ou horaires de travail un changement dans les activités de travail, la position, ou de droits Intervention naturelle mesurée Séminaire n°2 – 20 septembre 2011

Conclusion Répondre au cahier des charges de CLARTE Spécificité de chaque indicateur Mesure d’un changement significatif Revue de la littérature sur les échelles de qualité de vie  Emmanuelle (Nantes), Fabienne (Lyon) Identification des événements majeurs Réflexion sur une méthode d’interrogation du groupe d’experts  Leila, Cécile (Nantes), Catherine, Marie (CCECQA) Choix des méthodes au sensibilité au changement : séminaire du 7 décembre 2011 Papier méthodologique sur la mesure de la sensibilité au changement Revue de la littérature  Marie-Annick (Lyon), Sandrine (CCECQA) Séminaire n°2 – 20 septembre 2011