La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Séminaire méthodologique Validation des indicateurs PSI - France 2 ème génération M.A. Le Pogam, S. Couray-Targe, J.M. Januel, F. Goutille, A. Bestion,

Présentations similaires


Présentation au sujet: "Séminaire méthodologique Validation des indicateurs PSI - France 2 ème génération M.A. Le Pogam, S. Couray-Targe, J.M. Januel, F. Goutille, A. Bestion,"— Transcription de la présentation:

1 Séminaire méthodologique Validation des indicateurs PSI - France 2 ème génération M.A. Le Pogam, S. Couray-Targe, J.M. Januel, F. Goutille, A. Bestion, A. Beauveil, C. Colin. Pôle IMER, Hospices Civils de Lyon, France Journée de lancement CLARTE – Hôpital Européen Georges Pompidou, Paris, 29 mars 2011

2 Journée de lancement CLARTE – 29 MARS Définitions  PSI-AHRQ  Indicateurs de résultats évaluant la qualité des soins à l’hôpital et en particulier divers aspects de la sécurité des soins (autres composants de la « qualité du système de santé » = efficacité, patient ou actient-centrisme, respect des délais de prise en charge)  Outils de détection  Des erreurs médicales évitables : erreurs d’exécution, erreurs de planification/organisation des soins  Des complications ou des évènements indésirables associés aux soins (EIS) évitables  Sensibles aux changements/améliorations de pratiques et d’organisation au niveau du prestataire de soins (professionnel, établissement) ou du système de santé  2 types d’indicateurs  Indicateur sentinelle (« case finding indicators ») : indicateurs dont l’objectif premier est d’identifier des erreurs, complications ou EI potentiellement attribuables ou associés aux soins et dont la survenue doit déclencher une analyse causale (évitabilité certaine ou presque certaine)  Ex: corps étranger oublié au cours d’une procédure chirurgicale, réaction transfusionnelle  Indicateur de classement (« rate based indicators ») : indicateurs dont l’objectif premier est de mesurer des taux de complications ou d’EIS (évitablité incertaine car évènement possiblement lié à l’état de santé du patient)  Sepsis post-opératoire, mortalité dans les DRG à faible taux de mortalité

3 Journée de lancement CLARTE – 29 MARS Les indicateurs sélectionnés et validés

4 Journée de lancement CLARTE – 29 MARS Méthodes de sélection 1.Entretiens semi-structurés au sein d’une équipe projet  31 personnes reconnues pour leur expertise dans le domaine de la mesure de la qualité des soins  Représentants d’hôpitaux, de sociétés ou groupes d’affaires, gestionnaires de données des états, représentants d’agences fédérales, universitaires, utilisateurs potentiels des indicateurs de qualité issus d’organisations publiques et privées variées Identification de 6 critères clés de sélection (fiabilité et validité)

5 Journée de lancement CLARTE – 29 MARS Critères de sélection-validation 1.« Face validity » : un indicateur de qualité (IQ) doit saisir un aspect de la qualité considéré comme important voire primordial et pouvant servir à évaluer les prestataires de soins ou le système de santé. 2.« Precision » : la variabilité d’un IQ doit être due à des écarts de qualité des soins entre les prestataires et ne doit pas être expliquée par le hasard (random variation) ou par les caractéristiques des patients. 3.« Criterion validity » or « Minimum bias » : un IQ ne doit pas être biaisé par des différences systématiques entre les prestataires (biais de sélection sur le casemix, la sévérité de la maladie et les comorbidités des patients). Quand ces différences existent, elles doivent être prise en compte dans un modèle d’ajustement. Les données disponibles doivent permettre de construire un modèle d’ajustement adéquat. 4.« Construct validity »: un IQ doit être corrélé aux autres mesures du même aspect de la qualité des soins. 5.« Fosters real quality improvement » (Capacité à encourager une vraie démarche d’amélioration continue de la qualité des soins chez les prestataires) : un QI doit être robuste au gaming (éventuelles manipulations des données type sur-codage ou sous-codage, interventions ne concernant la qualité des soins mais impactant l’indicateur) 6.« Application » : Un IQ doit avoir été utilisé dans le passé et de façon pérenne. Refinement of the HCUP Quality Indicators. Technical Reviews, No. 4. Davies SM, Geppert J, McClellan M, et al. Rockville (MD): Agency for Healthcare Research and Quality (US); 2001 May

6 Journée de lancement CLARTE – 29 MARS Méthodes de sélection des IQ 2.Revue de la littérature en 2 phases  Phase 1: Revue structurée de la littérature sur Medline  MeSH terms : "hospital, statistic and methods" and "quality indicators." Identification de 200 IQ potentiels  Phase 2 : Revue extensive de la littérature afin d’évaluer chacun des indicateurs potentiels selon les 6 critères de fiabilité et de validité clés  MEDLINE, PsycINFO, et Cochrane Library  combinaisons de MeSH terms et de mots clés faisant référence à des aspects cliniques, méthodologiques, et à la mesure de la qualité Sélection d’IQ à « bon » niveau de fiabilité/validité

7 Journée de lancement CLARTE – 29 MARS Sélection et validation des PSI (1) 3.Processus de sélection-validation en 4 étapes  Revue de la littérature  Evaluation de chacun des PSI potentiels par une méthode type Delphi  Analyses empiriques les PSI sélectionnés  Elaboration de recommandations sur les PSI sélectionnés

8 Journée de lancement CLARTE – 29 MARS Sélection et validation des PSI (2)  Revue de la littérature : janvier 1990 – mars 2002  Articles avec description, évaluation ou validation d’un indicateur d’erreurs médicales, de sécurité des patients hospitalisés ou de complications évitables mesuré à partir des données administratives hospitalières (CIM9-CM) 326 articles sur MEDLINE 9 articles sur EMBASE

9 Journée de lancement CLARTE – 29 MARS Sélection et validation des PSI (3)  Evaluation de chacun des PSI potentiels par une méthode type Delphi  8 Panel d’experts cliniciens (7-9) évaluant 4 à 5 indicateurs chacun  2 panels pour les indicateurs médicaux  3 panels pour les indicateurs chirurgicaux  2 panels pour les indicateurs obstétricaux  1 panel pour les indicateurs associés aux complications d’actes (procédures)  Evaluation de la validité de face d’un point de vue clinique (pertinence clinique) en vue d’obtenir un consensus du panel  Selon une méthode dérivée de la RAND/UCLA Appropriateness Method:  Evaluation initiale par chaque clinicien du panel par l’intermédiaire d’un questionnaire

10 Journée de lancement CLARTE – 29 MARS Sélection et validation des PSI (4)

11 Journée de lancement CLARTE – 29 MARS Sélection et validation des PSI (5)  Evaluation de chacun des PSI potentiels par une méthode type Delphi  Selon une méthode dérivée de la RAND/UCLA Appropriateness Method:  Evaluation initiale par chaque clinicien du panel par l’intermédiaire d’un questionnaire  Réunion téléphonique entre les membres du panel en vue d’échanger sur les indicateurs évalués: changements proposés pris en compte  Redistribution des questionnaires modifiés  Cotation des indicateurs par chaque clinicien (score à 9 niveaux) et calcul des scores médians afin de mesurer le niveau de consensus entre experts  Choix des indicateurs en fonction du niveau de consensus.

12 Journée de lancement CLARTE – 29 MARS Sélection et validation des PSI (6)  Analyses empiriques des indicateurs sélectionnés  Extraction des indicateurs sélectionnés à partir de différentes bases de données (19 State inpatient databases : 19M de séjours – 2300 hôpitaux)  Analyse critique des fréquences mesurées  Etude de la variabilité (« precision »)  Mesure des biais potentiels par ajustement (« minimum bias »)  Régressions logistiques multivariées  Ajustements testés: âge en classe, sexe, interaction âge*sexe, DRG, Comorbidités  Effet de l’ajustement mesuré sur  le coefficient de corrélation de rangs de Spearman (avant/après ajustement),  La valeur absolue de l’écart à la moyenne (moyen) après ajustement,  le pourcentage des hôpitaux situés dans le « Top10% » qui le reste après ajustement,  le pourcentage des hôpitaux situés dans le « Bottom10% » qui le reste après ajustement,  le pourcentage des hôpitaux dont le rang est modifié de plus de 2 déciles après ajustement.  Etude des corrélations entre indicateurs (« construct validity »)  Coefficient de corrélation de Spearman  ACP

13 Journée de lancement CLARTE – 29 MARS Critères de sélection-validation 2008  Un indicateur valide est le reflet de la réalité du phénomène qu’il mesure 1.Validité de contenu (« content validity ») : capacité à mesurer toutes les dimensions du concept d’intérêt 2.Validité de critère (« criterion validity ») : capacité d’un indicateur à produire des résultats comparables à ceux produits à partir d’un « gold standard » 3.Validité prédictive (« predictive validity ») : capacité d’un indicateur à prédire le résultat d’intérêt (VPP,VPN) 4.Validité de construit (« construct validity »): capacité d’un indicateur à être corrélé à d’autres mesures (issues de la littérature ou d’un modèle conceptuel robuste) Lessons from the AHRQ PSI Validation Pilot Project. AHRQ QI Users Meeting September 10, Patrick S. Romano

14 Journée de lancement CLARTE – 29 MARS Les indicateurs PSI -France  PSI 7.2 : Taux d’infections sur voie veineuse centrale en Réanimation, SC, SI  PSI 12.2 : Taux d’embolies pulmonaires et/ou de thromboses veineuses profondes après prothèse totale de hanche ou de genou  PSI 13.2 : Taux de sepsis postopératoires  Chirurgie digestive haute et basse  Chirurgie vasculaire : chirurgie majeure de revascularisation  Chirurgie cardiaque : pontage aorto-coronarien et de remplacement valvulaire  Obstétrique: césarienne  Neuro-chirurgie: interventions sur le rachis et la moelle épinière  Orthopédie: infection sur prothèse  Chirurgie du cancer ….  PSI pédiatrique (?)  Taux de réadmissions des patients pris en charge en hospitalisation ambulatoire  Chirurgie ambulatoire  endoscopie

15 Journée de lancement CLARTE – 29 MARS Méthodologie de validation (1)  Validation du cadre nosologique  Sociétés savantes d’anesthésie-réanimation, d’infectiologie et de chirurgie  Validation de l’algorithme d’extraction de l’indicateur, adapté aux règles de codage du PMSI français  Panel d’une 20 ne de médecins d’information médicale  Extraction de l’indicateur à partir de la base nationale du PMSI-MCO 2009

16 Journée de lancement CLARTE – 29 MARS Méthodologie de validation (2)  Validation de l’indicateur : Evaluation de la performance de l’indicateur à mesurer l’évènement indésirable concerné  Validation de construit par retour aux dossiers médicaux :  Panel d’une centaine d’ES MCO  Recherche si l’EIS mis en évidence dans la base PMSI correspond à un séjour avec EIS dans le dossier du patient  CHU-CHR : 150 séjours PSI+ dans la base PMSI  ES≥300 lits et places : 100 séjours PSI+ dans la base PMSI  ES<300 lits et places : 75 séjours PSI+ dans la base PMSI  Calcul de la VPP et de la VPN de l’indicateur (VPP attendue = 80%)  3 ARC recrutés par CLARTE pour la validation par retour aux dossiers médicaux  Validation de convergence : croisement avec une base de données nationale de surveillance systématique (RAISIN) ou une base de données type registre  Validation des critères de standardisation et du modèle d’ajustement

17 Journée de lancement CLARTE – 29 MARS Méthodologie de validation (3)  Production du résultat de l’indicateur à partir de la base nationale du PMSI-MCO 2009 et 2010  Résultats national, par région et par établissement  Prévalence pour 1000 hospitalisations (ET, IC95%)  Densité d’incidence pour 1000 journées d’hospitalisation (ET, IC95%)  Dénominateur : effectif des « séjours à risque »  Résultats stratifiés sur différentes variables d’intérêt: âge, sexe, durée de séjour, IGS II, nombre de diagnostics secondaires du RSA, type d’activité (SI, SC, réanimation), volume d’activité …  Taux moyen brut par établissement pour 1000 hospitalisations, taux moyen standardisé par établissement pour 1000 hospitalisations

18 Journée de lancement CLARTE – 29 MARS Méthodologie de validation (4)  Etude de la dispersion des taux moyens standardisés des établissements du panel de validation  Représentation graphique des taux standardisés : « forest plot » et « funnel plot »  Recherche de facteurs explicatifs des valeurs extrêmes (« outliers »)  Constitution de groupes de travail nationaux avec des représentants d’établissements volontaires sur :  Les outils de monitoring des indicateurs et d’aide à la décision : cartes de contrôle  Le benchmarking inter-établissements ou inter-services  Les actions d’amélioration spécifiques à l’EIS

19 Merci de votre attention


Télécharger ppt "Séminaire méthodologique Validation des indicateurs PSI - France 2 ème génération M.A. Le Pogam, S. Couray-Targe, J.M. Januel, F. Goutille, A. Bestion,"

Présentations similaires


Annonces Google