JIQH 2011 Liens entre indicateurs, PEP et certification Analyse et perspectives P. Loirat Conseiller médical du Directeur de la DAQSS

JIQH 2011 Hypothèse Linformation donnée par les indicateurs et les PEP suffit à déterminer le niveau de certification La procédure pourrait sen trouver simplifiée

JIQH 2011 Méthodes – 1 Matériel Analyse rétrospective des bases 2010, IPAQSS, certification, FINESS EdS MCO (±SSR) certifiés avec V2010 au 1 er juin 2010 devant participer au recueil dindicateurs IPAQSS Données colligées –IQ Résultat de chaque IQ: –TDP, DEC, TRD, DTN, TDA, ± TDPS SSR, DEC SSR, TRD SSR, DTN SSR Valeur brute (score %) et décision (+, =, -, NA, NR) –PEP Décisions des EV pour chacune des 13 PEP MCO et 6 PEP SSR –Pas de décision, recommandation, réserve, réserve majeure –Décisions de certification Certification (A), Recommandation (B), Réserve (C), Sursis (D)

JIQH 2011 Méthodes – 2 Description des liens entre IQ, PEP et certification Pour chaque établissement –Résultat des IQ exprimé sous forme de score composite (0 à 100) agrégeant les résultats des indicateurs, calculé selon la méthode Indicator Average –Nombre de PEP incomplètement satisfaites (amenant à une décision), évaluant la non-compliance aux standards. –Décision de certification Comparaisons et corrélations à laide de tests non- parametriques (Spearman, Kruskaal-Wallis)

JIQH 2011 Méthodes – 3 Modélisation des décisions de certification Pour chaque établissements prise en compte de: –Décision prise pour chaque IQ (+, =, -, NA, NR) –Décision concernant chaque PEP Pas de décision, recommandation, réserve, réserve majeure –Décision de certification Certification (A), Recommandation (B), Réserve (C), Sursis (D) Modèle: Certification à 3 niveaux: A vs (B ou C) vs D –Méthode PLS (algorithme Nipals) et régression multinomiale 1 ère étape: équivalant à une ACP avec identification de composantes significatives 2 ème étape: régression multinomiale entre ces composantes et la décision de certification

JIQH 2011 Résultats 196 établissements Les décisions de certification sont liées au nombre de PEP non satisfaites CertificationRecommandationRéserveSursis Décision de certification P < Nombre de PEP non satisfaites

JIQH 2011 Il y a aussi un lien entre le score composite et les décisions de certification; les résultats des EdS certifiés sans recommandation ni réserve laissent des opportunités damélioration… CertificationRecommandationRéserveSursis Décision de certification Score composite P <

JIQH 2011 Le nombre de PEP non satisfaites est lié au score composite dIQ mais les décisions de non-compliance aux PEP tiennent compte, pour une faible partie, des résultats dIQ

JIQH % des EdS sont correctement classés PRÉDIT OBSERVÉ ABCTotal A B C Total Modélisation de la certification

JIQH 2011 les résultats dIQ et de PEP des 38 EdS mal prédits par le modèle soulèvent des questions 40,0 50,0 60,0 70,0 80,0 A bien prédits B prédits A A prédits B B bien prédits C prédits B B prédits C C bien prédits Score CompositeNbre PEP non-satisfaites Score Composite Nbre PEP non satisfaites ?

JIQH 2011 Conclusion À partir dun nombre restreint de données on peut sans doute se faire une idée assez précise du niveau moyen de qualité dun établissement Les données dun modèle validé pourraient alimenter un compte qualité si le degré de mise en œuvre des PEP était évalué chaque année par les établissements. Il est probable que les divergences observées entre modèle et décisions de certification témoignent dautres facteurs pris compte dans le processus de décision, mais lalgorithme de décision mériterait cependant dêtre revu. Le set actuel dIQ et de PEP ne couvre en effet pas des champs importants de la qualité/sécurité, comme par exemple le management des unités de soins ou la réalité de la mise en œuvre dune gestion des risques