Prédiction du niveau de certification des établissements de santé Soutenance de stage 12 septembre 2012 Benjamin Robillard

2 Sommaire 1.Présentation générale 2.Méthodologie de l’étude 3.Résultats 4.Conclusion

3Benjamin Robillard 1. Présentation générale

4Benjamin Robillard La HAS, qu’est-ce que c’est ? Institution publique indépendante Agit pour renforcer la qualité et la sécurité des soins Une de ses missions principales : la certification des établissements de santé HAS : Haute Autorité de Santé Etablissement de santé : Hôpital public ou clinique

5Benjamin Robillard La certification Porte une appréciation globale et indépendante de la qualité des soins en établissement de santé Démarche obligatoire pour tous les établissements, tous les 4 ans

6Benjamin Robillard Les Pratiques Exigibles Prioritaires Critères de certification majeurs Exemples de PEP : Prise en charge de la douleur, organisation du bloc opératoire, maitrise du risque infectieux etc... Notation à partir de 4 niveaux : sans recommandation, recommandation, réserve ou réserve majeure PEP : Pratique Exigible Prioritaire

7Benjamin Robillard Les indicateurs de qualité (IQ) Généralisation des indicateurs par IPAQSS Exemples d’IQ : Tenue du dossier patient, évaluation de la douleur etc... Diffusion publique sur le site internet du ministère IPAQSS : Indicateurs Pour l’Amélioration de la Qualité et de la Sécurité des Soins Objectif cible de 80%  4 catégories A / B / C / D

8Benjamin Robillard Les niveaux de certification  Certification(niveau A)  Certification avec recommandations (niveau B)  Certification avec réserves  Sursis à la décision de certification (niveau C)  Non certification

9Benjamin Robillard Problématiques  Prédire le niveau de certification à partir d’un nombre réduit de critères : PEP & indicateurs de qualité (IQ) uniquement  Les données de l’auto-évaluation suffisent-elles pour prédire convenablement le niveau de certification ?

10Benjamin Robillard 2. Méthodologie de l’étude

11Benjamin Robillard Caractéristiques des données 2 bases de données : la base expert-visiteur et la base d’auto-évaluation 2 prises en charge : MCO et MCO-SSR  données non-applicables 489 établissements certifiés entre juin 2010 et janvier PEP et 9 IQ  données qualitatives MCO : Médecine Chirurgie et Obstétrique SSR : Soins de Suite et de Réadaptation

12Benjamin Robillard Méthodes de classement (1/2) DISQUAL X est transformé en tableau disjonctif complet Analyse des Correspondances Multiples (ACM) sur le TDC Analyse Discriminante Bayesienne de Y sur une sélection des axes factoriels de l’ACM AvantagesInconvénients Méthode connue, approche « référence » Robustesse du modèle  Problème avec des effectifs peu représentés  Pas de prise en compte de la variable à prédire

13Benjamin Robillard Méthodes de classement (2/2) Analyse Discriminante PLS X et Y sont transformés en deux tableaux disjonctifs complets Régression Partial Least Square multivariée de Y sur le TDC Analyse Discriminante Bayesienne sur les m composantes PLS multivariée AvantagesInconvénients Bonne réponse au problème de multi-colinéarité Prend en compte la variable à prédire  Algorithme complexe, difficulté de compréhension

14Benjamin Robillard Validation des modèles Comparaison entre classement réel et classement prédit Validation interne des modèles Validation externe des modèles à partir de la méthode de Leave One Out (LOO)

15Benjamin Robillard 3. Résultats

16Benjamin Robillard Analyses univariées (1/2) Répartition de la décision de certification des 489 ES  Majorité d’établissements certifiés B  Probabilités a priori dans les modèles de classement

17Benjamin Robillard Analyses univariées (2/2) Nombre d’ES en fonction de la prise en charge  Données non-applicables

18Benjamin Robillard Analyse descriptive  Lien important entre le niveau de certification et les scores des PEP & IQ  Les PEP discriminent davantage le niveau de certification que les IQ  Les PEP 20.a. et 1.f. sont les critères les plus discriminants PEP 20.a. : Management de la prise en charge médicamenteuse du patient PEP 1.f. : Politique et organisation de l’évaluation des pratiques professionnelles

19Benjamin Robillard Résultats de la table d’auto-évaluation (N = 195)  Présence de très mal classés 67,7 % d’ES bien classés 84,1 % d’ES bien classés Matrice de confusion LOO DISQUALMatrice de confusion LOO PLS-AD Pr é dit Vrai ABC A 8191 B C 2152 Pr é dit Vrai ABC A B C 289

20Benjamin Robillard Résultats de la table experts-visiteurs DISQUAL 86,7% d’ES bien classés en interne Résultats peu stables Mauvaise prédiction des niveaux extrêmes 78,5 % d’ES bien classés Matrice de confusion LOO DISQUAL Pr é dit Vrai ABC A B C 03319

21Benjamin Robillard Résultats de la table experts-visiteurs PLS-AD 85,7% d’ES bien classés en interne Résultats très stables Prédiction moyenne des niveaux extrêmes Lorsque le modèle prédit C, il ne se trompe pas 84,7 % d’ES bien classés Matrice de confusion LOO PLS-AD Pr é dit Vrai ABC A B C 02131

22Benjamin Robillard 4. Conclusion

23Benjamin Robillard Conclusion La méthode d’analyse discriminante PLS est plus adaptée à l’étude parmi les 2 méthodes testées Mais prédiction hétérogène suivant les niveaux de certification Résultats intéressants de la prédiction à partir de l’auto-évaluation, mais insuffisants dans l’optique de construire un outil pour la HAS

24Benjamin Robillard Les perspectives 1.Généralisation pour l’ensemble des prises en charge des établissements 2.Autres méthodes de classement, par exemple les arbres de classement 3.Automatisation des résultats avec VBA 4.Article scientifique

25Benjamin Robillard Merci de votre attention Je vous écoute pour les questions

26Benjamin Robillard Outil de généralisation avec VBA Pourquoi ? Comment ?