Copyright © BHL, Deux décennies de recherche sur le TOP Au-delà de l’outil de mesure, l’amélioration du traitement David R. Kraus PhD Fondateur/Pdg 7 octobre 2009

Copyright © BHL, 2009 Treatment Outcome Package 2

Copyright © BHL, Évolution du TOP Version# Articles# SujetsFacteurs , , ,80112 Horowitz, L. M., Lambert, M. J., & Strupp, H. H. (Eds.) (1997). Measuring patient change in mood, anxiety, and personality disorders: Toward a core battery. Washington, D. C.: American Psychological Association Press. OBJECTIF: Atteindre les critères de la Conférence Core Battery AU TRAVAIL SOCIALE SEXUELLE FONCTIONNALITÉ QUALITÉ DE VIE DÉTRESSE GÉNÉRALE DÉPRESSION TOXICOMANIE PSYCHOSE INSOMNIE/SOMMEIL SUICIDE VIOLENCE ANXIÉTÉ BIPOLAIRE SYMPTÔMES

Copyright © BHL, 2009 Treatment Outcome Package Conçu à partir de dizaines de milliers de cas cliniques Excellente validité de construit Excellente validité discriminante et convergente e.g. Échelle Depression TOP vs. BDI (r =.92) Excellente sensibilité au changement Excellente validité prédictive 4

Copyright © BHL, 2009 La mesure est gratuite La collecte de données est gratuite Les rapports des clients en temps réel sont gratuits SERVICES GRATUIT 5

Copyright © BHL, 2009 INTERVENTIONS SOUTENUES EMPIRIQUEMENT Renvois à des spécialistes à partir des résultats MD Rapports de remarques de clients L’étalonnage et le CQI Prévention de l’hospitalisation Les laboratoires BHL proposent une variété de façons pour améliorer la qualité de service 6

Copyright © BHL, traitements soutenus empiriquement Explique 1 – 2% de la variance dans les résultats (Wampold, 2001) L’alliance thérapeutique Explique 5% de la variance Surtout à cause de la différence entre les thérapeutes Ce sont les thérapeutes qui produisent les résultats 8.6% de la variance dans 10 essais clinique aléatoires (Crits-Christoph & Mintz, 1991) Estimation allant jusqu’à 50% dans d’autres études (Blatt, Sanislow, Zuroff, & Pilkonis, 1996; Elkin, Falconnier, Martinovich, & Mahoney, 2006; Crits-Christoph, et al., 1991; Huppert, Bufka, Barlow, Gorman, Shear, & Woods, 2001) Répartition des dossiers sur une base de compétences Peut augmenter le taille de l’effet des résultats par 400% (Kraus & Castonguay, en préparation) Renvois à des spécialistes à partir des résultats MD ( Brevet en instance) 7

Copyright © BHL, 2009 Définitions “Thérapeute efficace” – Le patient typique éprouve une amélioration fiable. “Thérapeute inefficace” – Le patient typique subit une détérioration fiable. Renvois à des spécialistes à partir des résultats MD ( Brevet en instance) Changement fiable (Jacobson & Truax, 1991) RCI = (X 2 − X 1 )⁄SE DIFF SE DIFF = (2(SE) 2 ) 1⁄2 8

Copyright © BHL, 2009 Des renvois basés sur les résultats SM brevet en instance Domaines d’efficacitéThérapeutes 00,04 10,06 20,09 30,11 40,12 50,14 60,12 70,11 80,09 90,07 100,03 DOMAINES DE COMPÉTENCES Dépression Toxicomanie Manie Panic Psychose Violence Suicide Sommeil Conflit social Relations sexuelles Travail Qualité de vie (Kraus & Castonguay, in preparation) 9

Copyright © BHL, 2009 Des renvois basés sur les résultats SM brevet en instance Corrélations entre les compétences des thérapeutes par domaines (Kraus & Castonguay, in preparation) DEPRS: Depréssion; LIFEQ: Qualité de vie; PSYCS: Psychose; SA: Toxicomanie; SCONF: Conflit social; SEXFN: Fonctionnement sexuel; SUICD: Suicide; VIOLN: Violence; WORKF: Fonctionnement au travail 10

Copyright © BHL, 2009 Renvois à des spécialistes à partir des résultats MD brevet en instance TOUS LES THÉRAPEUTES Taille d’effet d de Cohen 0.91 – Un grand effet selon les critères de Lipsey (1990) Dépression 11

Copyright © BHL, 2009 Renvois à des spécialistes à partir des résultats MD ( Brevet en instance) Effect size Effect size 0.04 Effect size 1.40 (Kraus & Castonguay, en préparation) 12

Copyright © BHL, 2009 Renvois à des spécialistes à partir des résultats MD ( Brevet en instance) 67% 30% 3% Les thérapeutes ne sont pas tous équivalents Les patients deviennent Changement fiable (Jacobson & Truax, 1991) RCI = (X 2 − X 1 )⁄SE DIFF SE DIFF = (2(SE) 2 ) 1⁄2 694 cliniciens traitant au moins 10 patients déprimés (Kraus & Castonguay, en préparation) 13

Copyright © BHL, 2009 À partir de la philosophie de la « mère suffisamment bonne» (Winnicott, 1953) À l’admission, TOP fournit des commentaires, incluant un registre de thérapeutes ayant des compétences éprouvées comme étant « suffisamment bonnes » pour traiter les problèmes de ce patient Ces commentaires devraient servir aux cliniques pour la répartition des dossiers Renvois à des spécialistes à partir des résultats MD ( Brevet en instance) 14

Copyright © BHL, 2009 Renvois à des spécialistes à partir des résultats MD ( Brevet en instance) Évitez ces erreurs et obtenez une amélioration de 9% Améliorez la qualité de service du jour au lendemain Se fier à ces tâches et obtenir une amélioration de 54% (Kraus & Castonguay, en préparation) 15

Copyright © BHL, 2009 Renvois à des spécialistes à partir des résultats MD ( Brevet en instance) (Kraus & Castonguay, in preparation) 16

Copyright © BHL, 2009 Renvois à des spécialistes à partir des résultats MD ( Brevet en instance) Les classements varient par domaine Demandez le thérapeute le mieux classé pour le traitement de la dépression DomaineClassement Dépression1 Qualité de vie3 Conflit social9 …… Violence550 Manie692 (Kraus & Castonguay, in preparation) 17

Copyright © BHL, 2009 INTERVENTIONS SOUTENUES EMPIRIQUEMENT Renvois à des spécialistes à partir des résultats MD Rapports de remarques de clients L’étalonnage et le CQI Prévention de l’hospitalisation Les laboratoires BHL proposent des façons variées d’améliorer la qualité du service 18

Copyright © BHL, Excellente sensibilité au changement LSQ 2 TOP– DEPRS 3 TOP– FULL 3 Amélioration0,20,540,91 Aucun changement 0,720,320,05 Détérioration0,080,140,04 2. Développé par UBH, le LSQ est une version abrégée de 30 articles du OQ–45. Doucette, A. (2006) From Ordinal Observation to Linear Measurement, paper presented at the North American meeting of the Society for Psychotherapy Research. N>140, Kraus, D. R., Seligman, D, Jordan, J. R., (2005). Validation Of A Behavioral Health Treatment Outcome And Assessment Tool Designed for Naturalistic Settings: The Treatment Outcome Package. Journal of Clinical Psychology, Vol 61(3), N>20, Reliable Change (Jacobson & Truax, 1991) RCI = (X 2 − X 1 )⁄SE DIFF SE DIFF = (2(SE) 2 ) 1⁄2

Copyright © BHL, Validité de construit Analyse factorielle confirmatoire GFICFITLIRMSEA Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York: Guilford. Acceptable fit>.90 <.08 Good fit>.95 <.05 Mueller, R. M., Lambert, M. J. & Burlingame, G. M. (1998) Construct Validity of the Outcome Questionnaire: A Confirmatory Factor Analysis, Journal of Personality Assessment, 70(2), OQ-Total Score Not listed OQ-2 factor model Not listed OQ-3 factor model Not listed Kraus, D. R., Seligman, D., & Jordan, J. R. (2005). Validation of a Behavioral Health Treatment Outcome and Assessment Tool Designed for Naturalistic Settings: The Treatment Outcome Package. Journal of Clinical Psychology, 61(3), Kraus, D., Boswell, J., Wright, A., Castonguay, L., & Pincus, A. (submitted). Factor Structure of the Treatment Outcome Package for Children. Journal of Clinical Psychology. TOP Adult (12 factor) TOP Child (13 factor)

Copyright © BHL, Une évaluation psychométrique du Treatment Outcome Package - TOP Mark A. Blais, PsyD, Samuel J. Sinclair, PhD & Hal Shorey, PhD Hal Shorey, PhD MGH-Psychological Evaluation and Research Laboratory VALIDATION INDÉPENDENT PAR UN COMPÉTITEUR PRINCIPAL

Copyright © BHL, 2009

Rapport de client

Copyright © BHL, 2009 Rapport de client

Copyright © BHL, Des rapports de remarques de clients soutenus empiriquement Est-ce que les thérapeutes peuvent gérer des rapports complexes de remarques (feedback) de clients? Chaque fois que le TOP est administré, il est suivi de résultats d’évaluation détaillés Il n’y a aucune directive à propos de la lecture du rapport, ni même d’indication quant à la nécessité de le lire. Alors, que se passe-t-il si les thérapeutes sont libres de faire ce qu’ils veulent?

Copyright © BHL, Vignettes cliniques Les thérapeutes ont, pour la plupart, une attitude sceptique, voire même hostile envers les résultats En tant que clinicien, j’essaie de voir le monde du point de vu de mes patients. C’est typiquement au cours d’une de ces expériences révélatrices que les attitudes des thérapeutes envers les résultats changent. –Sainz (2009) When metrics matter: The Case of Frank and the Treatment Outcome Package Souvent, il est plus facile d’être honnête à propos du piètre état des choses quand on remplit un questionnaire (Carr & Ghosh, 1983; Erdman, Klein, & Greist, 1985; Hile & Adkins, 1997; Lucas, 1977; Searles, Perrine, Mundt, & Helzer, 1995; Turner et al., 1998)

Copyright © BHL, Des rapports de remarques de clients soutenus empiriquement Client Improvement Nombre de clients avec un rapport des remarques (feedback) Ceux qui ne lisent pas Ceux qui lisent

Copyright © BHL, Des rapports de remarques de clients soutenus empiriquement Δ µ 1 Δ µ 2 σ1σ1 σ2σ2 TdfαInitial µ 1 Initial µ 2 TOP total score** Dépression* Qualité de vie*** Manie*** Panic** Psychose Toxicomanie Conflit social Fonctionnem ent sexuel Sommeil Suicide Violence*** Fonctionnem ent Travail* Groupe1 = Premier 5 clients avec des remarques; Groupe2 = Deuxième 5 clients avec remarques Δ µ = Moyenne de changement pre-post; Initial µ = Cote moyenne pré-traitement * significant α <0.1; ** significant α <0.05; *** significant α <0.01

Copyright © BHL, 2009 INTERVENTIONS SOUTENUES EMPIRIQUEMENT Renvois à des spécialistes à partir des résultats MD Rapports de remarques de clients L’étalonnage et le CQI Prévention de l’hospitalisation Les laboratoires BHL proposent des façons variées d’améliorer la qualité du service

Copyright © BHL, 2009 Un système de gestion de résultats avec des rapports de progrès complètement intégrés. Des traitements fondés sur des données probantes, présentés dans des catalogues intégratifs dont la capacité d’améliorer les résultats est éprouvée cliniquement Support pour EBT et CQI

Copyright © BHL, 2009 Kraus, D. Castonguay, L. (2006) Integrating Evidence Based Practices with Outcomes Management. Paper presented at NASPR Annual Conference. Adelman, R. (2008) Methods of Reconstruction with Adolescent Substance Abusers: Combining REBT and Constructivism. In Raskin, J.D. & Bridges, S. (Ed.), Studies in Meaning 3: Constructivist Psychotherapy in the Real World, New York: Pace University Press. Adelman. R. (2007) Reducing Anger in Adolescents: An REBT Approach, Center City, Minnesota: Hazelden Press. Adelman, R. (2006) The Angry Adolescent & Constructivist REBT. In Cummins, P. (Ed.), Working with Anger: a Practical Constructivist Approach, London: John Wiley & Sons. Adelman, R. et. al, (2005) Reducing adolescent clients’ anger in a residential substance abuse treatment facility. Journal on Quality and Patient Safety, 31, (6), Support pour EBT et CQI

Copyright © BHL, 2009 no t sig Organisme X: brut, pré/post résultats tout les mesures de changement sont signifiants à moins d’être autrement spécifié Non sig

Copyright © BHL, 2009 L’étalonnage des fournisseurs

Copyright © BHL, 2009 Copyright © BHL, 2003 Analyse par quartile Suicide Point de référence ÉTENDUE DES DONNÉES BRUTES quartile TOP quartile de base moyenne

Copyright © BHL, 2009 Copyright © BHL, 2003 “The National Leader in Outcomes Management” Analyse par quartile des mêmes données Les clients avec d’excellents résultats sont représentés par les deux traits verticaux à la gauche de chaque domaine. Les clients avec les résultats très faibles sont sur la droite. Remarquez que le deuxième groupe de clients suicidaires connaît une détérioration durant le traitement.

Copyright © BHL, 2009 Copyright © BHL, 2003 Analyse par quartile des mêmes données

Copyright © BHL, 2009 Copyright © BHL, 2003 Analyse par quartile des mêmes données

Copyright © BHL, Sommaire des analyses par quartile Organisme X : suicide Savoir quels patients surveiller davantage: –Traitement involontaire –Les hommes plus que les femmes –Qui n’ont pas de problèmes et disent que leur qualité de vie est formidable –… MAIS qui ont, de façon ironique, un niveau cliniquement significatif de pensées suicidaires

Copyright © BHL, Traitement soutenu empiriquement

Copyright © BHL,

Copyright © BHL,

Copyright © BHL, 2009 INTERVENTIONS SOUTENUES EMPIRIQUEMENT Renvois à des spécialistes à partir des résultats MD Rapports de remarques de clients L’étalonnage et le CQI Prévention de l’hospitalisation Les laboratoires BHL proposent des façons variées d’améliorer la qualité du service

Copyright © BHL, Des alertes prédictives dès la première évaluation Alertes d’hospitalisation –Qui sera hospitalisé au cours des six prochains mois? –Les États Unis pourraient économiser plus d’un demi milliards par année en augmentant les traitements de soins externes appropriés À quel genre de rétablissement peut-on s’attendre de ce patient? –Réponse rapide –Réponse lente –Répondeur négatif

Copyright © BHL, 2009 Stelk, W., & Berger, M. (2009). Predictive Modeling: Using TOP Clinical Domain Items to Identify Adult Medicaid Recipients at Risk for High Utilization of Behavioral Health Services in a Managed Care Provider Network. 40th SPR International Annual Meeting. Santiago de Chile. BCBSMA Études d’entrepôt: des économies potentielles de $6.6M par année. L’important est d’identifier les clients désespérés et ce, avant qu’ils abandonnent le traitement. Sensibilité raisonnable (40%) surtout lorsqu’on tient compte de la prédiction de l’avenir et d’une spécificité excellente (99%). Prédire les hospitalisations

Copyright © BHL, 2009 WellnessCheck ® Infrastructure with Hands-Free Outcomes sm

Copyright © BHL, 2009 Hands-Free Outcomes sm Une évaluation en trois étapes simples: Faire signer un consentement éclairé pour utiliser le courriel du patient Inscrire le patient au WellnessCheck.net ® BHL gère le suivi avec des protections sécuritaires sophistiquées No-PHI MD, brevet en instance

Copyright © BHL, Les “One Click Assessments” brevetés Votre médecin vous a demandé de remplir une évaluation complète de votre état de santé, WellnessCheck.net. Le laboratoire fournira à votre médecin un rapport d’évaluation critique de votre état de santé. Ce processus est hautement confidentiel. Votre médecin vous communiquera les résultats lors de votre prochain rendez-vous. SVP, ne répondez pas à ce message automatisé de WellnessCheck. Communiquez directement avec votre médecin si vous avez des questions. Cliquez sur le lien suivant et répondez à la question de sécurité (la réponse vous a été communiquée par votre médecin verbalement ou par écrit par le biais d’un feuillet séparé): DI2OjE1ODoxOTYwOjA6MTo2NzM3https://demo.wellnesscheck.net/oltop/t/welcome.jsf?accessId=NTcyM DI2OjE1ODoxOTYwOjA6MTo2NzM3

Copyright © BHL, WELLNESS CHECK ® assess patient health & treatment outcomes online Une site sécurisé pour les médecins et leurs patients Log in WellnessCheck.net Des outils de mesures de résultats gratuits Des logiciels de collecte de données gratuits Des rapports de remarques gratuits pour les clients

Copyright © BHL,

Copyright © BHL, Trois façons d’administrer le TOP: Au bureau sur Internet Au bureau sur format papier (imprimer et télécopier les formulaires à BHL) À la maison

Copyright © BHL, 2009 Résultats pharmaceutiques