Mesure du rendement : Savoir passer des sorties aux résultats

Savoir passer des sorties aux résultats  Comment savons-nous que nous avons un impact sur les enfants, les adolescents et les familles?  Comment pouvons-nous collaborer pour veiller à ce que les services que nous offrons soient appropriés et efficaces?

Sommaire  Aperçu  Discussion : Connaître son public  Exemple : Utilisation de l’échelle CAFAS pour les résultats organisationnels et de programme  Discussion : Développer la capacité à mesurer le rendement

Aperçu : Aperçu : Mesure du rendement  QU’EST-CE que c’est?  POURQUOI est-ce nécessaire?  QUI en bénéficie?  COMMENT est-ce fait?

Qu’est-ce que la mesure du rendement? «La collecte régulière d’informations pour surveiller le rendement d’une politique, d’un programme ou d’une initiative à un moment donné. Cela peut être utilisé pour préparer un rapport sur le niveau d’atteinte de résultats prévus et sur les tendances en matière de rendement au fil du temps». - Secrétariat du Conseil du Trésor du Canada

Pourquoi est-ce nécessaire?  «Sert d’outil descriptif» de la manière dont un projet, une politique ou un programme évolue  Sert de signal précoce annonçant que la direction d’un programme, d’une politique ou d’un projet ne correspond pas aux attentes

Qui en est le public?  Utilisateurs finaux : clients, familles, aidants naturels  Fournisseurs de services, éducateurs, personnel des programmes  Organisation ou réseau  Système de santé  Grand public

Dans quelle mesure est-ce différent de l’évaluation?  MR : fournit des clichés réguliers sur le rendement d’un programme ou d’une politique; met l’accent sur le résultat  Les sondages sur la satisfaction des clients sont souvent un indicateur clé de la MR  Évaluation : peut fournir des renseignements sur la manière dont un résultat se produit et pourquoi  La satisfaction des clients fait partie du processus d’évaluation et peut influer sur les résultats

Mesure et évaluation du rendement SITUATION ACTIVITÉS RÉSULTATS INTRANTS EXTRANTS Ressources du programme Somme de travail, produits participants Changement de public cible

Comment est-ce fait?  Modèles logiques de programmes  Bulletins de scores équilibrés  Feuilles de stratégie

Approche de bulletins de scores équilibrés à la promotion de la santé Source: ICES, 2004

Improve healthy behaviours, health promotion and disease prevention Improve linkages and transitions between addiction, mental health, health, education, social and justice systems Improve client focus of addiction services Improve access to appropriate addiction treatment Increase productive use & appropriate allocation of resources across system Ensure the continuum of interventions includes prevention, health promotion, early intervention, harm reduction and treatment services. Reducing Risk through influencing the broader determinants of health Improve health outcomes at the individual and population level Increase sustainability and equity of the addiction & health systems Increase availability and retention of the qualified human resources Ensure evidence informed practices are developed, implemented and maintained across province Further develop & increase equitable resources and capacity Ensure quality assurance within the addiction system Addiction System Strategy Map Ontario Federation of Community Mental Health & Addictions Programs Increase linkages, transition & integration within addiction services

Mesure du rendement en matière de bien-être des enfants Source: OACAS QA Framework, 2004

Types de mesures du rendement  Mesure des résultats  Mesure intermédiaire des résultats  Mesure des processus  Mesure des sorties  Mesure des entrées

Strategic priorities by the Select Committee

En petits groupes  Former cinq groupes  Dans chaque groupe, de discuter : Du genre d’information dont le groupe ou les membres ont besoin (se concentrer sur deux ou trois aspects) De la fréquence à laquelle l’information est nécessaire. De la façon dont devrait être présentée Des craintes, des aspects ou des problèmes quant à cette information Des solutions, idées ou forces sur lesquelles s’appuyer

Défis et opportunités  Choix des mesures Valides et fiables Pertinentes, faisables, sensibles aux changements Appropriées sur le plan du développement et de la culture  Capacité de gestion des informations au sein des agences et au gouvernement  Collaboration, acceptation et cultures qui favorisent l’apprentissage

Difficultés et possibilités  Capacité de gestion de l’information au sein des organismes et du gouvernement  Collaboration et adhésion du personnel  Cultures organisationnelle favorisant l’apprentissage

Exemple : Utilisation de l’échelle CAFAS  L’échelle d’évaluation fonctionnelle des enfants et des adolescents (CAFAS) (Hodges, 2002) sert à mesurer les résultats des services en santé mentale offerts aux six à 17 ans en Ontario.  Elle classe le fonctionnement selon sept catégories. À la maison, à l’école, dans la collectivité, la façon d’agir avec les autres, l’humeur et les émotions, consommation de drogue et d’alcool, façon de penser  Responsable : D r Melanie Barwick, Hospital for Sick Kids

21 Soutien à la mise en œuvre Reliabi lity Trainin g Softwar e Training Train- the- Trainer Booste rs Guideli nes for Specia l Pops Tech Suppo rt (IT) Site Visits Comm unities of Practic e Data Report s Data Audits Websit e Wiki Source: Barwick, 2009 (c) Barwick

Severe Impairment on CAFAS Subscales at Entry to Treatment – years 2005 to 2008 (c) Barwick Source: Barwick, 2009

Severity at Entry to Treatment for Ontario and Regions (2005: N=9,065; N= 2006: N=18,255; 2007: N=23,566; 2008: N=26,974) (c) Barwick 0-30 Some need for service Outpatient needs Outpatient plus extra supports CE CW E HN NE N SE SW TO Source: Barwick, 2009

Utilité des données de la CAFAS pour les organismes locaux  Tirer des variables et des indicateurs de rendement du rapport trimestriel de la CAFAS.  Faire des comparaisons dans le temps.  Présenter les données au moyen d’un chiffrier.  Modifier les tableaux pour les besoins de l’interprétation. Source : Roger Rolfe, Utilizing CAFAS exports and reports at CTYS.

Solution: Agency CAFAS Performance since 2006.xls Source: Rolfe, 2009.

Sample Chart Source: Rolfe, 2009.

Program-level Chart: GW Male/Female Improvement Scores Source: Rolfe, 2009.

En petits groupes  Quelles sont les pratiques ou stratégies utiles à votre organisation ou votre collectivité pour : Obtenir l’adhésion du personnel et de la haute direction ? Créer des données et des rapports fidèles ? Réaliser une évaluation ?

Résumé Les mesures du rendement sont utiles pour déterminer l’amélioration de la santé mentale des enfants et des adolescents. L’utilité des mesures de rendement varie selon les besoins du public cible et la qualité de l’information Des stratégies d’apprentissage organisationnel sont nécessaires pour développer la capacité à mesurer le rendement.

Questions? Evangeline Danseco, PhD Directrice, Évaluation et recherche poste 3319 Susan Kasprzak, MA Associée de recherche poste