L’évaluation des processus

Présentation au sujet: "L’évaluation des processus"— Transcription de la présentation:

1 L’évaluation des processus
Susan Kasprzak, 13 mars 2009

2 L’évaluation des processus
Objectifs : Vue d’ensemble de l’évaluation des processus Les étapes de l’élaboration d’un plan d’évaluation des processus Mesures Comme vous le savez, le cadre que vous avez tous utilisé au cours de ces derniers mois a porté sur les résultats ainsi que sur les processus : en d’autres mots, il a servi à mesurer les résultats pour les clients ainsi que la manière dont le programme est fourni et a permis de déterminer si le programme atteint la population visée. On pourrait penser que, pour de nombreux aspects, ce webinaire arrive trop tard. La plupart d’entre vous avez déjà effectué la tâche d’identifier les questions d’évaluation des processus et vous vous êtes demandés comment mesurer objectivement votre propre programme interne. La Subvention du développement de la capacité en évaluation met l’accent sur le développement de la capacité. Je pense donc que la valeur de ce séminaire et d’autres est axée sur le développement des connaissances afin d’apporter des modifications à votre cadre actuel, les rehausser et appliquer ces nouvelles techniques à des évaluations plus poussées au sein de vos agences. Au fil de ce webinaire, je prévois identifier les différentes étapes que vous devrez envisager pour élaborer un plan d’évaluation des processus. Certaines, bien sûr, vont chevaucher l’élaboration de votre plan d’évaluation des résultats. Cependant, d’autres sont distinctes et nécessitent du temps et de l’attention particuliers. Enfin, nous nous pencherons sur la question de la manière de mesurer les variables reliées aux processus.

3 L’évaluation des processus – Pourquoi?
On a mis l’emphase sur l’évaluation des résultats pour déterminer le succès du programme Certains considèrent l’approche fondée sur les résultats comme étant essentielle On ne peut pas ignorer cette approche, mais les « bonnes idées ne donnent pas toujours de bons résultats » Les preuves « dures » de l’impact du programme sont ancrées dans la manière dont l’intervention est mise en vigueur et fournie Il y a un certain nombre d’années, l’évaluation était axée sur des chiffres : combien de clients ont été vus, combien d’heures le personnel a consacrées aux clients, etc. Puis, l’évaluation a accusé un virage au point où l’accent a été mis uniquement sur la mesure des résultats pour le client, plus spécifiquement les changements comportementaux, comme manière de déterminer le succès d’un programme. L’utilisation obligatoire du CAFAS et du BCFPI en sont des exemples évidents. Je pense qu’il est important que nous commencions à constater que la manière dont un programme est mis en œuvre et fourni peut avoir un impact significatif sur les résultats pour le client et que, sans prendre ceci en considération, les résultats d’une évaluation peuvent entraîner beaucoup de confusion. Je ne suggère pourtant pas que compter le nombre des clients participants et le nombre de clients sur la liste d’attente ou mesurer les changements comportementaux au fil de l’intervention ne sont pas importants. Il est évident qu’ils le sont, et, en fait, les méthodes de collecte des données que vous utilisez déjà devraient être intégrées à un plan d’évaluation. Ce que je suggère, c’est que votre plan d’évaluation soit plus robuste et complet pour que, à la fin de l’évaluation, les résultats de la collecte de données fournissent un tableau plus fiable du programme et permettent de prendre des décisions plus éclairées au sein du programme.

4 L’évaluation des processus – Pourquoi?
Le manque de succès d’un programme pourrait être relié à des problèmes sur le plan de la conception du programme et(ou) de sa prestation et de son échec à atteindre la population cible L’évaluation des processus a le potentiel de garantir la mise en vigueur réussie du programme ainsi que l’augmentation de la compréhension des résultats (Babbie et Mouton, 2001; Pawson et Tilley, 2004) Disons, par exemple, que votre évaluation ne porte que sur les mesures des résultats et que vos résultats suggèrent un déficit sur le plan des soins. Dans ce scénario, le problème, cependant, c’est que les résultats ne fournissent pas d’indices concernant les causes du déficit. D’un autre côté, les mesures des processus, qui évaluent les composantes du traitement réellement fourni, peuvent être utilisées pour identifier les pratiques sous-optimales et fournir une direction en vue de l’amélioration des activités du programme. L'évaluation des processus ajoute également une dimension qualitative aux statistiques collectées. Vous pourriez apprendre, par exemple, combien de sessions de counseling de quelle durée ont été reçues par les participants à un programme pour la toxicomanie ou combien de nouveaux cas ont été ouverts. Une évaluation des processus permettrait d’étendre ces indicateurs en fournissant des informations sur les modalités de traitement particulières. En plus de fournir des données plus riches sur certains aspects plus difficiles à quantifier des activités du programme, une évaluation des processus peut aussi fournir des informations importantes concernant le contexte social, culturel et politique d’un programme. Comme, par exemple, les cultures locales jouent un rôle clé pour influer sur la direction et les résultats des nouvelles politiques et des nouvelles approches d’un programme, comprendre le milieu local pourrait être utile pour comprendre comment fonctionne un programme. L’observation sur le terrain, l’étude des rapports de cas et des entrevues avec le personnel du programme, le personnel de l’agence, le personnel clé d’agences reliées, ainsi que les chefs de file communautaires et politiques, sont d’importantes sources de données descriptives et historiques concernant le programme et le milieu dans lequel il fonctionne. Ces données sont utiles sur plusieurs plans importants : Tout d’abord, comprendre exactement comment un programme fonctionne (et comment il peut être influencé par différents facteurs environnementaux) pourrait être une manière très intéressante d’explorer et d’interpréter l’impact du programme. Les données qualitatives sont aussi essentielles pour l’interprétation des résultats d’une étude quantitative. Cela n’a aucun sens, par exemple, de déclarer qu’un programme n’a aucun effet constatable sur la population cible ou la région visée, si l’observation a révélé que les activités prévues décrites par les objectifs du programme ont été fournies de manière qualitativement différente que prévu. Enfin, dans les cas où les impacts du programme ne peuvent pas être mesurés de manière empirique, une évaluation des processus ou étude de cas pourrait servir de source d’information de remplacement concernant la nature d’un programme en particulier. Bien que l’information porte nécessairement davantage sur ce qui est arrivé plutôt que si des objectifs particuliers ont été atteints, le matériel des cas pourrait néanmoins jeter une lumière importante sur certains points forts apparents et sur les limites du programme. Quand on évalue des processus, il y a trois scénarios possibles : l’intervention au programme déclenche un processus causatif aboutissant à l’effet désiré; l’intervention au programme ne contribue pas au processus causatif qui aurait abouti à l’effet désiré (théorie de l’échec du changement); l’intervention au programme contribue au processus causatif mais n’aboutit pas à l’effet désiré (échec de la théorie de l’effet). Weiss, C.H. Dans le premier cas, vous célébrez vos succès avec le personnel et pensez peut-être au moyen de reproduire ou étendre le programme. Dans le deuxième cas, il y a des problèmes évidents concernant la prestation du programme. Dans le troisième cas, le programme est fourni de la manière prévue mais il ne fait pas de différence pour la population cible. Peut-être que dans ce dernier cas, il faudra envisager une approche différente ou modifiée. Peut–être que l’approche utilisée n’est pas appropriée vu la population cible.

5 L'évaluation des processus
Évaluation formative : utilisation de l’évaluation pour améliorer le programme pendant la phase d’élaboration Évaluation des processus : évalue la prestation réelle des services par opposition à la prestation prévue Mise en vigueur : évaluation de toutes les activités axées sur le fonctionnement réel d’un programme Appréciation de la qualité : processus systématique de vérification pour déterminer si un produit ou service en cours d’élaboration répond aux exigences spécifiées Vous commencez maintenant à comprendre la valeur du processus d’évaluation. Alors, vous décidez de faire des lectures plus poussées sur ce en quoi consiste l’évaluation et comment effectuer l’évaluation des processus. Le problème, c’est qu’il y a tant de termes pour décrire ce qui semble être la même approche. Tout ceci peut entraîner beaucoup de confusion. Essentiellement, tous ces termes : approche formative, processus, mise en vigueur et appréciation de la qualité, décrivent des approches évaluatives multiples à la gestion efficace de programmes. L’évaluation formative est plus appropriée à un projet pilote, pour identifier et apporter les changements nécessaires à l’amélioration de la mise en vigueur et de la prestation, avant la mise en vigueur complète. Appréciation ou amélioration de la qualité – un autre processus qui peut être intégré à l’évaluation des processus à titre d’outils de gestion qui permet d’évaluer une série de normes ou d’outils.

6 L'évaluation des processus – Qu’est-ce que c’est?
Que devait être le programme au départ? Normes de soins? Meilleures pratiques? Portée? (Spécification des composantes du programme, révision des données historiques sur le programme) Qu’en est-il de la prestation en réalité? (Méthodes de mesure du fonctionnement du programme) Identification de l’écart entre la prestation prévue et la prestation réelle du programme ainsi que sa portée D’un autre côté, les termes évaluation des processus et évaluation de la mise en vigueur sont souvent utilisés de manière interchangeable. Je pense cependant qu’il y a une distinction à faire entre ces deux termes : le fait que l’évaluation des processus est comparative, mesurant ce qui est fourni par rapport à ce qui avait été prévu. L’évaluation de la mise en vigueur, de l’autre côté, met l’accent sur toutes les « entrées », « activités » et « sorties », et évalue le fonctionnement actuel sans faire nécessairement de comparaisons.

7 L'évaluation des processus – Qu’est-ce que c’est?
« L’utilisation de données empiriques pour évaluer la prestation des programmes… vérifie ce qu’est le programme, s’il est ou non fourni de la manière prévue, aux récipiendaires ciblés et à la dose voulue » (Scheirer, p.40, in Handbook of Practical Program Evaluation, Wholey et al., 1994) Alors, comment peut-on définir exactement l’évaluation des processus? Sheirer l’identifie comme… mais j’aime la manière plus simplifiée de Patton (1997) de définir l’évaluation des processus. Il déclare que l’évaluation des processus consiste à « déterminer si le programme comporte tous les éléments et si les éléments fonctionnent comme ils sont censés fonctionner ».

8 L'évaluation des processus – Pourquoi?
Fournit les informations sur la qualité des services et pour savoir si le programme a été mis en vigueur comme prévu Évalue si le programme atteint ou non les récipiendaires souhaités ainsi que leur niveau de satisfaction Augmente les connaissances concernant les composantes du programme contribuant aux résultats – dans quelle mesure ont-elles fonctionné ou non? Augmente la compréhension de la mise en vigueur réussie des programmes dans le contexte d’organisations et de communautés complexes

9 L'évaluation des processus - Pourquoi?
Identifie et aborde les problèmes de mise en vigueur du programme afin d’améliorer ce programme Relie les processus du programme aux résultats du programme Identifie les facteurs organisationnels individuels et reliés au programme qui facilitent ou nuisent à la mise en vigueur du programme Voici quelques raisons supplémentaires pour lesquelles on effectue une évaluation des processus : Elle fournit un renforcement positif L'évaluation des processus fournit le renforcement dont vous aurez besoin pour continuer d’effectuer votre projet. Il n’y a rien de meilleur que la rétroaction positive pour remonter votre moral et celui des membres de votre groupe. Elle souligne les erreurs L’évaluation des processus révèle les erreurs et les mauvais calculs qui se produisent inévitablement. Bien qu’il puisse vous sembler menaçant de voir vos erreurs soulignées de cette manière, la rétroaction négative émergeant au cours de l’évaluation des processus peut en fait vous fournir une compréhension importante et aider à assurer la qualité de votre projet. Elle assure la promotion de l’auto-analyse L'évaluation des processus crée un climat sain d’auto-analyse et de réflexion, essentiel pour tout programme communautaire de santé mentale. Parfois, il est utile d’organiser des sessions régulières de révision, pour suivre vos progrès vers l’atteinte des buts et objectifs de votre programme. En fait, vous effectuez probablement déjà des activités de gestion reliées à l’évaluation du programme et ces activités peuvent être intégrées à la surveillance continuelle des informations reliées aux processus. Elle fournit des données historiques Si votre projet obtient de bons résultats, les personnes souhaitant vous imiter auront besoin d’une description claire de ce qui a été fait exactement et de la manière dont vous avez procédé. Si votre projet n’atteint pas ces objectifs, les résultats de l’évaluation des processus vous aideront à analyser pourquoi : si vos objectifs n’ont pas été réalistes ou si la mise en vigueur de la prestation du programme ne s’est pas déroulée comme prévu. Elle vous garde sur le bon chemin Sans effectuer des vérifications internes fréquentes, les programmes peuvent facilement perdre leur élan et leur chemin. Les évaluations régulières et informelles à la fin des réunions (progressons-nous? Est-ce que tout le monde va bien? A l’impression d’être entendu? Quels sont les défis ou les obstacles à la prestation du programme? Quels sont vos besoins en matière de dotation) ou encore des évaluations plus formelles : formulaires brefs d’évaluation pour les participants et(ou) sondages sur la satisfaction des clients) aidera à garder votre projet sur les rails.

10 L'évaluation des processus – Qui?
Bailleurs de fonds Personnel de l’agence et du programme Partenaires communautaires Participants au programme Vous devez déterminer votre public pour l’évaluation des processus : les publics externes incluent les bailleurs de fonds, les clients et les défenseurs des intérêts communautaires; les publics internes incluent le personnel du programme, les gestionnaires et le conseil d’administration. Ces publics, ou partenaires, doivent participer à la planification de l’évaluation depuis le tout début. Et il ne s’agit pas simplement de participation, mais leurs opinions doivent être respectées et leurs idées intégrées au plan. Si, par exemple, votre évaluation révèle des résultats reliés au succès de votre programme et besoin d’étendre les services, mais que vous n’avez pas fait participer votre bailleur de fonds avant la fin du projet, celui-ci n’accordera probablement pas beaucoup de crédibilité aux résultats. Afin de veiller à ce qu’ils se sentent concernés par les résultats, vous devez les inclure dès le départ. Et qui est responsable de veiller à la mise en vigueur des résultats de l’évaluation? Qui va veiller à ce que les changements dégagés au fil de l’évaluation sont effectués pour améliorer le programme? Ces personnes devraient participer activement et rester informées tout au fil de l’évaluation. Les perspectives des participants au programme, comme les jeunes et les parents, sont aussi très importantes pour l’évaluation des processus. Par exemple, si la participation au programme ou le taux de rétention est au centre de l’évaluation des processus, obtenir une rétroaction de la part des familles ou des jeunes peut fournir une compréhension précieuse.

11 L'évaluation des processus - Comment?
Les programmes réussis sont basés sur une série de normes et d’objectifs : Personnel compétent Bonne gestion Installations adéquates Subventions suffisantes Produire des « sorties » suffisantes pour répondre aux besoins des clients Niveau des sorties Qualité des sorties Atteindre la population cible visée Comme mentionné plus tôt, l’objectif de l’évaluation des processus, c’est de mesurer le fonctionnement réel du programme et sa portée, le degré auquel vous rejoignez votre population cible visée (ainsi que le fonctionnement souhaité du programme). Au cours des étapes initiales de la planification, vous devez identifier la prestation optimale prévue de votre programme. Et, alors que nous évoluons au fil des six étapes de l’élaboration de l’évaluation des processus, vous allez comprendre comment tout ceci fonctionne…

12 L'évaluation des processus – Comment
L'évaluation des processus – Comment? Six étapes (Steckler et Linnan, 2002) Description complète du programme : spécification de l’objectif, théorie sous-jacente, objectifs, stratégies, impacts et résultats attendus (sous la forme d’un modèle logique de programme) Décrit tous les éléments correspondant à la prestation optimale du programme – stratégies, activités, dotation. Ceci pourrait inclure l’identification des facteurs (internes et externes) contribuant aux problèmes de mise en vigueur et de prestation du programme Les questions importantes qui doivent être abordées : Comprendre votre programme et comment il est censé fonctionner Envisager les caractéristiques du programme et son contexte, ainsi que la manière dont ceci peut affecter la mise en vigueur Avant de pouvoir juger de l’efficacité d’un programme, il est important de comprendre le milieu de prestation. L’étape d’analyse du programme nécessite une description détaillée du milieu au moment de l’évaluation. Il faut y inclure la description de tout problème surgissant au niveau de la mise en vigueur, la manière dont ils ont été résolus, si toutes les activités prévues ont été mises en vigueur; sinon, ce qu’il reste à faire, si les plans et les échéanciers ont été révisés et pourquoi ceci aura été nécessaire, quels nouveaux objectifs ont été ajoutés et pourquoi, quels changements se sont produits sur le plan de la gestion ou de la dotation et quels effets ont eu ces changements, si les coûts ont dépassé les projections initiales et pourquoi, le soutien obtenu de différentes sources et programmes, les leçons apprises. Pour les programmes qui fonctionnent depuis déjà un certain temps, vous devrez obtenir ces informations à partir de la documentation sur le programme. Une évaluation des processus devrait fournir des informations détaillées sur le programme comme mis en vigueur en réalité et comme il fonctionne réellement, afin de déterminer ce qui donne de bons résultats et ce qui n’en donne pas. L’évaluation complète des processus devrait inclure les éléments suivants : Description du milieu du programme Description du processus utilisé pour concevoir et mettre en vigueur le programme Description de la prestation du programme Identification et description des événements pouvant avoir affecté la mise en vigueur et les résultats du programme Documentation, comme procès-verbaux des réunions, rapports, memoranda, bulletins de nouvelles et formulaires pouvant être utilisés pour déterminer si l’objectif visé a été atteint. Il faudra envisager comment les buts et objectifs du programme sont appliqués dans la pratique. Quelles sont les activités majeures du projet et dans quelle mesure sont-elles reliées aux résultats anticipés? Comment et pourquoi le programme est-il supposé fonctionner? Quelles sont les raisons sous-jacentes pour lesquelles on pense que l’intervention sera efficace? Quelle est la population cible visée? Quelles sont les attentes des programmes partenaires? En ce qui concerne ce dernier point, le contexte, en général il y a des agences participantes et des partenaires en plus de votre population cible – enfants/adolescents et leurs soignants/familles. L’évaluation de la prestation des programmes doit prendre en considération le système social environnant, non seulement les caractéristiques de l’organisme au sein duquel le programme est fourni. Toutes ces questions sont reliées à la théorie du programme. La théorie du programme est une déclaration des mécanismes par lesquels l’intervention va fonctionner. Ce qui est le plus important au point de vue de l’évaluation, elle nous révèle ce qu’il faudra mesurer. L’une des tâches initiales pendant la période de subvention de développement de la capacité, a été de développer un modèle logique de programme. Ce diagramme présente essentiellement la théorie de votre programme. L’une des tâches suivantes de la planification de l’évaluation, c’est de formuler une explication claire de la théorie sous-jacente au programme. Quel résultat devrait obtenir le programme pour provoquer les changements souhaités au sein de la population visée? Chaque aspect du programme implique un processus causatif conçu pour changer le comportement. Bien que les concepteurs et les administrateurs du programme ne déclarent pas toujours avoir utilisé une théorie pour créer le programme, la théorie est implicite dans toutes les formes d’intervention. L’étude bibliographique que vous avez effectuée devrait aussi jeter de la lumière sur la théorie de votre programme et aider à identifier quels éléments du programme contribuent aux changements sur le plan des résultats. Vous pourriez aussi vouloir envisager ici comment les nouveaux membres du personnel sont orientés ou formés au programme. Il y a plusieurs membres du personnel fournissant le programme, comment voyez-vous à ce que tout le monde soit sur la même page? Bien qu’il puisse sembler très simple de spécifier ce qu’est le programme, spécifier le contenu tellement fourni pourrait être plus difficile. Il pourrait y avoir des variations importantes sur le plan des procédures d’exploitation et sur celui du personnel du programme. Plus le programme est complexe et plus les composantes sont variées, le plus difficile sera cette tâche. Vous voyez donc l’importance de cette étape de la planification de l’évaluation pour obtenir le consensus, et l’immense valeur de la participation de tout le personnel du programme à la planification. Étape 2 – décrire la mise en vigueur et la prestation de haute qualité, selon l’expérience directe et l’observation de modèles semblables. Vous allez décrire ce que serait le programme dans la situation idéale. Si tout ceci semble compliqué et difficile, cela pourrait vouloir dire que votre programme n’est pas prêt à l’évaluation des résultats. Il pourrait devoir être renforcé et il pourrait être nécessaire de se concentrer sur l'évaluation des processus.

13 Questions d'évaluation des processus – Comment?
Élaborer une liste des questions possibles concernant l’évaluation des processus Les questions les plus utiles reflètent : la diversité des perspectives des partenaires les composantes clés de votre programme les besoins prioritaires en matière d’information les ressources disponibles pour répondre à vos questions d’évaluation clés Bien que l'évaluation des processus puisse contribuer à une meilleure compréhension des résultats, ces évaluations peuvent aussi présenter des problèmes : des questions vagues formulées de manière difficile à y répondre (McClure, Turner, & Yorkstons, 2005). L’étape 3 consiste à élaborer une liste des questions possibles en matière d’évaluation des processus.

14 Questions d’évaluation des processus – Comment?
Les questions d'évaluation des processus portent sur : Qui? Quoi? Quand? Combien? concernant les entrées du programme, les activités, les sorties et la population cible – le côté gauche de votre modèle logique de programme

15 L'évaluation des processus – Catégories
Steckler et Linnan (2002) recommandent au minimum quatre éléments ou ‘catégories’ d’évaluation des processus : Les activités du programme fournies Les activités du programme reçues La portée La fidélité Ils recommandent aussi de documenter les procédures de recrutement et de décrire le contexte de l’intervention.

16 Questions d'évaluation des processus – Comment?
Couverture – degré de la participation au programme de la population cible Activité, service ou niveau de l’agence Niveau systémique Prestation des services – degré auquel les composantes du programme sont fournies comme prévu Essentiellement, ces composantes représentent deux formes de données autour desquelles l’évaluation des processus peut être organisée : données sur le programme lui-même (prestation des services) et données concernant les participants au programme (couverture). Les données spécifiques sur le programme incluraient les objectifs du programme, d’après les énoncés relatifs au programme ainsi que les descriptions du personnel, l’allocation des ressources, les méthodes d’exploitation, les procédures pour les activités quotidiennes, les modes de dotation, l’emplacement et la taille du programme, la structure de gestion et les relations inter–organisationnelles. De plus, chaque évaluation devrait documenter soigneusement le contenu, la durée et l’intensité des traitements prévus par l’intervention. La prestation de services peut être évaluée selon une perspective interne et externe. Par exemple, de plus en plus, les agences comparent leurs données de rendement à des points de repère externes – les mêmes données de mesure pour des agences et programmes semblables (Bruder et Gray, 1994; Morley, Bryant et Hatry, 2001). Ceci peut aider une agence à évaluer son rendement et à se fixer des niveaux cibles pour l’avenir. Le deuxième type de données d’« entrée » – la couverture – concerne les caractéristiques des clients du programme. La couverture a trait à la manière dont les gens entrent au programme de traitement et ce qu’il leur arrive une fois qu’ils y sont. Les données incluent les caractéristiques démographiques et personnelles ainsi que les évaluations collectées au point d’entrée initial. Vous pouvez utiliser ces données pour effectuer des comparaisons entre la population cible réelle et visée. De plus, selon leur pertinence pour le programme, vous pourriez aussi souhaiter collecter des données sur l’attitude et les perspectives des participants au programme sur une variété de questions pouvant être reliées à leur rendement au projet. Ces aspects pourraient inclure la relation de l’adolescent avec sa famille et ses pairs, son attitude concernant le programme, sa motivation concernant sa participation et son concept de soi. Bien que le programme puisse raisonnablement s’attendre à modifier certains de ces facteurs, d’autres résistent au changement. Il est utile de collecter des données sur celles-ci et sur d’autres variables témoins afin de déterminer les types de clients qui auront plus tendance à remporter un succès au programme. Outils de mesure : BCFPI, un formulaire standardisé d’accueil, outils d’évaluation clinique, motivation pour l’échelle de traitement (comme Questionnaire à l’entrée au traitement – Wild 1996)

17 Questions concernant la couverture – au niveau de l’activité, du service ou de l’agence
L’activité, le service ou l’agence a-t-il ou elle desservi les clients visés? Quelles ont été les caractéristiques démographiques et cliniques des clients? Quelle proportion des clients a terminé le traitement, combien de sessions ont-elles été effectuées et à quel moment les clients se sont-ils retirés? Quelles ont été les caractéristiques des personnes qui se sont retirées? EXEMPLE DE CAS : Programme de toxicomanie QUESTIONS D’ÉVALUATION : Le nombre de patients dirigés de sources externes a-t-il augmenté par rapport à l’année précédente? Quel pourcentage de clients ont entre 15 et 18 ans? Quel est l’âge moyen des participants au programme provenant de chacune des sources de renvoi? COMMENT LES DONNÉES ONT-ELLES ÉTÉ COLLECTÉES? Quand chaque client est admis au programme, les conseillers ont consigné les données démographiques requises. À la fin de l’année, tous les formulaires ont été envoyés au préposé à l’entrée des données en vue de la tabulation. COMMENT LES DONNÉES ONT-ELLES ÉTÉ ANALYSÉES? Le nombre et le pourcentage de clients de chaque source de renvoi ont été calculés et comparés aux chiffres de l’année précédente. L’âge moyen a été calculé ainsi que l’âge moyen pour chaque source de renvoi. QU’EST-CE QU’ON A DÉCOUVERT? Les résultats ont indiqué que le nombre de renvois à partir du système juridique et des écoles avait augmenté de manière substantielle par rapport à l’année précédente. Quatre-vingt-sept pour cent des participants étaient âgés de 16 à 19 ans. L’âge moyen était de 17,8 ans. L’âge moyen ne variait pas selon la source de renvoi. QU’EST-CE QU’ON A FAIT DE CETTE INFORMATION? Le personnel du programme anticipe d’enregistrer des chiffres accrus de renvoi et prévoit étendre le programme au cours de l’année prochaine.

18 Questions concernant la couverture – au niveau systémique
Combien de programmes de traitement existent pour cette population cible dans la région? Combien de clients ont été vus par chaque programme pendant une année? Y a-t-il des différences sur le plan des types de clients vus à chaque programme? EXEMPLE DE CAS : Nouveau programme de toxicomanie pour les jeunes dans une région particulière avec d’autres programmes de toxicomanie QUESTIONS D’ÉVALUATON – Quel pourcentage de clients vivent dans la région environnante et quel pourcentage vient des villes? Les clients des différents programmes sont-ils différents sur le plan de l’âge, du sexe ou du niveau de toxicomanie? RESSOURCES NÉCESSAIRES? Des gestionnaires de différents centres ont collaboré pour préparer un formulaire des collectes des données d’une page. Il a été distribué à tous les cliniciens. COMMENT LES DONNÉES ONT-ELLES ÉTÉ COLLECTÉES? À l’admission à chaque programme, le clinicien responsable de l’admission a rempli un formulaire d’une page incluant l’âge, le sexe, l’adresse et l’utilisation de substances (type et fréquence) du client. Les formulaires ont d’abord été envoyés dans un site central où ils ont été consignés dans un registre et maintenus par le gestionnaire des données du programme. COMMENT LES DONNÉES ONT-ELLES ÉTÉ ANALYSÉES? Les données sur les clients ont été divisées selon les différents sites de toxicomanie. Au site du nouveau programme, les adresses des clients ont été encodées selon 1) s’ils vivent dans la région environnante ou 2) s’ils vivent en ville. Le pourcentage des clients de chaque région géographique a été calculé. Les données démographiques des clients ont été calculées dans tous les centres. COMMENT LES DONNÉES ONT-ELLES ÉTÉ UTILISÉES? Pour veiller à éviter le chevauchement des services et pour s’assurer qu’il n’y a pas de lacunes sur le plan de la prestation des programmes dans la communauté; pour déterminer si les programmes ont atteint la population cible dans la ville et dans les régions environnantes; pour déterminer l’accent mis sur les clients de chaque agence participante.

19 Par quelle route les clients ont-ils commencé leur traitement?
Questions concernant la prestation des services – au niveau de l’activité, du service ou de l’agence Par quelle route les clients ont-ils commencé leur traitement? Quels services ont été réellement fournis aux clients pendant le traitement et ont-ils correspondu à ce qui était prévu? Quelle a été la durée moyenne de séjour ou le nombre moyen de rendez-vous effectués? EXEMPLE DE CAS : Programme de toxicomanie : questions d’évaluation : quel a été le nombre de jours entre l’accueil et le premier rendez-vous prévu? Quel pourcentage de clients ne se sont pas présentés au premier rendez-vous prévu? RESSOURCES NÉCESSAIRES POUR RÉPONDRE AUX QUESTIONS : Le préposé à l’entrée des données maintient la base de données sur une base hebdomadaire, pour conserver des statistiques sur les rendez-vous et l’assiduité. COMMENT LES DONNÉES ONT-ELLES ÉTÉ COLLECTÉES? Les données sur l’assiduité ont été consignées dans des registres quotidiens de rendez-vous maintenus par les préposés à l’évaluation. Le préposé à l’accueil garde un registre de l’accueil initial et la date du rendez-vous d’évaluation prévu au départ. COMMENT LES DONNÉES ONT-ELLES ANALYSÉES? La personne chargée de l’analyse a fourni des statistiques descriptives complètes sur le nombre moyen de jours entre l’accueil et le premier rendez-vous prévu ainsi que le pourcentage des patients qui se sont présentés à au moins un rendez-vous d’évaluation pendant l’année dernière. QU’EST-CE QU’ON A FAIT DE CETTE INFORMATION? Vu les résultats que 34 % des clients ne respectaient pas l’échéance obligatoire de deux mois entre l’évaluation et le premier rendez-vous et que 40 % ne se sont pas présentés à leur rendez-vous, l’agence a décidé de se réorganiser pour que les premiers rendez-vous aient lieu un jour spécifique de la semaine à une heure spécifique, avec plusieurs membres du personnel sur appel pendant cette période. Par conséquent, davantage de patients ont pu recevoir un rendez-vous plus tôt et l’inefficacité reliée à l’attente des patients qui ne se présentent pas a été grandement réduite.

20 Questions concernant la prestation de service – au niveau systémique
Les différents programmes de traitement sont-ils au courant des autres? Les différents programmes de traitement réfèrent-ils les clients à d’autres? Quel est le lien entre les services médicaux généraux et les programmes spécialisés de traitement? FOCUS CENTRAL : La coordination entre les programmes de traitement spécialisé et entre ces programmes et d’autres services dont les patients pourraient avoir besoin. Les premières étapes pour mesurer la prestation des services au niveau du système, c’est de définir les limites mêmes du système. Focus : degré de communication et de collaboration entre les membres du personnel au sein d’un réseau donné d’agences. FOCUS DES RAPPORTS : Connaissance mutuelle, fréquence des interactions, fréquence des renvois croisés, échange d’informations, partage de personnel, autres ressources échangées (comme salles de réunion, matériels, etc.). EXEMPLE DE CAS : Réseau de centres de traitement de la toxicomanie. QUESTIONS D’ÉVALUATION : Pour chaque centre, d’où proviennent les renvois? Quel est le temps d’attente pour les services dans chaque centre? DE QUELLE RESSOURCES DISPOSE-T-ON? Les responsables de cas ont enregistré des informations sur le renvoi dans le cadre de leur entrevue d’accueil. La consolidation de ces données et la tabulation des résultats ont été effectuées par les préposés à l’entrée des données, nécessitant environ une heure par mois. Chaque gestionnaire de programme a effectué une entrevue et rempli un questionnaire évaluant les services de traitement actuels. COMMENT LES DONNÉES ONT-ELLES ÉTÉ COLLECTÉES? La collecte des données s’est produite en deux volets : évaluation de la source de renvoi; les responsables de cas ont consigné cette information dans le cadre de leur entrevue d’accueil. La consolidation de ces données et la tabulation des résultats ont été effectuées par un préposé à l’entrée des données sur une base mensuelle. Pour le deuxième volet, l’évaluation des services de traitement, deux personnes chargées des entrevues ont été envoyées à chaque programme pour collecter des données sur les temps d’attente en vue du traitement actuel. COMMENT LES DONNÉES ONT-ELLES ÉTÉ ANALYSÉES? Toutes les informations ont été consignées par un préposé à l’entrée des données dans un registre central. Le préposé a calculé le pourcentage des renvois de chaque source de renvoi pour chaque programme et a établi des catégories pour les temps d’attente concernant les différents types de service de traitement offerts. QU’EST-CE QU’ON A DÉCOUVERT? Pour le programme fourni en ville, le plus grand nombre de clients (37 %) était envoyé par le service des urgences local. Cependant, le service des urgences tendait à ne pas adresser les clients à des cliniques de la région environnante, même les clients habitant dans ces régions. La plupart des renvois des cliniques environnantes venaient des membres de la famille où étaient des auto-renvois. Le programme de la région environnante accusait un chevauchement considérable avec le programme du centre-ville mais tendait à avoir des temps d’attente plus courts. QU’EST-CE QU’ON A FAIT DE CETTE INFORMATION? Les évaluateurs ont conclu qu’il fallait éduquer davantage le personnel du service des urgences concernant les programmes en région avoisinante (en mentionnant les temps d’attente plus courts). On a lancé une campagne de brochure et une série de présentations lors des réunions du personnel du service des urgences, afin d’atteindre cet objectif.

21 Question d'évaluation des processus – Comment?
Les étapes pour identifier les questions avec le personnel et les partenaires : Effectuer un remue-méninges concernant les questions reliées au programme en utilisant le modèle logique pour guider le processus Trier les questions découlant des sessions de remue-méninges en catégories pertinentes Utiliser un modèle logique pour guider la formulation des questions, en mettant l’accent sur les « entrées », les « activités » et les « sorties », pour générer des questions spécifiques. Les priorités devraient être soutenues par vos bailleurs de fonds, vos clients, votre personnel, votre conseil d’administration et tous les autres partenaires.

22 Évaluation des processus : Six étapes
On détermine les méthodes à utiliser pour l'évaluation des processus Sources de données qualitatives et quantitatives Méthodes qualitatives : interviews, groupes de discussion, journaux de bord, études de cas, questionnaires à questions ouvertes, analyse du contenu des sessions enregistrées en vidéo. Méthodes quantitatives : sondages, observation directe, listes de pointage, registres d’assiduité, révision de documents (Baranowski & Stables, 2000; Devaney & Rossi, 1997; McGraw et al, 2000) Un grand nombre des mesures d’évaluation des processus sont des données transactionnelles que les agences collectent de manière continuelle : demandes de service, clients admis et recevant leur congé, documentation sur la production, registres d’activités, traitements administrés, suivi ou sessions répétées effectuées, plaintes provenant des clients, etc. Ces informations sont généralement conservées dans une base de données et sont donc facilement accessibles. Les mesures supplémentaires pourraient être qualitatives (groupes de discussion, entrevues).

23 Évaluation des processus : Six étapes
Envisager les ressources du programmes et les caractéristiques du programme ainsi que le contexte L’équipe doit envisager les ressources nécessaires pour répondre aux questions de l’étape 3 en utilisant les méthodes de l’étape 4 Envisager le temps de planification, le test pilote, les instruments, la formation qui pourrait être nécessaire, la collecte des données, l’entrée, l’analyse et les rapports Temps du personnel, fardeau pour le client, perturbation pour l’intervention Et finalement, sur le plan pratique et financier, il faut établir un équilibre entre l’utilité des mesures et la qualité des données d’un côté et, de l’autre, les questions de faisabilité, de temps, d’effort et de coûts.

24 Évaluation des processus : Six étapes
Finaliser le plan d’évaluation des processus Formuler des priorités et veiller à la faisabilité du plan Déterminer les priorités Ce qui est important pour le personnel et les partenaires Aborder les besoins importants au sein du programme Refléter les éléments clés du modèle logique de programme Déterminer la faisabilité Ce qui peut être fait avec les ressources disponibles dans le temps alloué L’étape 6 émerge de la planification des étapes 3 à 5. EXEMPLE de l’utilisation de l’évaluation des processus pour les quatre éléments : Activités du programme fournies – cohérence de l’approche utilisée auprès des familles. Activités du programme reçues – nombre de sessions auxquelles les participants du programme se sont réellement présentés. Portée – degré auquel le programme atteint la population cible visée. Fidélité – degré auquel le programme a été mis en vigueur comme prévu.

25 Évaluation des processus : Méthodes
Qualitatives Groupes de discussion Entrevues avec des informants clés Observation directe Quantitatives Révisions du dossier ou de la documentation Journaux de l’activité Données démographiques Qualitatives et quantitatives Entrevues en personne (clients, personnel, gestion) Questions de mesure : Il n’y a peut-être pas de questions d’une importance plus critique en matière d’évaluation que la définition des outils de mesure. La validité de l’évaluation dépend de la mesure appropriée des activités et des résultats du projet. En fait, le jugement final sur le programme pourrait dépendre de la manière dont les opérations du programme sont conceptualisées et mesurées. Le choix des outils de mesure et la conception d’évaluation vont dans une grande mesure déterminer si l’évaluation est utile et crédible.

26 Évaluation des processus : Sélection des mesures
La mesure est-elle significative? Est-elle faisable? Est-elle utile? Tout comme pour la mise en ordre de priorité des questions d’évaluation à l’étape 6, vous devrez établir les priorités concernant les outils de mesure des processus. Ils doivent être significatifs et compréhensibles – significatifs pour les partenaires et axés sur les buts et objectifs, les priorités et les dimensions du programme – et les résultats ne doivent pas être si évidents que les informations ne soient pas très utiles.

27 Évaluation des processus : Sélection des mesures
Questions de qualité Processus budgétaire – comme : étude des procès-verbaux Qualité des services – dossiers standard des clients Questions concernant le fonctionnement du programme Liste de pointage des programmes et services prévus Questions sur la raison pour laquelle un programme a été élaboré Documents de planification, procès-verbaux des réunions, propositions de subvention, évaluations des besoins Processus budgétaire, comme : passer en revue les procès-verbaux de réunions concernant le budget, pour déterminer comment les décisions budgétaires sont prises. Qualité des services, comme : dossiers standards des clients; aussi, manuels de politique des programmes, registres du programme, observations, articles dans les médias, rapports juridiques, entrevues. Questions concernant les opérations des programmes, comme: liste de pointage des programmes/services prévus; aussi, politiques et manuels du programme, registres du programme, observations, dossiers des clients et entrevues.

28 Évaluation des processus – Méthodes
Méthodes pour évaluer la couverture (couverture ou portée) Comparer la participation réelle à la participation prévue Fournir des informations concernant la participation au programme par le groupe cible On doit avoir une définition claire du groupe cible visé, surveiller les caractéristiques du groupe cible visé et le taux de participation En évaluant la couverture ou la portée du programme, vous comparez la participation réelle à la participation prévue au programme. L’analyse de la couverture fournit une rétroaction concernant la participation au programme et permet de détecter les biais en examinant les différences au niveau de la participation entre les sous-groupes de la population cible (comme auto-sélection volontaire, choix intentionnel de la «crème» par le personnel (clients plus faciles à desservir) et expansion de la population cible pour inclure ceux qui n’ont pas été prévus comme pouvant participer au programme). Les mesures que vous pourriez utiliser dans ce cas seraient les dossiers de démographie et de participation au programme.

29 L'évaluation des processus – Méthodes pour évaluer la couverture
Formuler une définition claire de la population cible Identifier les caractéristiques clés de la population cible pour les besoins de la surveillance Collecter les données sur les caractéristiques identifiées Analyser les données pour déterminer si la population réellement desservie est la population visée Analyser les données pour déterminer si les personnes desservies par le programme répondent aux critères d’admissibilité En utilisant les données sur les caractéristiques, déterminer quels sous-groupes sont sous ou surreprésentés Analyser les caractéristiques des personnes quittant le programme Les caractéristiques clés varient selon le programme; elles pourraient inclure l’âge, le sexe, l’origine ethnique, le lieu géographique, le lieu de résidence, etc. Aussi, identifier toutes les caractéristiques spécifiques pouvant affecter la capacité de participer à un programme (comme questions de transport, questions de garde des enfants, distance du site du programme, problème concernant les heures d’ouverture, etc.).

30 Évaluation des processus : Mthodes pour évaluer la prestation
Les dossiers du programme : Spécifier les questions d’évaluation concernant la prestation du programme Identifier les sources de données pour répondre à chaque question Évaluer l’exactitude des sources de données actuelles Élaborer un plan de collecte des données – sources de données, qui collectera les données, etc. Développer un plan d’analyse (tableaux, graphiques, figures) Dossiers du programme – ceci inclut généralement les dossiers des clients et les données administratives fournissant une source précieuse d’information concernant les besoins et les caractéristiques des clients, les ressources du programme et sa prestation ainsi que les résultats du programme. Mais, afin de bien utiliser ces documents, une agence doit bien maîtriser les besoins du groupe cible, la théorie du programme et les activités de ce programme. Les sources des données incluent généralement les formulaires d’accueil/renvoi des clients, les évaluations, les formulaires d’activités du service (type, durée, intensité, unités de service), les notes sur les cas, les dossiers d’atteinte des objectifs et de progrès des clients, les dossiers financiers, les rapports statistiques sur les services, les rapports d’appréciation de la qualité ainsi que les rapports trimestriels et annuels. Une manière de refléter les activités prévues du programme et les résultats consiste à préparer des feuilles de cheminement de prestation des services. Il s’agit de diagrammes représentant les activités clés du programme nécessaires pour atteindre les résultats souhaités. Ceci inclut ce qui suit : Élaborer un modèle logique Étudier les activités actuelles Effectuer une recherche bibliographique concernant les meilleures pratiques dans des programmes semblables Élaborer une feuille de cheminement pour la prestation des services identifiant les étapes importantes du programme devant être atteintes pour réaliser chaque objectif en matière de résultat. (Quand on les utilise pour surveiller la prestation des programmes, elles peuvent aider à identifier les problèmes et veiller à l’atteinte des résultats souhaités, des cibles de service et de la qualité de ces services.)

31 Évaluation des processus : Les méthodes
Satisfaction des clients ou perception des soins Des sondages auprès des clients permettent d’évaluer la satisfaction globale face aux services ainsi que de fournir des informations concernant le contenu du programme et la manière dont il a été fourni Outils de mesures établis : Questionnaire sur la satisfaction des clients (CSQ-8) Sondage sur les services aux jeunes pour les familles Sondage sur la santé mentale orientée vers le consommateur Sondage sur la satisfaction des familles Kansas

32 Évaluation des processus : Sélection des outils de mesure
Outils de mesure standardisés : Exemple : The National Inventory of Mental Health Quality Measures (élaboré par le Center for Quality Assessment and Improvement in Mental Health (CQAIMH) : Lancement futur de la base de données des outils de mesure du Centre Le Centre élabore également une base des données des mesures qui sera accessible à partir du site Web du Centre. Nous espérons lancer cette base de données au cours des prochains mois. C’est la base des données des mesures utilisées dans les différents programmes en Ontario, avec une étude des aspects psychométriques et indiquant comment obtenir des copies de cet outil de mesure.

33 Évaluation des processus – Conseils pour la collecte des données
Créer un échéancier pour collecter les données sur les processus et le respecter Diviser les tâches et assigner une tâche à chaque individu Maximiser les occasions existantes de collecte des données N’identifier que les questions d’intérêt/valeur et garder l’évaluation axée sur elles Réviser périodiquement vos instruments pour veiller à ce que l’approche d’évaluation reste utile Dans le cadre de l'évaluation des processus, il est souvent difficile de décider quelle information est vraiment importante pour décrire les activités des programmes et quelles informations sont simplement des détails sans grande importance. Pour choisir les données pertinentes et poser des questions concernant les activités des programmes, l’équipe d’évaluation doit se référer soigneusement au modèle logique préparé au début du projet. Garder à l’esprit qu’il est non seulement permissible mais aussi important lors de l’évaluation des processus de réviser le modèle logique originel à la lumière des résultats, au fil de l’évaluation. L’analyse des données qualitatives nécessite des connaissances substantielles de la part de l’évaluateur. La personne chargée de l’analyse doit être familière avec des projets semblables, des répondants et des réponses et avec le contexte dans lequel le projet se déroule. Elle devra aussi être en mesure de comprendre le contexte historique et politique du projet ainsi que le milieu organisationnel et la culture au sein de laquelle les services sont fournis. En même temps, le défi qui sera lancé à cette personne sera celui de maintenir une certaine objectivité afin de pouvoir réaliser une évaluation non biaisée de la manière dont les réponses soutiennent ou réfutent les hypothèses concernant la manière dont fonctionne le projet et ses effets. Collecter des données qualitatives nécessite également une habileté sur le plan des entrevues et des observations. Se renseigner à l’avance sur la manière dont on effectue les entrevues ou on organise les groupes de discussion est important pour comprendre l’objectif de chaque question, la variété possible des réponses pouvant être obtenues par les répondants et les manières de diriger la discussion pour veiller à obtenir des informations complètes sur les questions abordées. Les données doivent être soigneusement enregistrées. Les notes sur les facteurs contextuels et les hypothèses intérimaires doivent être enregistrées dès que possible après la collecte des données. Il existe de nombreuses applications de mesures des données sophistiquées pour suivre les données reliées aux processus mais, pour les besoins de l’évaluation, le logiciel Excel de Microsoft pourrait suffire.

34 Prochaines étapes 27 mars : webinaire sur la rédaction du rapport final 31 mars : fin de la période couverte par les subventions 30 avril : date d’échéance du rapport final 1er au 14 mai : évaluation de la préparation aux évaluations pour les subventions d’implantation des évaluations (SIE) 2 juin : date d’échéance pour les demandes de subvention SIE Webinaire de juin : le chemin à suivre pour collecter les données

35 Pour obtenir de plus amples informations
Susan Kasprzak , poste 3320 Tanya Witteveen , poste 3483