Pertinence de la démarche pré-évaluative : Illustration à partir dun programme de santé mentale Monique Carrière Ph.D. Faculté de médecine, Université Laval Louise Grégoire, M.Sc.A. Direction régionale de santé publique de la Capitale nationale Mireille Fortier, assistante de recherche Monique Carrière Ph.D. Faculté de médecine, Université Laval Louise Grégoire, M.Sc.A. Direction régionale de santé publique de la Capitale nationale Mireille Fortier, assistante de recherche

SQEP, 2004, Carrière, Grégoire et Fortier 2 Contexte de lévaluation Pression pour lévaluation de programme Pression pour la programmation en réseau Révision du programme en santé mentale au CLSC Transformation organisationnelle en cours

SQEP, 2004, Carrière, Grégoire et Fortier 3 Cest pas compliqué, on a révisé notre programme et on veut savoir ce que ça donne. Cest plus compliqué que ça !!! Demandeur Évaluateur Rencontre évaluateur - demandeur

SQEP, 2004, Carrière, Grégoire et Fortier 4 Proposition : approche pré-évaluative et coopérative Pré-évaluative : Multiplicité des objets dévaluation Multiplicité des acteurs et de leurs points de vue Obligation de clarifier et de choisir Coopérative : Participation continue de léquipe de gestion du programme à la planification de la démarche, à sa mise en œuvre et à linterprétation des résultats

SQEP, 2004, Carrière, Grégoire et Fortier 5 A Évaluation des résultats À partir des conceptions des acteurs du programme Identification objective des problèmes Environnement/clients Rétroaction B Cadre général et vue densemble Avec les paramètres des partenaires et des usagers du programmes Identification subjective des problèmes Réseau/act.interdépendants Négociation Tendances habituelles (A) vs notre proposition (B)

SQEP, 2004, Carrière, Grégoire et Fortier 6 Cadre théorique : approche constructiviste Acteur motivé, rationnel et réflexif Position de lacteur influence rationnel et action Intention action conséquences Dialectique action-structurel Spécifique Systémique Structurel Opérationnel Stratégique Théorie de la structuration (Giddens) Domaines dactivités dun programme (Gervais)

SQEP, 2004, Carrière, Grégoire et Fortier 7 Interfaces Giddens et Gervais USAGERS* DÉCIDEURS CENTRAUX* (STRAT.) (OPÉRAT.) GEST.* INTERV.* DÉCISION RÈGLES ET RESSOURCES (STRUCT.) PRATIQUES PARTENAIRES COMM.* PARTENAIRES INSTITUT.* (SYSTÉMIQUE) PROGRAMME ASM ENVIRONNEMENT / CONTEXTE CONSÉQUENCES (SPÉCIFIQUE) * ACTEUR MOTIVÉ, RATIONNEL, RÉFLEXIF POPULATION*

SQEP, 2004, Carrière, Grégoire et Fortier 8 Déroulement du projet Planification avec léquipe de gestionnaires Nombre de groupes et critères de sélection des participants Recrutement Organisation des groupes de discussion Réalisation des groupes de discussion Analyse préliminaire et rétroaction aux gestionnaires Présentation des résultats et discussion sur la poursuite de lévaluation

SQEP, 2004, Carrière, Grégoire et Fortier 9 Principaux thèmes abordés lors des groupes de discussion Motivation et préoccupations Questions et objets dévaluation Utilité de lévaluation Priorités Opportunités et embûches anticipées Perception quant aux priorités des autres acteurs

SQEP, 2004, Carrière, Grégoire et Fortier 10 Variété des participants 5 catégories dacteurs: Gestionnaires du programme ASM du CLSC Intervenants au programme ASM du CLSC Usagers Partenaires communautaires Partenaires institutionnels 9 groupes de discussion 65 personnes rencontrées

SQEP, 2004, Carrière, Grégoire et Fortier 11 Position des acteurs USAGERS CLSCCHSP CHSGS OC

SQEP, 2004, Carrière, Grégoire et Fortier 12 Rationnel des gestionnaires du CLSC Performance du programme Responsabilité populationnelle Effets sur le système et les clients Positionnement de CLSC p/r aux partenaires Ajustement et mise à jour du programme

SQEP, 2004, Carrière, Grégoire et Fortier 13 Rationnel des intervenants du CLSC Clarification et cohérence p/r au programme Effets sur le client Lien thérapeutique Ajustement et mise à jour Tension entre les objectifs cliniques et organisationnels Contradiction entre leurs valeurs et leurs actions Inquiétude quant au type dévaluation

SQEP, 2004, Carrière, Grégoire et Fortier 14 Rationnel des partenaires institutionnels Arrimage et harmonisation des services : Adoption dune philosophie et de stratégies communes (ententes formelles et liens personnalisés) Protocoles uniformes Système dinformation partagé Hiérarchisation dintervention Efficience et efficacité Collaboration (liens de confiance, reconnaissance, appui réciproque)

SQEP, 2004, Carrière, Grégoire et Fortier 15 Rationnel des partenaires du milieu communautaire Information Reconnaissance Réduction de la méconnaissance réciproque Tension entre lautonomie décisionnelle et la coopération Positionnement du CLSC et des organismes communautaires : influence et négociation Perception dun décision unilatérale du CLSC, entraînant une stratégie similaire des organismes communautaires

SQEP, 2004, Carrière, Grégoire et Fortier 16 Rationnel des usagers Relation avec lintervenant : continuité Approche humaniste et globale Souplesse et simplicité dans lorganisation des services Disponibilité continue des ressources Participation aux décisions cliniques et organisationnelles

SQEP, 2004, Carrière, Grégoire et Fortier 17 Principaux thèmes documentés au regard des 5 domaines dun programme Domaine Systémique : rôle et position dans le réseau, liens avec les autres acteurs, légitimité… Domaine Structurel : règles et ressources, procédures de coordination, réseau de communication et dinformation… Domaine Opérationnel : processus, activités et comportement des membres; pratiques professionnelles, programmation des activités, communication, climat de travail… Domaine Stratégique : gestion du programme, médiation entre les différentes instances organisationnelles, planification, prise de décisions, supervision, leadership… Domaine Spécifique : résultats; optimisation des objectifs, satisfaction des attentes, production de services…

SQEP, 2004, Carrière, Grégoire et Fortier 18 Les constats Modification de la représentation du programme Programme : un moyen et un résultat Négocié Communiqué Utilisé À lintérieur Avec Lextérieur du CLSC Modification de la représentation de la programmation Programmation: phénomène dynamique et action continue }

SQEP, 2004, Carrière, Grégoire et Fortier 19 Action des évaluateurs Élaboration dun outil Commun à la planification et à lévaluation de programme Facilitant sa compréhension et sa transformation Fournissant une vue densemble de ses composantes et de ses éléments Précisant les actions correspondant aux éléments de chaque composantes Permettant de déterminer les cibles et les stratégies dévaluation Construction dun modèle logique détaillé

SQEP, 2004, Carrière, Grégoire et Fortier 20 Traduction du programme dans un modèle logique Composantes Éléments Planification de loffre de services Communication de loffre Accueil des références ÉvaluationLiaisonIntervention Objectifs de mise en œuvre Ressources Extrants Méthodes et moyens Objectifs de résultats court terme Objectifs de résultats long terme Indicateurs

SQEP, 2004, Carrière, Grégoire et Fortier 21 Retombées pour le CLSC Stimulation de lactivité réflexive Révision des objectifs, des activités et des moyens du programme Ouverture au changement Appropriation de la démarche et des outils de planification évaluation

SQEP, 2004, Carrière, Grégoire et Fortier 22 Conclusion Richesse de la démarche : Cohérence Diversité des résultats Démarche ancrée dans le contexte Possibilité de faire des choix éclairés Choix épistémologique : constructivisme Diversité des priorités et des enjeux Création dattentes Approche non normative qui facilite les liens entre les acteurs et la négociation Démarche qui répond aux standards de lévaluation

SQEP, 2004, Carrière, Grégoire et Fortier 23 Fin…