Processus et évaluation en développement des communautés Paule Simard, chercheure Collaboration: Institut national de santé publique Diane Champagne, UQAT Ginette Paré, ASSS-AT Michel ONeill, U. Laval Jacinthe Loiselle, FLAC Communautés en action. Pour le développement de la santé et du bien-être des populations AQESS, Montréal, 12 mars 2008

3 enjeux de lévaluation du DC Lévaluation de processus Comment faire? Présentation en 3 temps

Origine de la réflexion Projet de recherche auto-évaluation de 8 projets de développement des communautés Production: Guide dévaluation à lintention des communautés Demande du RQVVS cadre théorique: « Perspective pour une évaluation participative de processus » (INSPQ, 2006)

Lévaluation cest… porter un jugement : sur la valeur dun OBJET défini clairement selon des CRITÈRES explicitement énoncés à partir dINFORMATIONS méthodiquement recueillies

3 enjeux de lévaluation du DC Simard, JASP 2007

1 er ENJEU: Des intérêts multiples État de santé Portrait de communauté Principes daction Implantation Atteinte des objectifs Portrait de communauté Comités Santé publique locale Chercheurs Projet spécifique Démarche globale dans la communauté Déploiement régional Déploiement national Déploiement local (CSSS) NIVEAU POUR QUI? PortraitImplantationImpacts QUOI? Élus municipaux Bailleurs de fonds État de santé

DONNÉES PROBANTES INDICATEURS (données chiffrées) = qualitatives quantitatives vs Le débat classique 2 e ENJEU: La valeur des données

Données probantes Viennent de revues systématiques de littérature Effectuées sur des recherches scientifiques publiées Méthodologie expérimentale de type « essais cliniques randomisés »

Essais randomisés Études cas-témoins Études de cohortes Liceberg des données probantes Adaptée de McQueen, 2002 Histoires de cas Littérature grise Points de vue des acteurs Recherche participative

3 e ENJEU: La nature du DC Les initiatives de DC: ne sont pas des programmes… mais des ensembles de principes daction ce sont des dispositifs complexes : – –dont il est difficile disoler les composantes – –qui peuvent être reproduits en laboratoire ou selon un schéma expérimental ou quasi expérimental – –où les changements sont longs à se manifester

Les principes daction VVS POUVOIR DAGIR individuel et communautaire PARTICIPATION citoyenne CONCERTATION INTERSECTORIELLE Changements Changements dans le comité Changements dans la communauté Changements individuels Changements matériels Déterminants revenu et situation sociale réseaux de soutien social niveau dinstruction emploi et conditions de travail environnements physiques développement sain dans lenfance habitudes de vie et compétences dadaptation personnelles services de santé

Lévaluation participative de processus Simard, JASP 2007

Lévaluation proposée… Simard, JASP 2007 évaluation du processus ou du « comment- on-travaille-ensemble »… participative… intégrée à la démarche… et… utile pour laction Comme toute forme dévaluation, elle doit un point de vue spécifique sur un projet dont elle a avantage à être combinée à dautres formes dévaluation

1. Lévaluation de processus Simard, JASP 2007

Lévaluation de processus… SITUATION DE DÉPART résultats actions résultats actions résultats actions résultats actions CHANGEMENT S OBJECTIFS PRÉVUS évaluation « classique »

Un processus cest… une succession de résultats ou de petits changements semboîtant les uns dans les autres et menant, à moyen et à long terme, vers des changements de en plus significatifs Simard, JASP 2007

lensemble des principes daction le comment-on-travaille- ensemble La logique du DC cest… Simard, JASP 2007

SITUATION DE DÉPART Évolution des processus CHANGEMENT S Empowerment Participation CHANGEMENT S Intersectorialité CHANGEMENT S Simard, JASP 2007

Il faut donc identifier les PRINCIPES du COMMENT-ON-TRAVAILLE- ENSEMBLE propres à chaque projet local Simard, JASP 2007

2. La participation en évaluation Simard, JASP 2007

Pourquoi une évaluation participative? Qui peut le mieux identifier les principes qui sous-tendent les actions locales? ACTEURS LOCAUX Simard, JASP 2007

Le chemin de la « connaissance » information choisie par la population CONNAISSANCE Hancock et al., 2000 DONNÉES indicateurs INFORMATION données analysées Simard, JASP 2007

cest-à-dire une évaluation... qui améliore les habiletés de la communauté qui est utile pour laction où la communauté est un acteur clé! Simard, JASP 2007

Essais randomisés Études cas-témoins Études de cohortes Liceberg des données probantes Adaptée de McQueen, 2002 Histoires de cas Littérature cachée Points de vue des acteurs Rumeurs Recherche participative Histoires de cas Littérature cachée Points de vue des acteurs Recherche participative Simard, JASP 2007

Évaluation participative ou auto- évaluationaccompagnée... Évaluation participative ou auto- évaluation accompagnée... Communautés maître-doeuvre mais accompagnées par: coordonnateur de projet ? organisateur communautaire ? agent de développement ? ressource en évaluation (CSSS et DSP) ? universitaire ? Simard, JASP 2007

3. Lévaluation intégrée à la démarche Simard, JASP 2007

Principes daction * pouvoir dagir * partenariat et concertation * participation citoyenne * réduction des inégalités Changements * collectifs - dans le comité - dans la communauté * individuels et populationnels - habilités individuelles - état de santé * matériels Changements Projets Changements Projets Changements Actions Changements Actions Comité DÉMARCHE Simard, JASP 2007

1. Se mettre ensemble pour réaliser une démarche 5. Faire un plan daction 6. Réaliser les actions 3. Faire lanalyse du contexte ou un portrait de communauté, dun groupe ou dune problématique 2. Former un comité 4. Développer une vision commune de la démarche 9. Dresser un bilan final 8. Revoir les actions 7. Faire un bilan détapes ÉÉÉ É Simard, JASP 2007

COMMENT ÉVALUER ? Simard, JASP 2007

4. Établir un plan dévaluation 2. Constituer un comité dévaluation 1. Décider de lévaluation 3. Identifier les dimensions à évaluer Recueillir les données 5. Analyser les données 6. Faire un bilan et communiquer les résultats Simard, JASP 2007 ET

4. Établir un plan dévaluation 2. Constituer un comité dévaluation 1. Décider de lévaluation 3. Identifier les dimensions à évaluer Recueillir les données 5. Analyser les données 6. Faire un bilan et communiquer les résultats ET Développer une vision commune de la démarche ou du projet

Une évaluation participative des processus Appuyée sur un dispositif méthodologique qui: – permet de développer la capacité des acteurs de participer de façon continue au processus de construction de leur action – met en évidence la logique de laction… donc sattarde aux principes qui sous-tendent cette action – souligne les avancées en cours plutôt quelle montre les impacts à long terme – vise à soutenir laction et non de «prouver» lefficacité de la pratique par une réplication ailleurs

Les pratiques jugées efficaces en DC Ne peuvent provenir que de laccumulation des connaissances sur les processus de concertation, intersectorialité, participation citoyenne et empowerment (conditions de succès, principes à respecter) … notamment être adaptées aux besoins et aux caractéristiques de chaque communauté, en donnant des pistes, orientations, sans « obliger ». Donc, on ne peut prescrire ou reproduire des pratiques jugées efficaces ailleurs, mais plutôt sen inspirer…