Accompagnement en évaluation de la démarche COSMOSS Jean-Marc Pilon Ludovic Decoret Octobre 2015

Introduction Volonté de favoriser une culture évaluative au sein des travaux de COSMOSS depuis quatre ans maintenant (accompagnement de AE, QEF, R2, COSMOSS, régional, initiative des agents locaux, des partenaires, etc.) Poursuite de ces travaux dans le projet de cohésion Deux ressources pour cela : Jean-Marc (Matanie, Témiscouata, Basques) et Ludovic (les autres MRC)

Vision de l’évaluation L’évaluation est une démarche structurée et rigoureuse de collecte de données facilitant les prises de décision par des acteurs concernés en vue d’orienter les actions, en tenant compte des effets de celles-ci ; L’évaluation est au service de l’action, pour permettre de l’améliorer ;

Pragmatisme de l’évaluation De l’évaluation, l’être humain en fait tous les jours, de manière « informelle » : il observe et se réajuste en fonction de ses constats. Il en va de même dans les actions ; La démarche d’évaluation cherche à systématiser cette collecte de données ; Évaluer, c’est répondre à des questions. Il faut trouver les bonnes, ainsi que les sources et les méthodes adéquates pour y répondre ; Ne jamais oublier que les résultats de l’évaluation n’arrivent qu’à la fin de toute la démarche, lors de l’analyse, de l’interprétation et des recommandations.

Finalités de l’évaluation Apprendre Forces et faiblesses des actions Portée des pratiques collectives État des lieux Documenter Mise en œuvre des actions Effets des actions Ce qui a permis d’atteindre ces effets Rendre hommage Innover Alimenter la réflexion critique Identifier et développer de nouvelles pratiques prométeuses Décider Des ajustements à apporter Des priorités Planifier de manière mieux éclairée Mobiliser les parties prenantes, en les : Informant sur le projet Impliquant dans la collecte de données Consultant et donnant la parole Promouvoir Les réalisations des regroupements La pertinence des actions auprès des bailleurs de fonds *inspirée du PPT « L’évaluation en contexte de planification écosystémique », Avenir d’Enfants, Janvier 2015

Évaluation participative Consiste à impliquer les acteurs concernés par un projet (intervenants, destinataires, etc.) à donner leur point de vue sur ce projet et en influencer le déroulement ; Requiert l’engagement des partenaires dans la conception et réalisation de l’évaluation ; Les partenaires sont les experts de leur milieu, ils sont les plus à même de guider l’évaluation pour qu’elle soit ajustée à la réalité du terrain ; Croyance que cela favorise le réinvestissement des résultats.

Culture évaluative Favoriser l’appropriation d’une culture évaluative par les milieux ; Tenter de contaminer les organismes et les personnes selon trois niveaux : cognitif (définition, vocabulaire), pratique (gestes terre à terre de l’évaluation) et symbolique (le sens de l’évaluation) ; Espérer que les personnes en fassent un peu plus chaque jour, qu’elles acquièrent des réflexes en matière d’évaluation Ceci implique de permettre au milieu de : Développer une vision positive de l’évaluation ; Différencier l’évaluation de la reddition de compte ; S’approprier de bonnes pratiques évaluatives, au sein des regroupements et des organisations, sans pour autant remplacer le rôle d’un évaluateur ; Avoir une certaine autonomie au regard des pratiques évaluatives ; Développer des pratiques utiles pour l’amélioration des actions. *Inspiré du PPT de Marie-Claude Jean, janvier 2015

Mots clés Simplicité Accessibilité Rigueur et souplesse Respect des réalités des milieux Utilité pour les travaux Participation des partenaires

Rôle de l’évaluateur - local Accompagner les partenaires dans cette démarche, tenir compte des dimensions psychosociales en présence ; Développer la culture évaluative ; Être un ami critique par rapport à la cohérence de la planification Guider les partenaires dans l’auto-évaluation ; Rendre simple et réaliste la démarche d’évaluation, à partir des souhaits des partenaires ; S’assurer de la rigueur de la démarche d’évaluation et de la démarche participative ; Préparer et coordonner toutes les étapes de l’évaluation ; Faciliter l’appropriation des résultats ; Faire un suivi de l’ajustement des actions (3 mois après).

Rôle du comité d’évaluation Partenaires de la MRC qui coordonneront avec l’évaluateur la démarche d’évaluation Ce comité aura un rôle-conseil et de supervision des travaux en évaluation Il sera possible d’en former un lors de l’élaboration des PAS, pour évaluer cet aspect Il devra être formé pour la création et la réalisation du plan d’évaluation, à partir du dépôt du PAS Le plan d’évaluation est à déposer 6 mois au plus tard après le dépôt du PAS Il sera possible à des moments ponctuels de consulter d’autres partenaires, quand cela sera nécessaire

Évaluation évolutive Évaluation à mi-parcours, pour : Prendre le pouls des milieux par rapport au projet de cohésion, à mis parcours Voir les avancées par rapport à la mission de COSMOSS et aux objectifs du projet de cohésion Réajuster l’accompagnement local et régional pour la suite du projet de cohésion Collecte de données auprès des membres de l’ÉLA et des membres du CLC, pour prendre le pouls de l’avancé des travaux, dans la période entre le diagnostic et l’établissement des priorités Retour de l’information aux membres de l’ÉLA et des CLC pour avoir un temps de recul sur comment ça se passe et s’il y aurait des ajustements à réaliser d’ici la fin de l’élaboration du PAS

Chantier mesure des résultats Objectif général : Témoigner des changements auxquels nous avons contribué, ainsi que les pratiques et interventions qui ont été́ significatives à l’atteinte de ces changements, pour témoigner concrètement des bénéfices et de la contribution des partenaires à la démarche collective et réajuster nos stratégies à la lumière de notre expérience. Nos objectifs spécifiques : Apprécier et communiquer d’ici décembre 2016, les changements auxquels COSMOSS à contribué depuis 2008 et connaître les stratégies qui ont eu le plus d’impact sur la clientèle visée et sur l’efficience de nos pratiques. Apprécier et communiquer d’ici 2020, les changements auxquels COSMOSS à contribué depuis 2015 et connaître les stratégies qui ont eu le plus d’impact sur la clientèle visée et sur l’efficience de nos pratiques. Organiser les informations recueillies pour qu’elles puissent être partagées et comprises rapidement et clairement tant par les personnes impliquées dans la démarche COSMOSS que par les différents niveaux décisionnels concernés. Identifier les ajustements à apporter à notre modèle et à nos stratégies pour maximiser l’atteinte des changements visés et revoir collectivement nos objectifs, façons de faire et contributions. Documenter l’expérimentation.

Chantier mesure des résultats Questions clés : Qu’avons-nous changé dans nos pratiques ? Qu’avons nous changé dans notre offre de service ? Qu’est-ce qui a changé pour les jeunes et les familles qu’on vise, dans leur parcours ? Qu’est-ce qui a favorisé et a été un obstacle à la pérennisation ? Approche PUR : P : Pas lourd, pertinent, plaisir, participatif U : Utile, utilisable et utilisé R : Rigueur, respect des milieux, réalisme Collecte de données pour 2016 (intention : ne pas solliciter plus les milieux) Utilisation au maximum de la documentation déjà à disposition depuis 2008 (plan d’action, bilan, évaluation, rapport, etc.) Arrimage avec les travaux d’état de situation Complément d’information au besoin au printemps, avec des personnes ciblées dans les milieux

Prochaines étapes Présenter l’évaluation dans les CLC (après la rencontre du CRC du 2 février 2016, car approbation du chantier régional) Présentation aux autres partenaires des comités thématiques si nécessaire Participation aux rencontres des ÉLA/comité de pilotage pour l’élaboration des PAS ÉÉ : Contact pour des entrevues suite au diagnostic Mesure des résultats : arrimage aux travaux d’état de situation et de bilan