L’évaluation du contrat de projet : une démarche pour dire « ce qui fait la valeur » et ce qui « mesure la valeur » PROCESSUS – METHODE- OUTILS FRMJC – Clairs Soleils Besançon 15 avril 2015 www.ressources-ville.org

Ce qu’on attend de l’évaluation Autrement dit ce qu’on pense faire des résultats) est variable selon les actions. Cinq buts sont souvent décrits : 1. Améliorer l’action par rapport au public touché : mieux toucher certains types de publics, mieux adapter les activités au public en fonction de son appréciation, améliorer la qualité du travail rendu aux bénéficiaires (« démarche qualité »), 2. Vérifier la pertinence de l’action : vérifier l’atteinte des objectifs et sinon réajuster l’action, 3. Renforcer l’adhésion des acteurs, mettre à niveau leurs connaissances. Construire un point de vue collectif partagé, une charte entre acteurs.

…Ce qu’on attend de l’évaluation. 4. Rendre compte et promouvoir l’action : la faire connaître, reconnaître, notamment auprès des financeurs (entre autres pour reconduire le financement), 5. "Capitaliser" cette expérience en vue d’autres actions, autrement dit améliorer la pratique des acteurs, qu’il s’agisse de la thématique de travail, de la façon de travailler avec le public, et/ou de la méthodologie de projet : « Sortir de l’amateurisme, progresser »

Mise en œuvre de l’évaluation Une démarche avant tout collective et participative Des préalables Des outils Des usages, des compétences à construire…

1. Réunir les conditions stratégiques de l’évaluation - C’est pouvoir partir d’une volonté politique qui préciserait la valeur accordée à l’évaluation et ce que chacun en attend - C’est définir un projet d’évaluation fixant les orientations, les principes et les modalités (regroupé dans le référentiel). C’est construire une « culture de l’évaluation » avec les acteurs concernés (des administrateurs bénévoles, en passant par les professionnels, jusqu’aux partenaires opérationnels et institutionnels). - C’est enfin promouvoir l’évaluation comme un processus de qualification des acteurs (au service du projet) plutôt que comme une investigation dans leur activité.

2. Délimiter l’objet d’évaluation C’est préciser s’il s’agit d’évaluer le contrat de projet (ou autre contrat global pluriannuel) ou les dispositifs programmes thématiques, ou les actions ou les pratiques… - Mais c’est aussi préciser par exemple, si de « l’objet-contrat », il s’agit d’évaluer les conditions de mise en œuvre à l’échelle politique, partenariale, organisationnelle, administrative, financière, méthodologique, s’il s’agit d’évaluer la reproductibilité de la réalisation des actions ou s’il s’agit d’évaluer les impacts et les effets sociaux des actions… - Se resserrant de plus en plus jusqu’à obtenir un objet précisément délimité, la réflexion se doit d’être conduite y compris au niveau politique et faire valoir les arguments du choix final.

3. Poser le questionnement évaluatif C’est formuler « les grandes questions » qui orienteront l’évaluation, en termes d’analyse des résultats et en termes d’analyse des conditions d’obtention des résultats. Par exemple sur une action destinée à revivifier le lien social dans le quartier et à l’échelle de la ville, les questions évaluatives peuvent être : - l’action a-t-elle fait évoluer nos pratiques en direction des habitants ? - l’action a-t-elle amélioré les relations des habitants avec les institutions ? - l’action a-t-elle fait évolué positivement les relations des habitants entre eux? l’action a-t-elle développé une envie pour des pratiques participatives ? L’action a-t-elle permis de mieux appréhender sa ville… ?

Les principes de base Tout objet d’évaluation doit être relié à son origine : orientations nationales, diagnostic, dispositifs, circulaires, actions, objectifs de résultats… L’origine du projet constitue un point d’appui pour construire le référentiel d’évaluation : - pour un Contrat de projet par ex., l’approche territoriale, la dynamique transversale d’acteurs, l’organisation des moyens en projet… doivent, d’après les textes, structurer la mise en œuvre du CP en lien avec les partenaires institutionnels (CAF+Collectivité). L’évaluation aura à en apprécier la concrétisation - pour un dispositif PRE, la pluridisciplinarité, l’approche globale, l’identification des publics, l’adhésion des parents… doivent, d’après les textes, structurer la mise en œuvre du PRE. L’évaluation aura à en apprécier la concrétisation - Pour une action, les objectifs issus du diagnostic doivent être réalisés. Par exemple, « améliorer la relation de la population avec les institutions ». L’évaluation aura à en apprécier la concrétisation

Les conditions de réussite : critères et indicateurs, constituent les autres points d’appui du référentiel d’évaluation - pour un contrat de projet, « le diagnostic partagé » sera un critère d’évaluation de la concrétisation de l’approche territoriale et pluri thématique. Et « la largeur de la participation » au diagnostic partagé sera un indicateur de la réalisation du diagnostic. - pour un dispositif PRE, « la mobilisation des partenaires » sera un critère d’évaluation de la pluridisciplinarité. Et « la diversité des partenaires mobilisés sera un indicateur de la réalisation de la mobilisation : il constituera par conséquent un support d’appréciation de la valeur de la pluridisciplinarité. - Pour une action, selon l’exemple ci-dessus, « la confidentialité à l’accueil » sera un critère d’évaluation de la concrétisation de l’amélioration des relations de la population avec les institutions. Et « l’aménagement de l’espace d’accueil » sera un indicateur de la réalisation de la confidentialité : il constituera par conséquent un support d’appréciation de la valeur de l’amélioration apportée aux relations institutions/populations.

Quelles dimensions pour l’évaluation du contrat de projet C Social/MJC ? 1- l’évaluation du contrat lui –même : changement structurels induits, impact, cohérence d’ensemble 2- L’évaluation des pratiques et de l’organisation : participation, transversalité, conduite de projet, approche interco… 3- l’évaluation des programmes thématiques d’actions (ex. un PRE, ou programme jeunesse, un plan de lutte contre les discriminations, un plan d’action culturel… : résultats, effets, impacts, efficacité, reproductibilité, mobilisation du partenariat, développement…

Le référentiel et l’évaluation finale Il est le guide qui regroupe les étapes incontournables de l’évaluation : Rappel des éléments centraux du diagnostic qui fondent le projet Les objectifs stratégiques Les objectifs opérationnels Les critères retenus Les indicateurs de résultats et de réalisation Les indicateurs d’impact (sur du long terme) Les indicateurs de contexte (ils vous permettent de pondérer un résultat quelquefois trop positif ou trop négatif) Rappeler les grandes questions évaluatives Conclure avec les résultats interprétés, CAD ce que ces résultats suscitent comme enseignements : poursuite, adaptation, renforcement, consolidation, suppression, réorientation…