du bon usage des outils de reporting Observation, suivi et évaluation : du bon usage des outils de reporting Michel BASSET Directeur associé du cabinet ARGOS Professeur Associé à Sciences Po Lyon Alexandre HEBERT Directeur de SKOVEO

Les questions abordées 2 1 4 3 Observation, suivi et évaluation : de quoi parle-t-on ? L’observation, le suivi et l’évaluation : des outils distincts et complémentaires de pilotage de politiques publiques Les parties prenantes et leur place dans l’observation, le suivi et l’évaluation 1 2 3

Observation, suivi et évaluation : de quoi parle-t-on ? 2 1 4 3 Observation, suivi et évaluation : de quoi parle-t-on ? 1

Ne pas confondre évaluation et ... Une politique, c’est des … Ressources Réalisations Résultats Impacts Audit Contrôle de gestion / suivi Evaluation

L’évaluation, c’est quoi ? Ce que n’est pas l’évaluation ni une simple accumulation d’informations (actions, budgets,...) Suivi ni la simple mesure des changements d’une situation  observation ni un verdict après coup Ce qu’est l’évaluation un processus pour connaître (certes), mais aussi pour comprendre, juger, débattre, réorienter et décider... pour mieux agir

Différenciation et complémentarité : observation, suivi et évaluation le Suivi : mesure l’état d’avancement des réalisations d’une politique publique. Il s’agit de mesurer, en flux tendu, l’état de réalisation de la politique L’Observation : elle met à disposition des éléments de contexte qui informent sur la situation / problème ou sur des facteurs pouvant influencer la politique. Elle produit des connaissances L’Évaluation : elle consiste à répondre à des questions de différentes natures et apporte des réponses contextualisées et justifiées

Ce qui différencie observation, suivi et évaluation Intérêt et modalités du suivi, de l’observation et de l’évaluation L’observation Intérêt Connaissance du contexte territorial Informer sur la situation ou sur des facteurs pouvant influencer le projet de la structure Modalités Définition d’indicateurs de contexte sur la situation du territoire Mise à jour régulière des données Analyse périodique des données Repérage des évolutions tendancielles

Ce qui différencie observation, suivi et évaluation Intérêt et modalités du suivi, de l’observation et de l’évaluation Le suivi Intérêt Situer l’avancement du projet de la structure par rapport aux objectifs (opérationnels) Apprécier l’état de réalisation et de résultats directs des actions engagées Permet de planifier des réajustements éventuels Modalités Mise en place d’un système d’information (monitoring) Examen régulier des ressources/réalisations/résultats pour analyser le degré d’avancement et prévoir des réajustements éventuels

Ce qui différencie observation, suivi et évaluation L’évaluation Intérêt Apprécier/juger la valeur du projet de la structure Mesurer - résultats constatés au regard des résultats attendus - cohérence des moyens / objectifs - impacts et utilité (pour les bénéficiaires, le territoire, les citoyens,…) - adéquation de la politique aux besoins - articulation de la politique avec d’autres dispositifs Comprendre et apprécier la valeur - pourquoi et comment fonctionne la politique ? - les effets attendus sont ils produits par la politique ? - quelles sont les causes des effets identifiés ? - comment les acteurs perçoivent-ils les résultats ? Formuler des recommandations pour faire évoluer et améliorer la politique Assurer la transparence de l’action publique, rendre des comptes Commentaires : Effet induit de l’évaluation : communiquer et impliquer

Ce qui différencie observation, suivi et évaluation Des points communs Des limites Complémentarité, Enrichissement mutuel Rôle commun de pilotage Amélioration continue Observation et suivi : descriptifs, ne permettent pas d’analyser ni mesurer les effets de la politique à MT et LT Evaluation : difficile à réaliser sans données d’observation et de suivi

2 1 4 3 L’observation, le suivi et l’évaluation : des outils distincts et complémentaires de pilotage de politiques publiques 2

Observation, suivi et évaluation : 3 approches des complémentarités Diachronique Chronologique Synchronique

Suivi Observation Evaluation Des outils intégrés dans le pilotage des politiques Observation Evaluation Suivi Evaluation Ex-Ante Diagnostic des enjeux 2. Définition de la politique Evaluation continue 1. Situation problème 3. Mise en œuvre de la politique 4. Effets de la politique Re-ingénierie Evaluation Ex-Post

observation, suivi et évaluation ? Comment articuler observation, suivi et évaluation ? Suivre puis évaluer En flux tendu : grâce à des outils de suivi, il s’agit de connaitre régulièrement l’état d’avancement de la politique  le tableau de bord Pendant et/ou après : mesurer et comprendre ce que produit la politique  l’évaluation Observer pour mieux évaluer Recueillir préalablement des éléments permettant de poser les enjeux de la situation / problème et de son environnement Pendant, veiller sur l’évolution de la situation et de son environnement pouvant influencer la politique Après, identifier les facteurs explicatifs des effets identifiés

Le suivi et l’observation au service de l’évaluation Facteur A Réalisation 1 Effet B Effets X Effet A Réalisation 2 Facteur B

Au final, des indicateurs de contexte, de suivi et d’observation Passer d’une situation / problème diagnostiquée (observation) à des instruments de mesure complémentaires (réalisation, résultats, impact, contexte) Éléments de diagnostic Objectifs finaux = enjeux Impacts attendus Des bâtiments énergivores 1. Réduire les consommations énergétiques X% de réduction des consommations sur le territoire dans X années Objectifs opérationnels Actions correspondantes = réalisations Résultats attendus 1.1 mettre en place un plan de rénovation des bâtiments Rénovation thermique des bâtiments X% de diminution des consommations dans les X ans 1.2 améliorer l’usage des bâtiments Gestion séparative des consommations d’électricité Gestion des activités X% de diminution des consommations des bâtiments

En résumé : les indicateurs Ex. sur l’objectif final « Réduire les consommations énergétiques » Objectifs opérationnels Indicateurs de réalisation Indicateurs de résultat Indicateurs d’impact Indicateurs de contexte 1.1 mettre en place un plan de rénovation des bâtiments Nombre bâtiments rénovés thermiquement Consommation énergétique des bâtiments Consommation énergétique du territoire Emission de CO2 du territoire Consommation d’électricité du territoire 1.2 améliorer l’usage des bâtiments Nombre de bâtiments en gestion séparative de l’électricité Consommation d’électricité des bâtiments Consommation d’électricité de la collectivité

489

279

407

569

474

Les modalités d’un suivi en continu Les informations à collecter sont de plusieurs types : Le suivi des réalisations : il concerne les actions elles-mêmes, les dates de mise en œuvre, leurs coûts,… les maîtres d’œuvre des actions ont la charge de réaliser le suivi de l’action et de transmettre les informations au chef de projet, qui lui même en fait la synthèse réalisé en temps réel : fiches de suivi des actions renseignées par les maîtres d’œuvre des actions Les indicateurs de résultats : les techniciens des maitres d’œuvre s’assurent de leur renseignement Les données sont fournies par les maitres d’œuvre des actions selon les indicateurs arrêtés et validés 3.

2 1 4 3 Les parties prenantes et leur place dans l’observation, le suivi et l’évaluation 3

Destinataires directs et indirects Les parties prenantes de la politique, acteurs de l’évaluation Acteurs de la mise en œuvre (Opérateurs) Autorités publiques (Décideurs) Suivi Evaluation Observation Evaluation Suivi Financeurs Décideurs Élus Gestionnaires Opérateurs Evaluation Introduire le Comité de pilotage ? Destinataires directs et indirects Publics concernés

Le quizz d’évaluation des résultats de la conférence… 1. Vous menez une politique de consommation responsable, pour savoir si elle est efficace, vous mesurez en priorité ? a. Le volume de déchets moyen par habitant b. Le chiffre d’affaires généré par les achats alimentaires locaux pour la restauration collective c. Les consommations énergétiques résidentielles 2. Vous souhaitez évaluer les effets de votre PCET, quelles données vous permettent de le faire ? a. Les consommations énergétiques des bâtiments qui ont bénéficié d’aide à la rénovation thermique b. Les émissions de GES de votre territoire c. Les économies générées par les rénovations thermiques rapportées aux consommations antérieures

Merci pour votre attention