Cycle de qualification des agents de développement en vue de la préparation de la 3ème génération de contrats territoriaux Module 5 Suivi – Evaluation et démarche d’amélioration continue Région Centre - Juin 2008 Jean-François Henric / Sandrine Maillet

Module 5 : Suivi – Evaluation et démarche d’amélioration continue Système de suivi évaluation / démarche d’amélioration continue Qu’est-ce qu’un indicateur ? Comment choisir un indicateur ? Référentiel d’indicateurs DD Méthodes et outils d’analyse matin après- midi Exercices pratiques Questions-réponses Évaluation de la journée et de la formation

Système de suivi évaluation et amélioration continue

Différents temps de l’évaluation En fonction du moment où elles interviennent, on peut distinguer trois grands types d'évaluation des politiques publiques : l'évaluation ex-ante, c'est-à-dire l'étude prospective de la faisabilité et de l'impact d'une mesure projetée ou en préparation ; l'évaluation ex-post qui vise à apprécier les résultats des actions après coup au regard des objectifs, permette de tirer les enseignements rétrospectifs sur une politique parvenue à maturité ; l'évaluation in itinere ou chemin faisant. Clôture et préparation d’une nouvelle politique publique Définition d’une politique publique Mise en œuvre d’une politique publique Ex-ante In-itinere Ex-post

Différents « lieux » du suivi-évaluation Partenaires Le territoire Sélectivité Enjeux régionaux, départementaux Analyse doc. Hiérarchisation Transversalité Un diagnostic stratégique Identification d’enjeux Entretiens validation Analyse stat et cartographique Une ambition Réorientations Un PROJET Animations collectives Définition d’un objectif Bilan, évaluation Un CONTRAT partagé validation Sélection Négociation Engagements réciproques Un PROGRAMME Une CHARTE Evaluation, réorientations Traduction validation opérationnelle Des grandes ambitions Sélectivité une stratégie Hiérarchisation Animation locale Des moyens Phasage Négociation Une organisation Evaluation, réorientations

Qu’est-ce qu’un indicateur ? Donnée = occurrence chiffrée d’une variable Ex : population, etc… Indicateur = variable quali ou quanti, permettant seule ou avec d’autres l’appréciation à partir d’une échelle de valeurs normative et/ou comparative d’un phénomène mesurable ou non

Qu’est-ce qu’un indicateur ? Un indicateur c’est: Un outil de description du réel Un outil de comparaison Un outil de communication Un support à la décision

Qu’est-ce qu’un indicateur ? 9 caractéristiques pour les indicateurs : Ils sont utilisés pour traiter d’une question ou d’un phénomène On devrait parler d’indicateur de quelque chose Ce sont des variables Ils doivent se situer dans un système de référence Repère, étalonnage, échelles… Ils sont liés aux notions d’action et d’objectif Un indicateur est lié à une échelle temporelle d’évolution du phénomène observé

9 caractéristiques pour les indicateurs : 6. Ils visent à donner une représentation la plus proche d’une réalité complexe Réduire l’incertitude 7. La multiplication des indicateurs est nécessaire pour cerner un phénomène complexe Convergence, faisceau de présomption 8. Ils doivent être documentés 9. Ils doivent permettre de communiquer

« Observer ou suivre » un territoire? Observatoire de territoire Lieu où on essaie de mesurer l’atteinte d’objectifs Lieu de fourniture de données, d’informations Lieu où on essaie de répondre à des questions Indicateurs quanti et quali Statistiques Données Cartes Etc. Indicateurs quanti et quali Indicateurs de résultat Indicateurs d’impact

Evaluation à différents niveaux à différents temps Action 1 Action 2 Action 3 PLAN D’ACTION AGENDA 21 Contenu de l’action Indicateurs de résultats EVALUATION PAR ACTION Indicateurs spécifiques Territoire EVALUATION GLOBALE Indicateurs globaux Indicateurs d’impacts Tableau de bord / Observatoire ► Enquêtes D’après RCT A21 St Etienne Métropole

Exemples d’indicateurs Indicateurs de résultats Nombre de kilomètre de pistes cyclables Nombre de points d’apports volontaires / habitant Consommations énergétiques liées à l’éclairage public Nombre de nouvelles places d’accueil petite enfance Indicateurs d’impact Emissions annuelles de CO2 en tonnes par habitant sur le territoire Qualité globale des cours d’eau / points de surveillance Nombre de personnes souffrant de pathologies liées à la qualité de l’air Proportion de personnes vivant en deçà du seuil de pauvreté

Comment choisir les indicateurs? Que veut-on observer ? Bien circonscrire la question qui se pose Identifier et décrire les problématiques Préciser éventuellement les angles de l’analyse

Comment choisir les indicateurs? Lister les objets de l’observation Ex: a-t-on aisément accès aux soins sur un territoire Objets : les « stocks » (« l’offre ») et les flux (« fréquentation ») Indicateurs calculés : nombre, diversité, proximité physique, accessibilité horaire…

Comment choisir les indicateurs? Décrire les indicateurs Lister le possible Justifier le choix (apports à la question posée, lien avec d’autres indicateurs…) Vérifier l’applicabilité (accessibilité des données, coût…) Assurer la reproductibilité (sources et données nécessaires, mode de calcul…) Préciser les modalités d’utilisation (échelles spatiales et temporelles, exploitations possibles, limites et précaution d’utilisation…) Garantir la lisibilité Hiérarchiser et partager

Quel référentiel pour choisir des indicateurs ? Indicateurs de développement durable urbain – ARPE Référentiel d’évaluation et de suivi des politiques environnementales des collectivités territoriales – RESPECT Benchmarking : évaluation dans le cadre d’agendas 21 : CG Nord Pas de Calais, CG Drôme, CG Essonne, Communauté urbaine de Dunkerque, Communauté urbaine de Lyon, ville d’Echirolles, ville de Marseille, ville de Toulouse, etc… Etat de l’art actuellement réalisé par le MEEDDAT sur la pratique de l’évaluation des projets territoriaux de développement durable 45 indicateurs du développement durable, une contribution de l’IFEN (2003)

Indicateurs de développement durable urbain - ARPE Échelle communale Sur les 4 dimensions du DD + interface Lisibilité / facilité de recueil de données et de mise à jour Fiche de description des indicateurs (Définition / Limites d’utilisation / Aide à l’interprétation / Références de l’indicateurs/A21 / Données mises en œuvre / Année / Organismes producteurs / Calcul / Unité / Fiabilité / Fréquence de production minimale …)

Exemples d’indicateurs de développement durable urbain - ARPE RESPECT DES EQUILIBRES ECOLOGIQUES Espaces verts boisements et zones nat. : Offre en espace verts entretenus par habitants Protection des ressources en eau douce et de leur qualité : Prix de l'eau : écart au prix moyen national Qualité de l'eau produite : pourcentage de non-conformité des analyses microbiologiques. Déchets : Taux de détournement pour valorisation RESPECT DES EQUILIBRES ECOLOGIQUES <> DEVELOPPEMENTSOCIAL Qualité de l'air et bruit Emission de gaz responsables de la pollution atmosphérique (rejet Nox en kg/ha) Proportion des déplacements domicile-travail réalisés en transport en commun Agriculture périurbaine : Proportion des exploitations signataires d'une démarche labellisée Risques majeurs : Niveau d'exposition aux risques naturels et industriels RESPECT DES EQUILIBRES ECOLOGIQUES <> DEVELOPPEMENT SOCIAL Urbanisation : Indice de consommation d'espace – évolution sur les 5 dernières années

Exemples d’indicateurs de développement durable urbain - ARPE DEVELOPPEMENT ECONOMIQUE <> ENVIRONNEMENT Certification : Part des salariés d'établissements privés certifiés ISO 14001 DEVELOPPEMENT ECONOMIQUE Diversification de l'activité : nombre d'établissements privés pour 1000 habitants Emploi : Evolution du nombre d'emplois DEVELOPPEMENT SOCIAL <> ACTION ECONOMIQUE précarité et exclusion : Part de la population vivant en-deçà du seuil de pauvreté DEVELOPPEMENT SOCIAL Démographie : Taux d'accroissement de la population Logement social : Proportion des logements locatifs sociaux Santé : temps d'accès au services d'urgence minutes Education,formation : Proportion des 15 ans et plus non-titulaire d'un diplôme qualifiant Patrimoine, culture, sport et loisirs Nombre de livres empruntés dans les bibliothèques Nombre de monuments inscrits et classés

Exemples d’indicateurs de développement durable urbain - ARPE DEVELOPPEMENT SOCIAL (suite) Sécurité des biens et des personnes : Taux de criminalité Intégration des femmes : Taux de chômage féminin: écart au taux moyen national GOUVERNANCE Finances et marge de manœuvre : Taux d'imposition: écart à la moyenne nationale Stratégies de développement durable signature de la charte d'Aalborg oui/non Citoyenneté et démocratie Niveau d’implication des citoyens dans la décision Taux d'abstention aux élections municipales et régionales

Référentiel RESPECT La méthode RESPECT s’adresse à une collectivité Qui a une politique environnementale et qui souhaite l’évaluer Qui n’a pas de politique environnementale mais qui souhaite en définir une Qui veut suivre ponctuellement des actions environnementales

Référentiel RESPECT de 1997 à 2000, 30 collectivités européennes dont le CR de Poitou-Charetnes, les CG de Côtes d’Armor et Gironde, communautés urbaines de Lille et de Lyon, les villes d’Aix en Provence, d’Arras, de Boulogne-Billancourt, Chalon-sur-Saône, de Douai, de Grenoble, de Marseille, de Niort, d’Orléans, de Toulouse Validation de la méthode, test et vérification des indicateurs environnementaux et de leur transférabilité Indicateurs environnementaux sous forme de tableau de bord environnemental (TBE)

Méthode Respect Appropriation et adaptation du tableau de bord environnemental Réalisation de l’état des lieux  Fiche indicateur Détermination des objectifs de la collectivité  Fiche évaluation Programmation des actions  Note globale environnementale des indicateurs Evaluation de la politique environnementale  Fiche synthèse thématique Nouvelle programmation des objectifs et des actions de la collectivité

Méthode RESPECT (suite) Appropriation et adaptation du tableau de bord environnemental Choix des thèmes à suivre par la collectivité Choix des indicateurs à suivre par la collectivité en fonction des compétences ou des choix de politique environnementale Ajout d’indicateurs adaptés à la collectivité

Indicateurs Respect Critères (nature de l’indicateur) : Objectifs Pression : Indicateur rendant compte des pressions exercées par les activités humaines sur l’environnement Etat : Indicateur rendant compte de la modification de la qualité ou de la quantité des ressources Réponse : Indicateur rendant compte de la réponse que la société apporte pour limiter les conséquences de ces pressions sur l’état de l’environnement Objectifs Indicateurs

Pression / Etat / Réponse ACTEURS PRESSION ETAT IMPACT REPONSES

Exemples Critère : Pression Critère : Etat Critère : Réponse Objectif : Connaître la consommation pour économiser la ressource en eau Volume total facturé par an par habitant Critère : Etat Objectif : S’assurer de la qualité des cours d’eau pour satisfaire les différents usages Qualité globale des cours d’eau et des lacs en fonction des points de surveillance et selon les classes de qualité de la directive « eau potable » Critère : Réponse Objectif : Limiter la pollution par les rejets d’eaux usées Rendement global de dépollution du système d’assainissement collectif

Méthode RESPECT (suite) Réalisation de l’état des lieux Détermination des valeurs initiales des indicateurs (fiche indicateur) Détermination des objectifs de la collectivité Elaboration des objectifs opérationnels chiffrés pour chaque indicateur (fiche évaluation) Programmation des actions Choisir des indicateurs prioritaires à partir d’une note globale environnementale attribuée à chaque indicateur :  Une fois le tableau de bord rempli et les objectifs opérationnels fixés, choisir des indicateurs sur lesquels il faut agir de manière prioritaire Choisir les solutions les plus efficaces

Choix des indicateurs prioritaires : note globale environnementale prioritaire Méthode : analyse multicritère et notation multicritère de chaque indicateur Critères environnementaux (possibilité d’ajouter des critères politiques / sociaux / économiques pour pondérer la proposition) Chaque critère est noté de 1 à 3 pour un indicateur donné. Le critère peut être noté pour l’ensemble d’un thème (selon le cas) Multiplier chaque note obtenu par critère pour chaque indicateur Résultat : note très forte : indicateur prioritaire / note très faible : indicateur peu prioritaire

Choix des indicateurs prioritaires : note globale environnementale prioritaire Critères environnementaux : Le milieu auquel correspond le thème est il de mauvaise (3) ou de bonne qualité (1) ? Le milieu auquel correspond le thème se dégrade-t-il (3) ou s’améliore-t-il (1) ? La ressource à laquelle correspond le thème s’épuise-t-elle (3) ou est-elle encore très importante (1) ? L’effet sur la santé humaine est-il jugé important (3) ou faible ou inexistant (1) ? L’effet plus global sur les autres territoires ou les générations futures de l’évolution négative d’un indicateur est-il jugé important (3) ou faible (1) ? La valeur réglementaire est-elle atteinte ? Non (3) / Oui (1) Autres critères possibles : La perception des habitants en fait-il un thème prioritaire (3) ou non (1) ? Le thème fait-il de partie des priorités politiques fortes (3) ou moins fortes (1) L’activité de la collectivité lui permet-elle de mettre en place des actions à forte valeur d’exemple (3) ou non (1) ?

Méthode RESPECT (suite) Evaluation de la politique environnementale Actualisation des indicateurs (selon la période déterminée) Évaluation de l’indicateur avec une analyse entre les objectifs fixés et les résultats atteints Evaluation de l’indicateur permettant une analyse globale des indicateurs d’un même thème (fiche synthèse thématique) Nouvelle programmation des objectifs et des actions de la collectivité

Intérêt méthode RESPECT Batterie d’indicateurs environnementaux adaptés à différents échelons territoriaux Permet de s’interroger sur l’objectif et l’objectif opérationnel Permet de s’inscrire dans une véritable démarche d’amélioration continue

L’analyse au regard du développement durable

Système d’Evaluation Suivi- Evaluation Analyse Critères Questionnements OQADD Suivi- Evaluation Quantitative Qualitative Indicateurs Tableau de bord Enquêtes

Application des méthodes et outils d’analyse Territoire Politiques, projets, actions Outils : OAQDD ou grilles d’analyse

Intérêt des méthodes et des outils d’analyse Appropriation du développement durable Animation de la transversalité Démarche d’amélioration continue Aide à la décision en vue d’impacter réellement les projets et permettre l’émergence de solutions alternatives

Les OQADD Terme introduit par A. Boutaud : Outil de Questionnement et d’Analyse en matière de Développement Durable Méthode d’élaboration et mode d’utilisation des OQADD

L’outil d’analyse Le contenu : le questionnement : Environnement Social – culture – santé Économie (tissu économique, rentabilité, emplois) Thèmes transverses, champs croisés (transversalité, internalisation, etc..) Gouvernance (information, concertation, participation) Principes de développement durable (précaution, long terme, global-local) Autres (aménagement, urbanisme, transport, autres…)

L’outil d’analyse Le questionnement Mots clés, Questions, Mots clés et questions Questionnement simple sans être « simpliste » Un nombre de critères suffisant mais limité Importance de l’explicitation des termes employés (glossaire, livret d’accompagnement…)

L’outil d’analyse Le système de notation Que note-t-on ? : le niveau d’objectif (ou d’enjeux) ? le niveau de prise en compte du critère ? le niveau d’impact ? La capacité d’amélioration ? L’amplitude de la notation L’explicitation de la notation L’agrégation

L’outil d’analyse à vocation pédagogique : un outil convivial et communicant Explicitation du mode d’utilisation, des termes (livret d’accompagnement) Rendu graphique Code couleur Supports : Plaquette de communication…

Graphe type radar Social Équité Approche intégrée = 4 Approche fractionnée = 3 Approche ponctuelle = 2 Déclaration d’intention = 1 Sujet non traité = 0 Participation Économie Gouvernance Viabilité Précaution Environnement

Les schémas de performances Environnement Cohésion Sociale Zone d’alerte Développement économique pluriel Gouvernance Profil maximum Profil à 3 ans Profil actuel Source : communauté urbaine de Dunkerque

1.1 – Diminuer les nuisances et les pollutions L’OQADD VILLE DE MARSEILLE Présentation : Présentation d’un critère 1.1 – Diminuer les nuisances et les pollutions Prise en compte du critère Non pris en compte Un peu pris en compte Bien pris en compte Les impacts du projet par rapport au critère Impact négatif Non significatif Impact positif Impact positif fort Le niveau d’amélioration possible (faisable) de prise en compte du critère Nul Insignifiant Moyen Bon NSP Source : ville de Marseille

Représentation graphique de l’analyse du projet par la grille ENVIRONNEMENT PLANIFICATION ENVIRONNEMENT PLANIFICATION 6 4 3 5 2 1 6 4 3 5 2 1 CONDITIONS DE VIE LIEN SOCIAL CONDITIONS DE VIE LIEN SOCIAL 5 6 4 6 3 5 2 4 1 2 1 3 1 3 5 2 4 3 4 1 2 5 5 2 4 3 1 6 6 VIABILITE ECONOMIQUE VIABILITE ECONOMIQUE GOUVERNANCE GOUVERNANCE 6 PRINCIPES ET DEMARCHES POUR UNE DURABILITE PRINCIPES ET DEMARCHES POUR UNE DURABILITE Les impacts Les améliorations Source : ville de Marseille Impact positif fort Impact positif Non significatif Impact négatif Bon niveau Moyen Insignifiant Nul

Un exemple d’utilisation de la grille au Val d’Orge Préservation des ressources et protection de l’environnement Sans objet Nul Fort 1.          Eau  2.          Nature (faune, flore, biodiversité)  3.          Nuisances sonores  4.          Déchets  5.          Sols, sous-sols 6.          Air, énergie, effet de serre  7.    Risques naturels et technologiques Dynamique économique 8.          Soutien aux activités existantes (tissu urb. & ZA) 9.          Diversification des activités  10.   Prise en compte de l’env. par entreprises 11.        Soutien à l’économie sociale et solidaire 

Mode d’élaboration de l’outil d’analyse Elaboration participative et transversale : méthode d’analyse / validation des marges de progrès d’outils d’analyse Sensibilisation / formation préalable Communication /sensibilisation sur la réflexion Outil évolutif

Modalité d’utilisation de l’outil d’analyse Tester la grille sur quelques projets dans les conditions réelles d’utilisation Identifier les personnes chargées de l’analyse du projet : des personnes impliquées directement dans le projet et des personnes non impliquées initialement Travail en amont avec le ou les porteurs du projet Groupe de travail transversal Validation Etude de faisabilité, mise en œuvre

Conclusion : les conditions de réussite Participation Définir une méthode en amont et la planifier Préciser les objectifs de l’analyse Méthode et Outils débattus et appropriés