La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Cycle de qualification des agents de développement en vue de la préparation de la 3ème génération de contrats territoriaux Module 5 Suivi – Evaluation.

Présentations similaires


Présentation au sujet: "Cycle de qualification des agents de développement en vue de la préparation de la 3ème génération de contrats territoriaux Module 5 Suivi – Evaluation."— Transcription de la présentation:

1 Cycle de qualification des agents de développement en vue de la préparation de la 3ème génération de contrats territoriaux Module 5 Suivi – Evaluation et démarche damélioration continue Région Centre - Juin 2008 Jean-François Henric / Sandrine Maillet

2 Module 5 : Suivi – Evaluation et démarche damélioration continue Système de suivi évaluation / démarche damélioration continue Quest-ce quun indicateur ? Comment choisir un indicateur ? Référentiel dindicateurs DD Méthodes et outils danalyse Exercices pratiques Questions-réponses Évaluation de la journée et de la formation matin après- midi

3 Système de suivi évaluation et amélioration continue

4 En fonction du moment où elles interviennent, on peut distinguer trois grands types d'évaluation des politiques publiques : - l'évaluation ex-ante, c'est-à-dire l'étude prospective de la faisabilité et de l'impact d'une mesure projetée ou en préparation ; - l'évaluation ex-post qui vise à apprécier les résultats des actions après coup au regard des objectifs, permette de tirer les enseignements rétrospectifs sur une politique parvenue à maturité ; - l'évaluation in itinere ou chemin faisant. Ex-anteIn-itinereEx-post Différents temps de lévaluation Définition dune politique publique Mise en œuvre dune politique publique Clôture et préparation dune nouvelle politique publique

5 Différents « lieux » du suivi- évaluation Le territoire Un diagnostic stratégique Une ambition Un PROJET Une CHARTE Un PROGRAMME Analyse doc. Entretiens Animations collectives Bilan, évaluation Animation locale Négociation Sélectivité Hiérarchisation Transversalité Identification denjeux Définition dun objectif partagé Des grandes ambitions une stratégie Des moyens Une organisation Traduction opérationnelle Sélectivité Hiérarchisation Phasage Analyse stat et cartographique validation Réorientations Un CONTRAT Sélection Négociation Engagements réciproques Partenaires Enjeux régionaux, départementau x Evaluation, réorientations

6 Donnée = occurrence chiffrée dune variable Indicateur = variable quali ou quanti, permettant seule ou avec dautres lappréciation à partir dune échelle de valeurs normative et/ou comparative dun phénomène mesurable ou non Ex : population, etc… Quest-ce quun indicateur ?

7 Un indicateur cest: Un outil de description du réel Un outil de comparaison Un outil de communication Un support à la décision Quest-ce quun indicateur ?

8 9 caractéristiques pour les indicateurs : 1.Ils sont utilisés pour traiter dune question ou dun phénomène On devrait parler dindicateur de quelque chose 2.Ce sont des variables 3.Ils doivent se situer dans un système de référence Repère, étalonnage, échelles… 4.Ils sont liés aux notions daction et dobjectif 5.Un indicateur est lié à une échelle temporelle dévolution du phénomène observé Quest-ce quun indicateur ?

9 9 caractéristiques pour les indicateurs : 6. Ils visent à donner une représentation la plus proche dune réalité complexe Réduire lincertitude 7. La multiplication des indicateurs est nécessaire pour cerner un phénomène complexe Convergence, faisceau de présomption 8. Ils doivent être documentés 9. Ils doivent permettre de communiquer

10 « Observer ou suivre » un territoire? Observatoire de territoire Lieu de fourniture de données, dinformations Lieu où on essaie de répondre à des questions Lieu où on essaie de mesurer latteinte dobjectifs Statistiques Données Cartes Etc. Indicateurs quanti et quali Indicateurs de résultat Indicateurs dimpact

11 Evaluation à différents niveaux à différents temps PLAN DACTION AGENDA 21 EVALUATION PAR ACTION EVALUATION GLOBALE Action 1 Action 2 Action 3 Contenu de laction Indicateurs spécifiques Indicateurs globaux Territoire Enquêtes Daprès RCT A21 St Etienne Métropole Indicateurs de résultats Indicateurs dimpacts Tableau de bord / Observatoire

12 Exemples dindicateurs Indicateurs de résultats Nombre de kilomètre de pistes cyclables Nombre de points dapports volontaires / habitant Consommations énergétiques liées à léclairage public Nombre de nouvelles places daccueil petite enfance Indicateurs dimpact Emissions annuelles de CO2 en tonnes par habitant sur le territoire Qualité globale des cours deau / points de surveillance Nombre de personnes souffrant de pathologies liées à la qualité de lair Proportion de personnes vivant en deçà du seuil de pauvreté

13 Comment choisir les indicateurs? Que veut-on observer ? Bien circonscrire la question qui se pose Identifier et décrire les problématiques Préciser éventuellement les angles de lanalyse

14 Comment choisir les indicateurs? Lister les objets de lobservation Ex: a-t-on aisément accès aux soins sur un territoire Objets : les « stocks » (« loffre ») et les flux (« fréquentation ») Indicateurs calculés : nombre, diversité, proximité physique, accessibilité horaire…

15 Comment choisir les indicateurs? Décrire les indicateurs Lister le possible Justifier le choix (apports à la question posée, lien avec dautres indicateurs…) Vérifier lapplicabilité (accessibilité des données, coût…) Assurer la reproductibilité (sources et données nécessaires, mode de calcul…) Préciser les modalités dutilisation (échelles spatiales et temporelles, exploitations possibles, limites et précaution dutilisation…) Garantir la lisibilité Hiérarchiser et partager

16 Quel référentiel pour choisir des indicateurs ? Indicateurs de développement durable urbain – ARPE Référentiel dévaluation et de suivi des politiques environnementales des collectivités territoriales – RESPECT Benchmarking : évaluation dans le cadre dagendas 21 : CG Nord Pas de Calais, CG Drôme, CG Essonne, Communauté urbaine de Dunkerque, Communauté urbaine de Lyon, ville dEchirolles, ville de Marseille, ville de Toulouse, etc… Etat de lart actuellement réalisé par le MEEDDAT sur la pratique de lévaluation des projets territoriaux de développement durable 45 indicateurs du développement durable, une contribution de lIFEN (2003)

17 Indicateurs de développement durable urbain - ARPE 27 indicateurs Échelle communale Sur les 4 dimensions du DD + interface Lisibilité / facilité de recueil de données et de mise à jour Fiche de description des indicateurs (Définition / Limites dutilisation / Aide à linterprétation / Références de lindicateurs/A21 / Données mises en œuvre / Année / Organismes producteurs / Calcul / Unité / Fiabilité / Fréquence de production minimale …)

18 Exemples dindicateurs de développement durable urbain - ARPE RESPECT DES EQUILIBRES ECOLOGIQUES Espaces verts boisements et zones nat. : Offre en espace verts entretenus par habitants Protection des ressources en eau douce et de leur qualité : Prix de l'eau : écart au prix moyen national Qualité de l'eau produite : pourcentage de non-conformité des analyses microbiologiques. Déchets : Taux de détournement pour valorisation RESPECT DES EQUILIBRES ECOLOGIQUES <> DEVELOPPEMENTSOCIAL Qualité de l'air et bruit Emission de gaz responsables de la pollution atmosphérique (rejet Nox en kg/ha) Proportion des déplacements domicile-travail réalisés en transport en commun Agriculture périurbaine : Proportion des exploitations signataires d'une démarche labellisée Risques majeurs : Niveau d'exposition aux risques naturels et industriels RESPECT DES EQUILIBRES ECOLOGIQUES <> DEVELOPPEMENT SOCIAL Urbanisation : Indice de consommation d'espace – évolution sur les 5 dernières années

19 Exemples dindicateurs de développement durable urbain - ARPE DEVELOPPEMENT ECONOMIQUE <> ENVIRONNEMENT Certification : Part des salariés d'établissements privés certifiés ISO DEVELOPPEMENT ECONOMIQUE Diversification de l'activité : nombre d'établissements privés pour 1000 habitants Emploi : Evolution du nombre d'emplois DEVELOPPEMENT SOCIAL <> ACTION ECONOMIQUE précarité et exclusion : Part de la population vivant en-deçà du seuil de pauvreté DEVELOPPEMENT SOCIAL Démographie : Taux d'accroissement de la population Logement social : Proportion des logements locatifs sociaux Santé : temps d'accès au services d'urgence minutes Education,formation : Proportion des 15 ans et plus non-titulaire d'un diplôme qualifiant Patrimoine, culture, sport et loisirs Nombre de livres empruntés dans les bibliothèques Nombre de monuments inscrits et classés

20 Exemples dindicateurs de développement durable urbain - ARPE DEVELOPPEMENT SOCIAL (suite) Sécurité des biens et des personnes : Taux de criminalité Intégration des femmes : Taux de chômage féminin: écart au taux moyen national GOUVERNANCE Finances et marge de manœuvre : Taux d'imposition: écart à la moyenne nationale Stratégies de développement durable signature de la charte d'Aalborg oui/non Citoyenneté et démocratie Niveau dimplication des citoyens dans la décision Taux d'abstention aux élections municipales et régionales

21 Référentiel RESPECT La méthode RESPECT sadresse à une collectivité Qui a une politique environnementale et qui souhaite lévaluer Qui na pas de politique environnementale mais qui souhaite en définir une Qui veut suivre ponctuellement des actions environnementales

22 Référentiel RESPECT de 1997 à 2000, 30 collectivités européennes dont le CR de Poitou-Charetnes, les CG de Côtes dArmor et Gironde, communautés urbaines de Lille et de Lyon, les villes dAix en Provence, dArras, de Boulogne-Billancourt, Chalon-sur-Saône, de Douai, de Grenoble, de Marseille, de Niort, dOrléans, de Toulouse Validation de la méthode, test et vérification des indicateurs environnementaux et de leur transférabilité Indicateurs environnementaux sous forme de tableau de bord environnemental (TBE)

23 Méthode Respect Appropriation et adaptation du tableau de bord environnemental Réalisation de létat des lieux Fiche indicateur Détermination des objectifs de la collectivité Fiche évaluation Programmation des actions Note globale environnementale des indicateurs Evaluation de la politique environnementale Fiche synthèse thématique Nouvelle programmation des objectifs et des actions de la collectivité

24 Méthode RESPECT (suite) Appropriation et adaptation du tableau de bord environnemental Choix des thèmes à suivre par la collectivité Choix des indicateurs à suivre par la collectivité en fonction des compétences ou des choix de politique environnementale Ajout dindicateurs adaptés à la collectivité

25 Indicateurs Respect Critères (nature de lindicateur) : Pression : Indicateur rendant compte des pressions exercées par les activités humaines sur lenvironnement Etat : Indicateur rendant compte de la modification de la qualité ou de la quantité des ressources Réponse : Indicateur rendant compte de la réponse que la société apporte pour limiter les conséquences de ces pressions sur létat de lenvironnement Objectifs Indicateurs

26 Pression / Etat / Réponse ACTEURS PRESSION ETAT IMPACT REPONSES

27 Exemples Critère : Pression Objectif : Connaître la consommation pour économiser la ressource en eau Volume total facturé par an par habitant Critère : Etat Objectif : Sassurer de la qualité des cours deau pour satisfaire les différents usages Qualité globale des cours deau et des lacs en fonction des points de surveillance et selon les classes de qualité de la directive « eau potable » Critère : Réponse Objectif : Limiter la pollution par les rejets deaux usées Rendement global de dépollution du système dassainissement collectif

28 Méthode RESPECT (suite) Réalisation de létat des lieux Détermination des valeurs initiales des indicateurs (fiche indicateur) Détermination des objectifs de la collectivité Elaboration des objectifs opérationnels chiffrés pour chaque indicateur (fiche évaluation) Programmation des actions Choisir des indicateurs prioritaires à partir dune note globale environnementale attribuée à chaque indicateur : Une fois le tableau de bord rempli et les objectifs opérationnels fixés, choisir des indicateurs sur lesquels il faut agir de manière prioritaire Choisir les solutions les plus efficaces

29 Choix des indicateurs prioritaires : note globale environnementale prioritaire Méthode : analyse multicritère et notation multicritère de chaque indicateur Critères environnementaux (possibilité dajouter des critères politiques / sociaux / économiques pour pondérer la proposition) Chaque critère est noté de 1 à 3 pour un indicateur donné. Le critère peut être noté pour lensemble dun thème (selon le cas) Multiplier chaque note obtenu par critère pour chaque indicateur Résultat : note très forte : indicateur prioritaire / note très faible : indicateur peu prioritaire

30 Choix des indicateurs prioritaires : note globale environnementale prioritaire Critères environnementaux : Le milieu auquel correspond le thème est il de mauvaise (3) ou de bonne qualité (1) ? Le milieu auquel correspond le thème se dégrade-t-il (3) ou saméliore-t-il (1) ? La ressource à laquelle correspond le thème sépuise-t-elle (3) ou est-elle encore très importante (1) ? Leffet sur la santé humaine est-il jugé important (3) ou faible ou inexistant (1) ? Leffet plus global sur les autres territoires ou les générations futures de lévolution négative dun indicateur est-il jugé important (3) ou faible (1) ? La valeur réglementaire est-elle atteinte ? Non (3) / Oui (1) Autres critères possibles : La perception des habitants en fait-il un thème prioritaire (3) ou non (1) ? Le thème fait-il de partie des priorités politiques fortes (3) ou moins fortes (1) Lactivité de la collectivité lui permet-elle de mettre en place des actions à forte valeur dexemple (3) ou non (1) ?

31 Evaluation de la politique environnementale Actualisation des indicateurs (selon la période déterminée) Évaluation de lindicateur avec une analyse entre les objectifs fixés et les résultats atteints Evaluation de lindicateur permettant une analyse globale des indicateurs dun même thème (fiche synthèse thématique) Nouvelle programmation des objectifs et des actions de la collectivité Méthode RESPECT (suite)

32 Intérêt méthode RESPECT Batterie dindicateurs environnementaux adaptés à différents échelons territoriaux Permet de sinterroger sur lobjectif et lobjectif opérationnel Permet de sinscrire dans une véritable démarche damélioration continue

33 Lanalyse au regard du développement durable

34 Système dEvaluation Analyse Critères Questionnements OQADD Suivi- Evaluation Quantitative Qualitative Indicateurs Tableau de bord Enquêtes

35 Application des méthodes et outils danalyse Méthode Outils : OAQDD ou grilles danalyse Territoire Politiques, projets, actions

36 Intérêt des méthodes et des outils danalyse Appropriation du développement durable Animation de la transversalité Démarche damélioration continue Aide à la décision en vue dimpacter réellement les projets et permettre lémergence de solutions alternatives

37 Les OQADD Terme introduit par A. Boutaud : Outil de Questionnement et dAnalyse en matière de Développement Durable Méthode délaboration et mode dutilisation des OQADD

38 Loutil danalyse Le contenu : le questionnement : Environnement Social – culture – santé Économie (tissu économique, rentabilité, emplois) Thèmes transverses, champs croisés (transversalité, internalisation, etc..) Gouvernance (information, concertation, participation) Principes de développement durable (précaution, long terme, global-local) Autres (aménagement, urbanisme, transport, autres…)

39 Loutil danalyse Le questionnement Mots clés, Questions, Mots clés et questions Questionnement simple sans être « simpliste » Importance de lexplicitation des termes employés (glossaire, livret daccompagnement…) Un nombre de critères suffisant mais limité

40 Loutil danalyse Le système de notation Que note-t-on ? : le niveau dobjectif (ou denjeux) ? le niveau de prise en compte du critère ? le niveau dimpact ? La capacité damélioration ? Lamplitude de la notation Lexplicitation de la notation Lagrégation

41 Loutil danalyse à vocation pédagogique : un outil convivial et communicant Explicitation du mode dutilisation, des termes (livret daccompagnement) Rendu graphique Code couleur Supports : Plaquette de communication…

42 Graphe type radar Environnement Gouvernance Social Économie Équité Précaution Viabilité Participation Approche intégrée = 4 Approche fractionnée = 3 Approche ponctuelle = 2 Déclaration dintention = 1 Sujet non traité = 0

43 Les schémas de performances Gouvernance Développement économique pluriel Environnement Cohésion Sociale Profil maximum Profil à 3 ans Profil actuel Zone dalerte Source : communauté urbaine de Dunkerque

44 1.1 – Diminuer les nuisances et les pollutions Prise en compte du critère Non pris en compte Un peu pris en compte Bien pris en compte Les impacts du projet par rapport au critère Impact négatif Non significatif Impact positif Impact positif fort Le niveau damélioration possible (faisable) de prise en compte du critère Nul Insignifiant Moyen Bon NSP LOQADD VILLE DE MARSEILLE LOQADD VILLE DE MARSEILLE Présentation : Présentation dun critère Source : ville de Marseille

45 Représentation graphique de lanalyse du projet par la grille Impact positif fort Impact positif Non significatif Impact négatif Les impacts Bon niveau Moyen Insignifiant Nul ENVIRONNEMENT PLANIFICATION LIEN SOCIALCONDITIONS DE VIE GOUVERNANCE VIABILITE ECONOMIQUE PRINCIPES ET DEMARCHES POUR UNE DURABILITE Les améliorations ENVIRONNEMENT PLANIFICATION LIEN SOCIALCONDITIONS DE VIE GOUVERNANCE VIABILITE ECONOMIQUE PRINCIPES ET DEMARCHES POUR UNE DURABILITE Source : ville de Marseille

46 Un exemple dutilisation de la grille au Val dOrge Pr é servation des ressources et protection de l environnement Sans objetNul Fort 1. Eau 2. Nature (faune, flore, biodiversit é ) 3. Nuisances sonores 4. D é chets 5. Sols, sous-sols 6. Air, é nergie, effet de serre 7. Risques naturels et technologiques Dynamique é conomique 8. Soutien aux activit é s existantes (tissu urb. & ZA) 9. Diversification des activit é s 10. Prise en compte de l env. par entreprises 11. Soutien à l é conomie sociale et solidaire

47 Mode délaboration de loutil danalyse Elaboration participative et transversale : méthode danalyse / validation des marges de progrès doutils danalyse Sensibilisation / formation préalable Communication /sensibilisation sur la réflexion Outil évolutif

48 Modalité dutilisation de loutil danalyse Tester la grille sur quelques projets dans les conditions réelles dutilisation Identifier les personnes chargées de lanalyse du projet : des personnes impliquées directement dans le projet et des personnes non impliquées initialement Travail en amont avec le ou les porteurs du projet Groupe de travail transversal Validation Etude de faisabilité, mise en œuvre

49 Conclusion : les conditions de réussite Participation Définir une méthode en amont et la planifier Préciser les objectifs de lanalyse Méthode et Outils débattus et appropriés


Télécharger ppt "Cycle de qualification des agents de développement en vue de la préparation de la 3ème génération de contrats territoriaux Module 5 Suivi – Evaluation."

Présentations similaires


Annonces Google