AgroParisTech-Cemagref-Enita-Inra Colloque : Le développement durable fédérateur d’une nouvelle ingénierie territoriale, Clermont-Ferrand, 24-25 septembre 2008 Quelques défis stratégiques pour l’évaluation des politiques de développement durable Berriet-Solliec Marielle (CESAER Dijon), Chabé-Ferret Sylvain (Cemagref UMR Métafort), Vollet Dominique (Cemagref UMR Métafort) UMR Métafort AgroParisTech-Cemagref-Enita-Inra

Introduction Des politiques de développement durable aux caractéristiques spécifiques ... ...d’où choix de ne pas faire un exposé exhaustif sur l'évaluation mais sur 2 aspects Repérage de « questions névralgiques » spécifiques à ce type d’évaluation Proposition d’outils opérationnels actuellement en cours de réflexion mais mobilisables dans le cadre d’évaluations

I. Les principaux problèmes posés par l’évaluation des politiques de développement durable L’identification des différents niveaux de finalités Ordre des priorités variable selon les zones, les intérêts et les représentations des acteurs (exemple : installation de nouveaux exploitants agricoles) Nécessité d’identifier les différents niveaux d’objectifs, leurs articulations

I. Les principaux problèmes posés par l’évaluation des politiques de développement durable L’articulation entre des finalités diverses 2 facteurs essentiels pouvant engendrer antagonisme entre finalités : processus de mise à l’agenda de la politique publique (exemple : CTE)‏ Nature des mécanismes économiques et sociaux sous- jacents au dispositif (exemples : qualité des produits, préservation de l’environnement et « vivabilité » des exploitations)‏ Difficulté d’apprécier les effets propres exacerbée dans ces questions de développement durable Délais de concrétisation des effets sur des pas de temps différents

I. Les principaux problèmes posés par l’évaluation des politiques de développement durable Intégration de la dimension territoriale dans l’évaluation 2 types d’effets dans mise en avant durabilité : Modifications possibles des espaces physiques, sociaux et économiques : enjeux d’une localisation optimale d’un service social (exemple : évaluation politique gérontologique) ou environnemental (exemple : MAE)‏ Changements dans les réseaux d’agents économiques : territoire = lieu de construction de ressources

II. Les outils mobilisables pour l’évaluation d’une politique de développement durable Difficultés spécifiques Démarche Principaux outils Limites Identification des différents niveaux de finalités Hiérarchisation des finalités - Graphe d’objectifs Logique floue Analyse multicritère Reformulation a posteriori : processus de décision négligé Articulation entre des finalités diverses Elaboration d’une grille d’analyse Etudes de cas ou "evidence based evaluation" Statistique multivariée SIG Difficulté de généralisation Prise en compte des effets territoriaux Outils de l’économie publique et de régionale Appréciation des "biais de sélection" A nalyses coûts bénéfices Difficulté d’appropriation des outils

Un exemple d’outil d’identification des différents niveaux de finalité : le graphe d’objectifs Mise en regard des objectifs et des résultats = phase préalable à toute évaluation Hiérarchisation sous forme de graphe d’objectifs : finalités, objectifs opérationnels et stratégiques, actions Double intérêt du graphe d’objectifs (voir exemples simplifiés de politiques de l’habitat de 2 EPCI): Mise en évidence complémentarités ou antagonismes entre mécanismes ou objectifs Base pour la conception du système d’indicateurs

Assurer un développement équilibré et durable en synergie avec Graphe d’objectifs simplifié pour la communauté de communes X Finalité Objectifs Actions stratégiques opérationnels Graphe d’objectifs simplifié pour la communa uté de communes Y Assurer un développement équilibré et durable en synergie avec le pôle urbain Limiter l’étalement urbain Maintenir des activités commerciales et artisanales Rénover les logements anciens Construction de logements neufs Réalisation de sociaux Maintenir la population locale Attirer de nouveau x habitants Fixer la Rénover des Améliorer la cadre de vie Amélioration du confort intérieur des logements Rénovation des façades des

Un exemple d’outil d’estimation des effets propres (1) Qu’est ce que l’on évalue ? Exemple : politique en place vs son absence Effet propre de la politique : EP = I-I* La situation en l’absence de la politique est inobservée : situation contrefactuelle Hypothèses nécessaires pour identifier l’effet propre à partir des données observées Les comparaisons intuitives sont biaisées Avant/après : changement de contexte Avec/sans : effet de sélection

Un exemple d’outil d’estimation des effets propres (2) Des méthodes éliminant ces biais existent Ne comparer que bénéficiaires et non bénéficiaires « semblables » Prendre en compte les différences initiales Introduire de l’aléa dans la distribution de la politique Elles nécessitent Des données avant la politique Des données de contexte sur les individus bénéficiaires et non bénéficiaires Des interventions garantissant la comparabilité

Un exemple d’outil d’estimation des effets propres (3) Exemple des aides à l’investissement des scieries Concentrées sur les plus dynamiques Effet positif mais limité sur demande de bois Effet neutre sur l’emploi Exemple des conseils aux propriétaires forestiers Progression de la politique dans le temps et l’espace Effet important sur petites parcelles Inexistant sur grandes parcelles Exemple des MAE Important travail sur les données Problème de l’absence de non bénéficiaires comparables

Un exemple d’outil visant à généraliser les résultats des évaluations de développement durable : les « evidence based approaches» Ampleur des informations sur le sujet D'où nécessité de réaliser des états de l'art, des revues systématiques de la littérature ou « méta-analyses » C'est le principe de « l'évidence based decision » largement développée dans les pays anglo-saxons, en particulier dans le domaine de la médecine et de l'éducation

Conclusion : des dimensions institutionnelles de l’évaluation des politiques de développement durable à ne pas négliger… Quels que soient les outils, une opération d’évaluation souvent perçue comme séparée du processus politique Evaluation = …aussi apprentissage collectif Nécessité de mettre en place des organisations institutionnelles adaptées (notamment pour gestion de l’information dans enjeux de durabilité caractérisés par politiques multiacteurs et multiéchelles)