MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement Institut d’Étude du Développement Économique et Social 02 novembre 2010 Evaluation des politiques environnementales Séance 4 : Stratégie et outils d’évaluation d’une politique publique

La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

L’essence de la démarche méthodologique « porter un jugement de valeur argumenté par des données ad hoc et des critères explicites » des critères explicites des données ad hoc une argumentation un jugement de valeur structurer observer analyser juger

Exemple de démarche méthodologique des critères explicites des données ad hoc une argumentation un jugement de valeur structurer observer analyser juger fréquentation exposition questionnaire échantillon élèves bénéficiaires extrapolation et analyse de données comparaison bénéficiaires/ non bénéficiaires

Contenu de la démarche méthodologique des critères explicites des données ad hoc une argumentation un jugement de valeur Structurer Questions Critères Indicateurs Observer Données Instruments Collecte Analyser Croisements Estimation Interprétation Juger / Critères / Normes Pondération

Des outils pour chaque étape de la démarche méthodologique des critères explicites des données ad hoc une argumentation un jugement de valeur outils de structuration outils d’ observation outils d’ analyse outils de jugement Boîte à outils des sciences humaines, sociales, économiques …

La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

La stratégie d’évaluation Démarche par laquelle : des « éléments de preuve » vont être produits pour porter le jugement de valeur sur la politique Stratégie ciblée Faisceau d’indices

Les points de contrôle d’une bonne stratégie d’évaluation Robustesse Rigueur Stratégie € Coût Faisabilité

La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

Articuler le quantitatif et le qualitatif Quantifier Mesurer Largeur Valider Qualifier Comprendre Profondeur Explorer

La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

Référentiel d’évaluation Questions Critères Indicateurs Descripteurs Indices Sources Outils Les résultats obtenus suite à la formation Evaluation sont-ils satisfaisants ? -Fréquentation - nombre formations - nombre participants -caractéristiques participants - fichier participants - Satisfaction - niveau de réponse aux attentes - niveau de satisfaction des participants - qualité de perception par le service Evaluation - fiches évaluation à chaud - debriefing service Evaluation - Partage - création d’un vocabulaire commun - constitution d’un réseau - enquête participants dispositifs - Utilisation traces des concepts dans les documents du Conseil régional fréquence de mention des concepts en réunion optimisation du dispositif de tableaux de bord - entretiens évaluation à froid - analyse documentaire

La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

Des outils pour chaque étape de la démarche méthodologique des critères explicites des données ad hoc une argumentation un jugement de valeur outils de structuration outils d’ observation outils d’ analyse outils de jugement Boîte à outils des sciences humaines, sociales, économiques …

Boîte à outils des sciences humaines, sociales, économiques … Des outils à choisir outils de structuration outils d’ observation outils d’ analyse outils de jugement Boîte à outils des sciences humaines, sociales, économiques … Complexité : un public / plusieurs publics Compétences : technicité / savoir faire Acceptabilité : classique / innovant Coût : limité / élevé

Outils de structuration Analyse de texte SWOT Cadre logique Matrice d’impacts Diagramme logique d’impacts Typologies …. des critères explicites Structurer Questions Critères Indicateurs

Zoom sur un outil : le diagramme logique des impacts escomptés Réalisation 4 Réalisation 5 Réalisation 2 Réalisation 1 Réalisation 3 Réalisation 6 Résultat immédiat 1 Impact intermédiaire 1 Résultat immédiat 2 Impact global 1 Impact global 2 Impact intermédiaire 2 Résultat immédiat 3 Résultat immédiat 4 Impact intermédiaire 3

Zoom sur un outil : la typologie étude de cas A1 famille A étude de cas A2 x x x étude de cas B1 famille B x x x x x x x x étude de cas B2 x x x x x x x x x x étude de cas C1 x x x x famille C x x x x x x étude de cas C2 x x x x x x x x x x étude de cas C3 x x x x x x x étude de cas D1 x famille D x x x x x x étude de cas D2 x famille E étude de cas E1

Outils d’observation des données Entretiens individuels ad hoc Focus groupes Questionnaires Outils statistiques Outils de notation Etudes de cas …. des données ad hoc Observer Données Instruments Collecte

Zoom sur un outil : le focus groupe Toucher la diversité des individus Descendre en profondeur Comprendre les interactions collectives Valider par croisement Focus groupe 1 Sélection Focus groupe 1 Restitution Focus groupe 1 Focus groupe 1

Zoom sur un outil : le questionnaire par internet Décliner les critères en un ensemble de questions Rendre l’ensemble ergonomique Toucher l’ensemble de la population Relancer Exploiter automatiquement Préparation Test Administration Exploitation

Outils d’analyse une argumentation Analyses statistiques Groupes de comparaison non expérimentaux Etudes de cas …. une argumentation Analyser Croisements Estimation Interprétation

Zoom sur un outil : l’étude de cas Observer sous divers angles Descendre en profondeur Comprendre la théorie d’action Illustrer un type de comportement Documents Préparation Entretiens Rédaction Observations Réunions

Zoom sur un outil : les groupes de comparaison non expérimentaux non éligibles Groupe Éligibles non demandeurs Groupe de bénéficiaires Groupe Eligibles non acceptés Groupe Bénéficiaires avant

Outils de jugement un jugement Analyse multi-critères de valeur Analyse coût-avantages Analyse coût-efficacité Groupes de comparaison expérimentaux Panel d’experts Benchmarking …. un jugement de valeur Juger / Critères / Normes Pondération

Zoom sur un outil : le panel d’experts Discussion autour de différents points de vue Discussion autour de différents angles de vue Recherche d’un consensus sur les analyses effectuées Identification Constitution Alimentation Réunion(s)

Zoom sur un outil : le benchmarking Recherche de situations comparables, mais pas forcément homogènes Identification de la meilleure pratique Comparaison Recherche Mise à plat Comparaison

La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

De quoi parle-t-on ? Évaluation participative ? Évaluation pluraliste ? Évaluation citoyenne ?

L’évaluation participative Participer = prendre part … Qui prend part ? Agents publics ? Acteurs socio-éco ? Société civile ? Citoyens ? Un concept qui s’oppose à évaluation experte

L’évaluation pluraliste Introduit par P.Viveret en 1989 Commande de M.Rocard Porté par la Charte de la Société Française d’Evaluation (2006) Permet la confrontation de points de vue entre les responsables de la politique évaluée les parties prenantes : experts, partenaires, groupes d’intérêt, bénéficiaires Permet un jugement d’évaluation co-produit par une pluralité d’acteurs sur la base de critères pré-établis

L’évaluation citoyenne Avec participation de citoyens « ordinaires » Va au-delà de la simple collecte d’informations auprès de citoyens Acte élémentaire d’évaluation Suppose une implication des citoyens dans le processus d’évaluation : Décision Pilotage Jugement

Les participants potentiels à l’évaluation Acteurs Décideurs Opérateurs Décideurs Opérateurs Bénéficiaires Contribuables Habitants Citoyens

Participer et contribuer L’évaluation suppose toujours la collecte d’informations auprès des bénéficiaires L’évaluation envisage parfois l’implication des bénéficiaires dans le processus Bénéficiaires Contribuables Habitants Citoyens