MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement Institut d’Étude du Développement.

Présentation au sujet: "MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement Institut d’Étude du Développement."— Transcription de la présentation:

1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement Institut d’Étude du Développement Économique et Social 02 novembre 2010 Evaluation des politiques environnementales Séance 4 : Stratégie et outils d’évaluation d’une politique publique

2 La stratégie d’évaluation d’une politique publique
La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

3 L’essence de la démarche méthodologique
« porter un jugement de valeur argumenté par des données ad hoc et des critères explicites » des critères explicites des données ad hoc une argumentation un jugement de valeur structurer observer analyser juger

4 Exemple de démarche méthodologique
des critères explicites des données ad hoc une argumentation un jugement de valeur structurer observer analyser juger fréquentation exposition questionnaire échantillon élèves bénéficiaires extrapolation et analyse de données comparaison bénéficiaires/ non bénéficiaires

5 Contenu de la démarche méthodologique
des critères explicites des données ad hoc une argumentation un jugement de valeur Structurer Questions Critères Indicateurs Observer Données Instruments Collecte Analyser Croisements Estimation Interprétation Juger / Critères / Normes Pondération

6 Des outils pour chaque étape de la démarche méthodologique
des critères explicites des données ad hoc une argumentation un jugement de valeur outils de structuration outils d’ observation outils d’ analyse outils de jugement Boîte à outils des sciences humaines, sociales, économiques …

7 La stratégie d’évaluation d’une politique publique
La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

8 La stratégie d’évaluation
Démarche par laquelle : des « éléments de preuve » vont être produits pour porter le jugement de valeur sur la politique Stratégie ciblée Faisceau d’indices

9 Les points de contrôle d’une bonne stratégie d’évaluation
Robustesse Rigueur Stratégie € Coût Faisabilité

10 La stratégie d’évaluation d’une politique publique
La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

11 Articuler le quantitatif et le qualitatif
Quantifier Mesurer Largeur Valider Qualifier Comprendre Profondeur Explorer

12 La stratégie d’évaluation d’une politique publique
La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

13 Référentiel d’évaluation
Questions Critères Indicateurs Descripteurs Indices Sources Outils Les résultats obtenus suite à la formation Evaluation sont-ils satisfaisants ? -Fréquentation - nombre formations - nombre participants -caractéristiques participants - fichier participants - Satisfaction - niveau de réponse aux attentes - niveau de satisfaction des participants - qualité de perception par le service Evaluation - fiches évaluation à chaud - debriefing service Evaluation - Partage - création d’un vocabulaire commun - constitution d’un réseau - enquête participants dispositifs - Utilisation traces des concepts dans les documents du Conseil régional fréquence de mention des concepts en réunion optimisation du dispositif de tableaux de bord - entretiens évaluation à froid - analyse documentaire

14 La stratégie d’évaluation d’une politique publique
La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

15 Des outils pour chaque étape de la démarche méthodologique
des critères explicites des données ad hoc une argumentation un jugement de valeur outils de structuration outils d’ observation outils d’ analyse outils de jugement Boîte à outils des sciences humaines, sociales, économiques …

16 Boîte à outils des sciences humaines, sociales, économiques …
Des outils à choisir outils de structuration outils d’ observation outils d’ analyse outils de jugement Boîte à outils des sciences humaines, sociales, économiques … Complexité : un public / plusieurs publics Compétences : technicité / savoir faire Acceptabilité : classique / innovant Coût : limité / élevé

17 Outils de structuration
Analyse de texte SWOT Cadre logique Matrice d’impacts Diagramme logique d’impacts Typologies …. des critères explicites Structurer Questions Critères Indicateurs

18 Zoom sur un outil : le diagramme logique des impacts escomptés
Réalisation 4 Réalisation 5 Réalisation 2 Réalisation 1 Réalisation 3 Réalisation 6 Résultat immédiat 1 Impact intermédiaire 1 Résultat immédiat 2 Impact global 1 Impact global 2 Impact intermédiaire 2 Résultat immédiat 3 Résultat immédiat 4 Impact intermédiaire 3

19 Zoom sur un outil : la typologie
étude de cas A1 famille A étude de cas A2 x x x étude de cas B1 famille B x x x x x x x x étude de cas B2 x x x x x x x x x x étude de cas C1 x x x x famille C x x x x x x étude de cas C2 x x x x x x x x x x étude de cas C3 x x x x x x x étude de cas D1 x famille D x x x x x x étude de cas D2 x famille E étude de cas E1

20 Outils d’observation des données Entretiens individuels ad hoc
Focus groupes Questionnaires Outils statistiques Outils de notation Etudes de cas …. des données ad hoc Observer Données Instruments Collecte

21 Zoom sur un outil : le focus groupe
Toucher la diversité des individus Descendre en profondeur Comprendre les interactions collectives Valider par croisement Focus groupe 1 Sélection Focus groupe 1 Restitution Focus groupe 1 Focus groupe 1

22 Zoom sur un outil : le questionnaire par internet
Décliner les critères en un ensemble de questions Rendre l’ensemble ergonomique Toucher l’ensemble de la population Relancer Exploiter automatiquement Préparation Test Administration Exploitation

23 Outils d’analyse une argumentation Analyses statistiques
Groupes de comparaison non expérimentaux Etudes de cas …. une argumentation Analyser Croisements Estimation Interprétation

24 Zoom sur un outil : l’étude de cas
Observer sous divers angles Descendre en profondeur Comprendre la théorie d’action Illustrer un type de comportement Documents Préparation Entretiens Rédaction Observations Réunions

25 Zoom sur un outil : les groupes de comparaison non expérimentaux
non éligibles Groupe Éligibles non demandeurs Groupe de bénéficiaires Groupe Eligibles non acceptés Groupe Bénéficiaires avant

26 Outils de jugement un jugement Analyse multi-critères de valeur
Analyse coût-avantages Analyse coût-efficacité Groupes de comparaison expérimentaux Panel d’experts Benchmarking …. un jugement de valeur Juger / Critères / Normes Pondération

27 Zoom sur un outil : le panel d’experts
Discussion autour de différents points de vue Discussion autour de différents angles de vue Recherche d’un consensus sur les analyses effectuées Identification Constitution Alimentation Réunion(s)

28 Zoom sur un outil : le benchmarking
Recherche de situations comparables, mais pas forcément homogènes Identification de la meilleure pratique Comparaison Recherche Mise à plat Comparaison

29 La stratégie d’évaluation d’une politique publique
La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative

30 De quoi parle-t-on ? Évaluation participative ?
Évaluation pluraliste ? Évaluation citoyenne ?

31 L’évaluation participative
Participer = prendre part … Qui prend part ? Agents publics ? Acteurs socio-éco ? Société civile ? Citoyens ? Un concept qui s’oppose à évaluation experte

32 L’évaluation pluraliste
Introduit par P.Viveret en 1989 Commande de M.Rocard Porté par la Charte de la Société Française d’Evaluation (2006) Permet la confrontation de points de vue entre les responsables de la politique évaluée les parties prenantes : experts, partenaires, groupes d’intérêt, bénéficiaires Permet un jugement d’évaluation co-produit par une pluralité d’acteurs sur la base de critères pré-établis

33 L’évaluation citoyenne
Avec participation de citoyens « ordinaires » Va au-delà de la simple collecte d’informations auprès de citoyens Acte élémentaire d’évaluation Suppose une implication des citoyens dans le processus d’évaluation : Décision Pilotage Jugement

34 Les participants potentiels à l’évaluation
Acteurs Décideurs Opérateurs Décideurs Opérateurs Bénéficiaires Contribuables Habitants Citoyens

35 Participer et contribuer
L’évaluation suppose toujours la collecte d’informations auprès des bénéficiaires L’évaluation envisage parfois l’implication des bénéficiaires dans le processus Bénéficiaires Contribuables Habitants Citoyens