1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 29 octobre 2010 Evaluation des politiques environnementales Séance 3 : Déroulement du processus dévaluation des politiques publiques Institut dÉtude du Développement Économique et Social

2 Sommaire Déroulement du processus dévaluation Rappels Vision globale du processus dévaluation Décision et commande dévaluation Réalisation et résultats de lévaluation Qualité de lévaluation

3 Déroulement du processus dévaluation Rappels Vision globale du processus dévaluation Décision et commande dévaluation Réalisation et résultats de lévaluation Qualité de lévaluation

4 Chaîne de déploiement dune politique Impacts Réalisations Résultats Besoins / Problèmes / Enjeux Ressources humaines, Financières, techniques … Objectifs stratégiques Objectifs opérationnels Objectifs spécifiques

5 Les registres dévaluation Impacts Réalisations Résultats Besoins / Problèmes / Enjeux Ressources Objectifs pertinence cohérence interne utilité efficience efficacité cohérence externe

6 Evaluation et indicateurs Taux dinsertion des apprentis + z% Nombre apprentis + x% Taux réussite apprentissage + y% Les indicateurs mesurent un changement Lévaluation porte un jugement de valeur sur le lien entre le programme et le changement programme contexte ?

7 Contenu de la démarche méthodologique des critères explicites des données ad hoc une argumentation un jugement de valeur Structurer Questions Critères Indicateurs Observer Données Instruments Collecte Analyser Croisements Estimation Interprétation Juger / Critères / Normes Pondération

8 Suivi permanent dindicateurs Besoins Objectifs Ressources Indicateurs dévaluation Impacts Résult. Réalis. Indicateurs suivi / pilotage Indicateurs de contexte

9 Déroulement du processus dévaluation Rappels Vision globale du processus dévaluation Décision et commande dévaluation Réalisation et résultats de lévaluation Qualité de lévaluation

10 Vision globale du processus dévaluation DécisionCommandeEvaluationPropositionsDécision mandat cahier des charges offremarché rapport recom- manda- tions délibé- ration ElusInstanceEvaluateurInstanceElus faisabilité

11 Déroulement du processus dévaluation Rappels Vision globale du processus dévaluation Décision et commande dévaluation Réalisation et résultats de lévaluation Qualité de lévaluation Utilisation des évaluations de politiques publiques Les différentes formes dutilisation Utilisation managériale : de lévaluation à la conception Utilisation démocratique : lalimentation du débat public Utilisation pluraliste : la résolution collective de problèmes Utilisation opérationnelle ; lamélioration du système de suivi-évaluation

12 La décision dévaluer Décision Obligation Questionnement Alerte

13 La place des indicateurs dans le déclenchement dune évaluation Évaluation Indicateurs dévaluation AlerteAlimentationEnrichissement

14 Lauteur de la décision Décision Elu Direction Partenaires

15 La formalisation de la décision : le mandat Une lettre de mission : Qui définit le champ de l'évaluation Qui marque les questions prioritaires Qui précise le dispositif d'évaluation Un engagement Portage politique Une commande À une instance dévaluation

16 Lanalyse de la faisabilité dune évaluation Les conditions opérationnelles : quelles retombées escomptées ? Les conditions techniques : quelle information disponible ? Les conditions politiques : quelle capacité daction ? Les conditions institutionnelles : quelles possibilités de participation des acteurs ?

17 Le choix entre évaluation externe ou interne évaluateur Chargé d évaluation spécialiste méthode spécialiste secteur

18 Linstance dévaluation Définit le cahier des charges de lévaluation Sélectionne lévaluateur Pilote lévaluation Valide lévaluation Porte le jugement Propose les recommandations

19 La composition de linstance dévaluation Gestionnaires Opérateurs Experts Personnalités Elus Financeurs Bénéficiaires Société

20 Les caractéristiques dune instance dévaluation efficace En termes de composition : Un bon effectif Une diversité de membres Un président et un opérationnel En termes de fonctionnement : Des réunions au bon moment Des réunions préparées En termes de portée : Un jugement mieux argumenté Un jugement mieux partagé Des propositions plus adaptées Une évaluation plus appropriée

21 Un cahier des charges ciblé Cahier des charges « évaluez la politique de formation ………………. » Cahier des charges « répondez aux questions dévaluation suivantes ………… »

22 Les rubriques dun cahier des charges Le contexte global Lobjet à évaluer Les raisons de lévaluation Les questions de lévaluation Les éléments dinformation disponibles Les éléments de méthode Le calendrier Le budget Le pilotage Les critères dattribution

23 Le processus de marché public Commande cahier des charges offremarché Instance Procédure ouverte ou restreinte ? Passage devant un jury ?

24 Le choix de léquipe dévaluateurs Profil : Spécialiste méthode ? Spécialiste secteur ? Contenu : rigueur méthodologique Coût : Prix global Prix de journée

25 Lattention portée à la stratégie dévaluation Démarche par laquelle : des « éléments de preuve » vont être produits pour porter le jugement de valeur sur la politique Stratégie ciblée Faisceau dindices

26 Les points de contrôle dune bonne stratégie dévaluation Rigueur Robustesse Faisabilité Coût Stratégie

27 Appréciation du coût dune évaluation Le rapport Coût évaluation / Coût programme Un rapport non linéaire De 0,01% à 40% ? Le nombre de jours dintervenants 20 à 200 jours ? Les différences selon les prestataires Consultants Bureaux détudes Laboratoires Associations

28 Déroulement du processus dévaluation Rappels Vision globale du processus dévaluation Décision et commande dévaluation Réalisation et résultats de lévaluation Qualité de lévaluation

29 Le suivi de lévaluation structuration observation analyse jugement Réunion instance Réunion instance Réunion instance Réunion instance Réunion instance

30 Les rapports dévaluation Le rapport de cadrage de lévaluation Le référentiel de lévaluation Le bilan de la politique Le(s) rapport(s) intermédiaires(s) Les résultats intermédiaires Le rapport final Note de synthèse Résultats de lévaluation Réponses aux questions dévaluation Recommandations Les annexes

31 Constats, conclusions et recommandations RésultatDéfinitionExemple ConstatEléments observés Le taux dinsertion des personnes formées est de x% Conclusion Jugement porté sur les éléments observés Le taux dinsertion des personnes formées est inférieur aux autres régions Recommandation Proposition visant à remédier à un problème mis en avant dans une conclusion Modifier la formation pour y intégrer un module plus en phase avec les besoins du secteur

32 Linteraction pour produire les recommandations Instance dévaluation Instance dévaluation Pertinence Rigueur Innovation Cohérence Faisabilité

33 Les différents types de recommandations TypePortéeOutils Orientations Cadrage global Scénarios Recommandations stratégiques Remise en cause de lobjectif Théorie daction Logique dimpact Recommandations opérationnelles Mise en œuvre de lobjectif Recommandations de contenu Recommandations de processus

34 La communication de / sur lévaluation -Rapport provisoire -Rapport définitif -Rapport partiel -Rapport non public -Synthèse -Article -Conférence de presse -Réunion -… -Elus -Gestionnaires -Société civile -Medias -Population -… Communiquer quoi et comment ? A qui ?

35 Déroulement du processus dévaluation Rappels Vision globale du processus dévaluation Décision et commande dévaluation Réalisation et résultats de lévaluation Qualité de lévaluation

36 Les critères de qualité d'une évaluation La satisfaction des demandes La pertinence du champ L'adéquation de la méthodologie La fiabilité des données La solidité de l'analyse La robustesse des résultats Limpartialité des conclusions Lutilité des recommandations La clarté des comptes-rendus

37 Les facteurs de la qualité Clarté du cahier des charges Qualité Compétences et performance de léquipe dévaluation Interaction avec linstance Organisation du processus

38 Les tendances des nouveaux processus dévaluation Cahier des charges Réalisation conclusions recommandations Diffusion Pratique ancienne Mandat Réalisation conclusions Diffusion Pratique nouvelle recommandations Etude faisabilité Cahier des charges