Séances 10 et 11 – Cours légistique 2008 Evaluer les politiques publiques: une introduction au regard de la légistique Alexandre Flückiger et Frédéric Varone Université de Genève

Plan de la présentation 1. Définition de l‘évaluation: mesurer et juger 2. Critères d‘évaluation et exemples concrets 3. Stratégies d‘évaluation: un aperçu 4. Institutionnalisation de l‘évaluation: une comparaison internationale

§ 1Définition de l‘évaluation Isoler et mesurer les effets propres de la politique publique évaluée (-> ambition scientifique) Porter un jugement de valeur sur ces effets à l’aide de critères explicites (-> choix politique): ^ pertinence (problème / objectifs) ^ efficacité (objectifs / effets) ^ efficience (effets / moyens) ^ économie (produits administratifs / moyens) -> Champs de tensions inhérents à toute démarche évaluative ^ mesure quantitative – jugement qualitatif ^ fonction de contrôle – fonction d’apprentissage ^ Vision gestionnaire – approche démocratique ^ science – politique, etc. -> Demande (politique) et offre (scientifique): quelle dynamique?

Evaluation et cycle de résolution d’un problème public / politique publique

Evaluation et bonne gouvernance (selon UE) ressourcespolitiques produits, effets publiques légitimité premièrelégitimité secondaire gouv. par le peuplegouv. pour le peuple - ouverture - responsabilité - participation- efficacité - cohérence

Evaluation et outils apparentés Contrôle (permanent) Audit (ponctuel) Evaluation (ponctuelle) Régularité des procédures administratives Expertise organisationnelle, comptable et/ou de performance Effets d’un politique, d’un programme, d’un projet, d’une mesure Identifier les responsables de dysfonctionnements Restructurer, rationaliser une organisation Augmenter les connaissances, ajuster et (re)légitimer Rationalité juridique (légalité, conformité) -> sanction, pilotage Rationalité managériale -> amélioration Rationalité sociale (besoins), économique et politique -> apprentissage

Dimensions (principales) d’une évaluation Objet évalué (mesure, programme, pp) -> choix des questions et des critères d’évaluation Évaluateur interne ou externe (et budget de l’évaluation) Moment de l’évaluation (ex ante, ex post, concomitante) -> timing par rapport au processus politique Black box vs compréhensive (causale) -> choix des méthodes et des données

§ 2Critères d‘évaluation Evaluer - > juger -> comparer -> critères Critères qui établissent des liens entre les différents éléments constitutifs d’une politique publique -> (re)construction analytique de la logique d’action qui sous-tend la politique publique comme préalable à l’application des critères d’évaluation

Définition politique du problème public Programme politico-administratif (constitution, loi, règlement, directives, etc.) Activités de planification des acteurs de l’arrangement politico- administratif en vue de l’élaboration des plans d’action Produits administratifs: actes de mise en oeuvre Résultats: Chgmts de comportement des groupes-cibles Effets: Chgmts de la situation des bénéficiaires finaux Problème collectif à résoudre Objectifs visés Instruments d’action Ressources Efficacité (2) Efficience (3) Economie (4) Pertinence (1)

Exemples concrets Pertinence: les quartiers chauds tels que définis par N. Sarkozy Efficacité: la (non)régulation des pendulaires Economie: cf. la très large majorité des IP fixés dans les contrats de prestations issus de la NGP

Autorités communales (Police, voirie, finances) Si on réduit les places de parking publiques (zones bleues, P&R), alors les pendulaires vont changer de mode de transport Pendulaires Commerçants? Problèmes liés au trafic individuel motorisé des pendulaires Si le nombre de pendulaires est réduit, alors il y a aussi une réduction des nuisances (congestion, pollution de l’air, accidents) Résidents du centre-ville Transports publics

Défis pour la légistique ? Reconstruire la logique d’action d’une politique publique dans sa globalité pour appliquer tous les critères d’évaluation (y c. la pertinence…) Dépasser l’approche organisationnelle inhérente aux contrats/mandats de prestations Et… appliquer la légistique aux contrats/mandats de prestations eux-mêmes?

§ 3Stratégies: un aperçu

§ 4Institutionnalisation pratique effective (par ex. nbre d'évaluations voire de méta- évaluations réalisées, d'évaluateurs actifs, d'appel d'offres public pour des missions d'évaluation ou part du budget public investi dans l'évaluation). clauses d’évaluation (réglementation, loi, constitution) structures organisationnelles (instances isolées ou dispositif inter-organisationnel) communauté épistémique (les clubs, les réseaux et les sociétés nationales d’évaluation : standards de qualité, bulletin d’information, revue scientifique ; enquête bibliométrique)

Indices théorique d’institutionnalisation

Aperçu de dispositifs nationaux (état en 2000)

Etat des lieux international (en 2000)

Typologie de pays industrialisés (en 2000) Degré d’institutionnalisation Élevé (indice supérieur à 4)Bas (indice inférieur ou égal à 4) Degré de maturité Élevé (indice supérieur à 9) Angleterre, Australie, Canada, USA, France, Norvège, Pays-Bas, Suède et Suisse Allemagne, Danemark et Finlande Bas (indice inférieur ou égal à 9) (France en 2008 ? Cf. par ex. la décision de Sarkozy de supprimer le CNE et de se focaliser sur les évaluations individuelles de ses ministres) Belgique, Espagne, Irlande, Japon, Nouvelle-Zélande et Italie

Facteurs explicatifs Nouvelle Gestion Publique: un frein à l'évaluation? Déficits budgétaires: évaluer pour mieux couper? Contraintes extérieures: de l'obligation réglementaire à l'initiative propre? Régime majoritaire: l'évaluation comme levier de l'opposition? Indépendance des organes de contrôle: évaluation comme nouvel outil? Structure fédéraliste: le laboratoire de l'évaluation? autres facteurs… (« particratie » belge/italienne par exemple)?

Processus de développement des capacités évaluatives (selon manuel de l’UE) An idealised model of evaluation capacity building FIRST STAGE step 1 NORMS AND REGULATIONS step 2 step 3 SECOND STAGE TOOLS AND ESTABLISHMENT OF GUIDE LINES CENTRAL STAFF step 4 step 5 THIRD STAGECREATION OF IMPROVEMENTOF DECENTRALISED EVALUATION UNITS SUPPLY step 6 FOURTH STAGEESTABLISHMENT OF AN EVALUATION SYSTEM

Règles d’or pour développer les capacités évaluatives DCE ne se réalise jamais de soi (ni top-down, démiurgique; ni bottom-up, spontanée) -> planification et efforts soutenus à moyen terme (soit 5 à 10 ans) Développer conjointement la demande (politique, société civile) et l’offre (“scientifique”, expertise administrative) -> indépendance de l’évaluation vis-à-vis d’outils apparentés et d’instances de contrôle existantes Choc extérieur, contrainte en début de processus de DCE -> réappropriation et extension graduelle de l’évaluation, dissémination d’une culture évaluative, normalisation Pas de voie unique, mais “carnet de route” plausible (cf. modèle idéal-typique de l’UE: unités spécialisées comme passage obligé) -> couplage aux réformes du secteur public et à la stratégie de bonne gouvernance Évolution des finalités de l’évaluation dans le temps -> contrôle, reddition des comptes, apprentissage, rendre des comptes sur notre capacité d’apprendre Pas d’import-export institutionnel, mais tirer des enseignements des expériences étrangères -> contextualisation des instances et des standards professionnels