La mise en place de mécanismes de l’évaluation des politiques publiques Les principes théoriques de l’évaluation Etats des lieux en Belgique Evaluation de l’évaluation Séminaire TAIEXDr. Hugo D’Hollander TunisConseiller général mars 2016Chambre des représentants Belgique

Les principes théoriques de l’évaluation

Evaluation d’une intervention publique - Intervention publique = Mise en oeuvre des moyens pour atteindre un objectif - Évaluation = Vérification si l’objectif est réalisé = Modèle de base

L’évaluation dans le cycle de décision – genèse d’une intervention publique Phases du processus décisionnel Définition du problème (prise de conscience d’un problème) Mise à l’agenda Processus décisionnel Mise en œuvre - impléméntation Contrôle et évaluation Acteurs du processus décisionnel Société civile Parlement Gouvernement Processus formel de décision Institutions Gouvernement Parlement Institutions Parlement Société civile Elaboration de la politique (policy shaping) Processus décisionnel (policy making) Amélioration de la politique (policy shaping)

- Cadre de référence La théorie des systèmes constitue un cadre adéquat pour aborder l’évaluation des politiques publiques. Cette approche peut servir pour élaborer une stratégie afin de développer de mécanismes d’évaluation.

environnement

- Le schéma montre : - processus de décision = compliqué - interférence avec différentes composantes - modèle RE (recherche en évaluation en tant que discipline scientifique) basé sur « moyens-objectifs » est insuffisant pour évaluation valide - chaque phase de décision nécessite évaluation

- Critères d’évaluation sont plus larges que les objectifs du programme (projet) : un programme ne se situe pas dans un vacuum. durabilité (impact socio- écono- écologique). équité. bonne gouvernance (transparence, motivation des mesures,…). proportionnalité. répartition chances (revenus,…). …. - Hiérarchie des objectifs (ne pas confondre les moyens avec les objectifs) moyen (tâche) n’est pas un objectif objectifs aux différents niveaux ont un autre caractère

Evaluation valide et adéquate nécessite réflexion :. dans chaque phase du processus de décision. aux niveaux multiples. par les différents acteurs. par différentes méthodes Evaluation des politiques publiques ne peut pas être effectuée par une instance centrale par une seule méthode

Etat des lieux en Belgique

- Il n’existe pas une culture d’évaluation dans le sens de la discipline RE (recherche en évaluation – evaluation research) mais : - Évaluation est partout en pratique:. fragmentée, décentralisée. non coordonnée. différents niveaux :. état fédéral. sous-états (Régions, Communautés)

Acteurs (tableau non exhaustif) Organisations internationales (UE, OCDE,…) Institutions gouvernementales (pouvoir exécutif) ParlementSystème judiciaire Organes consultatifs (crées par le Gvt.) Société civile – groupes de pression Universités - Analyse d’impact (propositions législatives) - Benchmarking (évaluation état budgétaire ; scorebord marché intérieur ;…) - Prévisions économiques (modèles économétriques) - Evaluation Fonds structurels ; Aide au développement; etc…) via Cour des comptes européenne -Benchmarking système scolaire (OCDE) - … - Service simplification administrative : Test KAFKA Loi 13/12/2013 (Analyse d’impact préalable de la réglementation) Egalité des femmes -Bureau du Plan (évaluation des mesures socio- économiques – modèles économétriques) - Evaluations imposées par lois (rapports à envoyer au parlement, certains domaines spécifiques (+/- 150) -Rapports annuels des agences gouvernementales - … - Travail parlementaire traditionnel : Questions + interpellations Examen projets de loi et propositions de loi Commissions d’enquête Comité évaluation de la législation - Cour des Comptes - Médiateurs - … - Arrêts de la Cour Constitutionnelle - Avis du Conseil d’état - … - Conseil des Finances - Conseil de l’économie - Conseil national de travail - Conseil de la justice - Conseil développement durable - Conseil bio – éthique - Concertation sociale (partenaires sociaux) - … - Syndicats - Organisations patronales - Mouvements des citoyens - Mouvement de l’environnement - Mouvement des consommateurs p.m.

Méthodes - Méthodes quantitatives. Analyse séries de temps. Modèles économétriques. Analyse multivariée. Quasi expérimentation. Indicateurs socio –économiques. Analyse coûts-bénéfices - Méthodes qualitatives. Benchmarking. SWOT (Strenghts-forces ;weaknesses- faiblesses ; Opportunities- opportunités ; threats- menaces). Evaluation délibérative, participative - groupes cible - panels des citoyens. Enquêtes ( ea satisfaction des utilisateurs,…). Evaluation à multiples critères - Méthodes mixtes. Analyse d’impact (impact assessment). Budget social

Evaluation de l’évaluation

Principe de base de la recherche en évaluation (RE)= SMART S Specific -spécifique M Measurable - mesurable A Agreed - convenu R Realistic- réaliste T Time horizon – délai Réduction d’un problème social et intervention publique à un format mesurable (unidimensionnelle) Problème = subordonné à la méthode Simplification Limitation évaluation objectifs-moyens (Management by objectives) Approche projet   approche structurelle

Recherche en évaluation = inspirée par sciences positives Causalité -Difficultés d’identifier les facteurs causales dans un contexte social Multifactoriels - Recherche comparative : critère scientifique = « ceteris paribus » Toutes les conditions (facteurs) sont identiques, sauf une variable (la cause supposée) = revendication en recherche expérimentale, et donc aussi benchmarking Problème : contexte social ne correspond pas à ce critère (aucun pays est comparable) - Déontologie Situation expérimentale //test médicaments =/= acceptable dans la société (discrimination)

- RE = basée sur une approche technocratique En réalité : développement d’une politique publique = compliqué Gouvernement apprenant (policy learning) via évaluations = Politique incrémentale

Conclusions - tension entre méthodes (quantitative – qualitative) - plaidoyer pour combinaison : il n’y a pas une méthode exclusive seulement un cadre conceptuel - choix méthode en fonction de la problématique (cas par cas) - risque d’une approche unidimensionnelle clivage entre Science et Politique publique - culture d’évaluation doit être stimulée approche centralisée versus approche décentralisée institutionnalisée………………… décentralisée Evaluation est un aspect essentiel de la démocratie