L'institutionnalisation de l'évaluation des politiques publiques en Wallonie Etat des lieux et facteurs explicatifs SWEP – 31 mai 2013

1. Contextualisation  Mémoire réalisé en 2012  Double objectif :  Mesure du degré d’institutionnalisation de l’évaluation en Wallonie  Explication du processus d’institutionnalisation  Sources :  Littérature scientifique  Enquête auprès des cabinets et de l’administration  Analyse documentaire de différents documents (textes juridiques, documents politiques, rapports d’activité, rapports d’évaluation, etc.)  Entretiens semi-directifs

2. Cadre d’analyse Institutionnalisation de l’évaluation des politiques publiques en Wallonie Européanisation de l’action publique Nouvelle Gestion Publique en Wallonie Crise de légitimité de l’action publique

3. Opérationnalisation de l’institutionnalisation de l’évaluation des politiques publiques Institutionnalisation de l’évaluation des politiques publiques en Wallonie Ampleur de la pratique Acteurs et instances Qualité Publication et utilisation -Nombre et sujet des évaluations -Recensement des clauses évaluatives -Place de l’évaluation dans la DPR -Recensement des acteurs de l’évaluation (O et D) -Communauté épistémique ? -Cahier des charges -Critères d’évaluation -Méthodes -Cf. Standards de qualité -Publications sur internet -Changement dans la législation -Citation dans les discours -…

4. Mesure du degré d’institutionnalisation 4.1 L’ampleur de la pratique évaluative  De nombreuses évaluations (ou études apparentées) sont réalisées en Wallonie  48 évaluations dénombrées en entre juin 2009 et juillet 2012  Elles touchent à l’ensemble des compétences de la Région  Ce chiffre recouvre des réalités différentes  Ce chiffre ne tient pas compte des évaluations réalisées par ou pour le compte des différents organismes détachés de l’administration centrale (OIP et autres)  Un nombre limité de clauses évaluatives dans les textes règlementaires  La thématique de l’évaluation est omniprésente dans la Déclaration de Politique Régionale de 2009

4. Mesure du degré d’institutionnalisation 4.2 Les acteurs et formes organisationnelles (1/3)  Les acteurs de la demande (commanditaires) :  Niveau parlementaire :  Très faible voire absence d’activité en matière de commande d’évaluation de politique publique  Activités de la Cour des comptes  Niveau ministériel :  Les cabinets sont les principaux instigateurs des évaluations en Wallonie  Niveau administratif :  Une activité de commande d’initiative propre, liée à une demande du ministre ou suite à une clause évaluative

4. Mesure du degré d’institutionnalisation 4.2 Les acteurs et formes organisationnelles (2/3)  Les acteurs de l’offre (évaluateurs) :  Le niveau parlementaire :  Le contrôle parlementaire ne se rattache que très marginalement à l’évaluation  Contrôle de bonne gestion de la Cour des Comptes  Le niveau administratif  Cellules administratives chargées de missions d ’évaluation  Conseils, commissions, comités qui se livrent à des travaux d’évaluation  Le rôle de l’IWEPS  Les consultants privés  Une dizaine d’opérateurs sur le « marché » wallon  Les centres de recherche réalisent peu de travaux d’évaluation pour le compte de la Région

4. Mesure du degré d’institutionnalisation 4.2 Les acteurs et formes organisationnelles (3/3)  Une communauté épistémique ?  Le rôle de la SWEP  En un peu plus de dix ans d’existence, la SWEP a organisé une quarantaine d’événements dédiés l’évaluation  A l’initiative du certificat interuniversitaire en évaluation des politiques publiques  Plusieurs publications, conférences, colloques dédiées à l’évaluation  Ces éléments contribuent à constituer, si ce n’est une communauté épistémique, « un petit monde » de l’évaluation en Wallonie

4. Mesure du degré d’institutionnalisation 4.3 La qualité  Les cahiers des charges  généralement peu précis, non harmonisés, qualité très inégale  les critères d’évaluation sont peu explicités  peu de réflexions préalables sur les fins et les questions d’évaluation  Critères d’évaluation  une part non négligeable des travaux semble se contenter d’une évaluation de mise en œuvre  Les évaluations portent rarement sur la pertinence même de la politique  Méthodes peu sophistiquées

4. Mesure du degré d’institutionnalisation 4.4 La diffusion et l’utilisation  Environ la moitié des évaluations recensées sont disponibles sur internet  Absence de portail qui centralise les travaux  Faible écho dans la presse  Une utilisation  Qui semble limitée  Au cas par cas au gré des opportunités politiques

4. Mesure du degré d’institutionnalisation 4.5 Conclusions  Le degré d’institutionnalisation de l’évaluation des politiques publiques en Wallonie se situe à un niveau intermédiaire  La pratique évaluative est largement présente, essentiellement auprès de l’exécutif.  L’évaluation est éclatée entre de nombreux acteurs et instances. Tout se passe comme si chacun menait ses évaluations au cas par cas, de manière isolée et non coordonnée.  Les évaluation sont de qualité inégale et de nature différente allant du simple rapport de mise en œuvre à la mesure et au jugement sur les effets des politiques.

4. Mesure du degré d’institutionnalisation 4.5 Conclusions

5. Facteurs explicatifs 5.1 L’européanisation de l’action publique  Le point de départ de l’institutionnalisation de l’évaluation des politiques publiques en Wallonie réside dans l’obligation européenne de procéder à l’évaluation systématique des programmes structurels au début des années 90  Trois séquences dans l’influence exercée par l’Union européenne :  Phase réglementaire : contrainte  Phase d’appropriation : la contrainte se double d’un apprentissage et d’un appropriation  Phase d’institutionnalisation formelle 2004-… : renforcement de l’institutionnalisation et accommodation

5. Facteurs explicatifs 5.2 La modernisation administrative inspirée par le NGP  Le processus d’agencification a favorisé le développement de la pratique évaluative à travers l’obligation d’évaluation des contrats de gestion  Les plans stratégiques successifs adoptés depuis le début des années 2000 ont inscrit l’évaluation en tant qu’instrument du développement wallon.

5. Facteurs explicatifs 5.3 La crise de légitimité de l’action publique  Il ne semble pas que l’institutionnalisation de l’évaluation résulte d’une crise de légitimité de l’action publique  L’influence de la crise de légitimité de l’action publique sur le développement de l’évaluation au niveau régional s’inscrit davantage dans les discours que dans les pratiques.

Merci pour votre attention