Une politique axée sur les résultats L’évaluation et les indicateurs Marielle Riché DG REGIO C4 – Unité évaluation marielle.riche@ec.europa.eu

La nouvelle approche 2014-2020 Propositions de Règlements: Plusieurs dispositifs pour une politique axée sur les résultats et plus performante: Objectifs UE 2020 et concentration thématique (Art. 16) Systèmes d’indicateurs et d’évaluation (Art. 47 à 50, Art. 87) Conditionnalités –ex ante, ex post, macro – et réserve de performance (cadre de performance: art. 17 à 20). Modifie les façons de concevoir et conduire la politique, nécessite des programmes plus ciblés, la concentration des moyens sur les résultats attendus. Requiert des choix clairs et partagés et l’engagement des Autorités de gestion.

La nouvelle approche 2014-2020 Pourquoi cette nouvelle approche? - Jusqu’à présent, importance excessive donnée aux dépenses (indicateurs financiers) : cf les RAE 2010 - Evolutions internationales (ONU, OCDE, Banque Mondiale, milieux académiques) Contexte économique et politique: renforcer l’efficacité de la politique, en démontrer les résultats et l’impact  Améliorer la conception et le suivi des programmes, mieux en évaluer les effets, mieux communiquer.

LE CADRE LOGIQUE DES PROGRAMMES: AVANT … 1999-2013 Dépenses Réalisations Résultats Impacts Objectifs globaux Objectifs spécifiques opérationnels Objectifs programme Activités programmes Post 2013 Axer la politique sur les résultats

LE NOUVEAU CADRE LOGIQUE Autres Facteurs Suivi et évaluation Programmation Stratégie Besoins Priorité Thematique Résultat attendu Contribution (impact) Politique Résultat réalisé Dépenses allouées Réalisations programmées réalisées achevées

Qu’est ce qu’un résultat? Les résultats sont les effets socio-économiques des programmes: les programmes doivent explicitement formuler ce qu’ils veulent changer (résultats attendus) Ce changement doit être exprimé à l’aide d’un petit nombre d’indicateurs de résultat pour chaque axe prioritaire (concentration). Puisque l’on parle de changement, il faut savoir d’où l’on part: valeur de référence… … et ce que l’on veut atteindre: la valeur cible (Art.6 FEDER) Quantitatif: chiffre, oui ou non Qualitatif: direction de changement, fourchette, changement de comportement, participation (situation de référence à connaître) Ne peut servir aux milestones

Les indicateurs de résultat Importance d’indicateurs de résultats pertinents, suffisamment proches de l’intervention, réalistes, renseignables, permettant de suivre les progrès vers le résultat attendu. Tout ne peut être mesuré: choisir de mesurer un changement auquel le programme contribue de façon significative, ou un changement qui a potentiellement un effet de levier important L’indicateur est spécifique au programme: ne prendre un indicateur commun que s’il correspond au résultat attendu Le lien logique entre les indicateurs de réalisation et de résultat doit être explicite Quantitatif: chiffre, oui ou non Qualitatif: direction de changement, fourchette, changement de comportement, participation (situation de référence à connaître) Ne peut servir aux milestones 7

Qu’est ce qu’un impact? les résultats sont influencés par les activités du programme ainsi que par d’autres facteurs: les indicateurs de résultat mesurent des changements provoqués par différents facteurs L’impact est la contribution du PO aux changements observés (y compris par l’indicateur de résultat)  L’impact réel du programme ne peut être jugé que par l’évaluation Changement de l’indicateur de résultat = effet de intervention + effet d’autres facteurs

Le suivi et l’évaluation du programme Ce qui peut être observé (le suivi) - Indicateurs financiers, de réalisation (activités du programme), - indicateurs de résultat (effets socio-économiques de ces activités) et leur évolution - Nous ne parlons plus d’”indicateurs d’impact”.  Art. 44: rapports annuels de mise en oeuvre 2016-22 Ce qui ne peut pas être observé (l’évaluation): interpréter les indicateurs, comprendre le fonctionnement du programme et juger de sa contribution aux résultats (l’impact du programme)  Art. 49: au moins une évaluation d’impact pour chaque axe prioritaire 9

Le rôle de l’évaluation Deux grandes fonctions (art. 47): améliorer la qualité de la conception et mise en oeuvre des programmes // juger de leur efficacité/efficience/impact Plan d’évaluation obligatoire: évaluation en continu (y compris d’efficacité/efficience/impact), capacités nécessaires (art.49, 104) Conditions ex ante: “procédures de production et collecte des données nécessaires aux évaluations y compris les données relatives aux indicateurs” (art.47 et annexe IV) Rapports annuels de mise en oeuvre en 2017 et 2019: analyse des indicateurs et leur évolution “y compris la contribution des fonds à l’évolution des indicateurs de résultats, lorsque des données peuvent être tirées des évaluations”; + analyse des progrès vers les objectifs du programme et de sa contribution à EU 2020 (art.44) Synthèse en 2020: pour chaque programme, résultat des évaluations et jugement sur les réalisations/résultats (art. 104) 10

Importance de l’évaluation ex ante Art. 48: Cohérence stratégique (avec UE 2020, compte tenu des objectifs et priorités thématiques et des besoins régionaux) Logique de l’intervention: comment les réalisations contribuent aux résultats, justification de la forme de soutien proposée pertinence et clarté des indicateurs, quantification des valeurs cibles réalistes qualité des procédures de suivi et de collecte des données nécessaires à la réalisation des évaluations (cf conditionnalité ex ante); ressources humaines adéquates. validité des étapes choisies pour le cadre de performance 11

Conclusion: se préparer dès aujourd’hui! Exercice pilote en cours avec 9 régions (et plus): concevoir autrement les programmes, tester l’approche Quelles sources statistiques, quels modes de collecte, quelles méthodes d’évaluation? Un guide sur cette nouvelle approche + sur l’évaluation ex ante (travaux en cours avec les représentants des Etats membres du réseau sur l’évaluation) Travaux sur différentes méthodes d’évaluation de l’impact des interventions (contribution du programme), guide sur l’évaluation de l’innovation (début 2012) 12

Merci pour votre attention L’évaluation sur Inforegio: http://ec.europa.eu/regional_policy/impact/evaluation/index_fr.cfm Pour une politique axée sur les résultats (travaux du groupe Barca/ Mc Cann) Centre pour l’évaluation d’impact (méthodes) Réseau d'évaluation (avec les États membres) Documents de guidance EVALSED : guide de l’évaluation du développement socio-économique Etudes et évaluations thématiques 13