Les indicateurs dans les évaluations de la politique européenne de développement rural: théorie et pratique

2 Objectif de la présentation L’objectif Montrer que l’évolution des dispositifs d’indicateurs dans le cas des PDR s’explique par une double dynamique : l’amélioration des dispositifs sur base de l’expérience l’évolution des dispositifs qui ajoute à la fonction de mesure des indicateurs une fonction d’expression des objectifs du programme Présenter la théorie et la pratique de l’utilisation des indicateurs dans les évaluations des Programmes de Développement Rural (PDR) sur trois périodes de programmation: : Programme Objectif 5b : Programme de développement rural : Programme de développement rural

3 Sources Pour la période Évaluation ex-post de l’Objectif 5b en RW et en Lorraine Synthèse communautaire des évaluations ex-post de l’Objectif 5b Pour la période Évaluation à mi-parcours des PDR en RW et au GD Luxembourg Synthèse communautaire des évaluations à mi-parcours des PDR Pour la période Évaluation ex-ante des PDR au GD Luxembourg et en France

4 Agenda  La politique européenne de développement rural  l’espace rural en Europe  les enjeux  l’évolution des politiques  l’évolution des approches  Les indicateurs dans les évaluations  Conclusions et perspectives

5 L’espace rural en Europe Superficie Emploi Valeur ajoutée

6 La politique européenne de développement rural Compétitivité du secteur agricole Développement économique et social Préservation de l’environnement Des enjeux considérables :

7 D’une politique sectorielle à une politique de développement territoriale multisectorielle: Lien entre politique agricole et approche territoriale est reconnu COM (88)501: « L’avenir du monde rural » Le DR constitue une priorité de l’UE L’approche territoriale est privilégiée Déclaration Cork : « Un milieu rural vivant » Introduction d’une politique globale du DR Le DR devient le deuxième pilier de la PAC Sommet de Berlin: Agenda 2000 Le deuxième pilier de la PAC est renforcé dans la perspective Accord de Luxembourg

8 L’évolution des approches Obj. 5B mesures centrées sur des zones rurales défavorisées Obj. 5A mesures transversales (structures agricoles, formation…) Les mesures développement rural sont fusionnées en un seul règlement qui regroupe les textes précédents …. mais le programme suit une logique de listes de mesures (22). D’une approche par mesure à une approche stratégique de programme Introduction d’une approche stratégique autour de trois thèmes: économie agro- alimentaire; environnement et cadre de vie Période Objectif 5a/5b Période PDR PDR

9 Agenda  La politique européenne de développement rural  Les indicateurs dans les évaluations  La stratégie européenne d’évaluation  Période Objectif 5b  Période Plan de développement rural (PDR)  Période Plan de développement Rural (PDR)  Conclusions et perspectives

10 La stratégie européenne d’évaluation Dans les trois périodes de programmation, la stratégie européenne en matière d’évaluation vise deux objectifs : Garantir et organiser l’évaluation de chaque programme individuellement; Organiser les évaluations des programmes de telle manière qu’elles puissent être utilisées dans une évaluation globale synthétique au niveau européen;

11 Agenda  La politique européenne de développement rural  Les indicateurs dans les évaluations  La stratégie européenne d’évaluation  Période Objectif 5b  Période Plan de développement rural (PDR)  Période Plan de développement Rural (PDR)  Conclusions et perspectives

12 Période Objectif 5B Période : un effort important pour l’ex-post Des « Lignes directrices pour l’évaluation ex-post des programmes de l’objectif 5b » Questions d’évaluations communes orientées vers l’appréciation des effets : 17 questions La responsabilité de la définition et de la collecte des indicateurs est laissée aux évaluateurs

13 L’objectif 5B Programmes Les principaux constats : Les questions d’évaluation n’ont pas été traitées systématiquement dans les rapports d’évaluations. Moins de 50% des régions ont répondu aux questions d’évaluation De plus, lorsque les questions étaient traitées : L’interprétation était variable d’une région à l’autre Très peu d’indicateurs ont été utilisés; Les indicateurs retenus variaient fortement d’une zone à l’autre;

14 L’objectif 5B Programmes Conséquences: Manque d’homogénéité des rapports d’évaluation ex-post Faiblesse globale des évaluations ex-post Synthèse des évaluations des programmes 5B qui n’a pu s’appuyer que très partiellement sur la réponse aux QE et sur des indicateurs quantitatifs.

15 Agenda  La politique européenne de développement rural  Les indicateurs dans les évaluations  La stratégie européenne d’évaluation  Période Objectif 5b  Période Plan de développement rural (PDR)  Période Plan de développement Rural (PDR)  Conclusions et perspectives

16 Période Evaluation des PDR Période : des changements importants: Au niveau du questionnement Les questions d’évaluations sont davantage centrées sur les mesures du programme et moins sur la stratégie dans son ensemble Au niveau de l’organisation des évaluations Par rapport à la période précédente, le cadre est nettement plus structuré et essaye de répondre aux problèmes rencontrés précédemment. Il s’articule autour de 53 questions communes et de 170 indicateurs définis avec pour chaque question: la logique d’intervention; les critères de jugement à utiliser la définition des indicateurs à utiliser mais pas le protocole de collecte les valeurs cibles (à fixer) les sources d’information

17 Période Evaluation des PDR Principales difficultés rencontrées (1): Mise en place du dispositif: définition des protocoles de collecte Inadéquation de certains indicateurs par rapport au critère de jugement Coût de collecte de certains indicateurs par rapport à l’importance de la mesure

18 Période Evaluation des PDR Principales difficultés rencontrées (2): L’interprétation des données collectées: Pas de possibilité de faire des comparaisons temporelles Absence de situations contrefactuelles Pas de normes communes (benchmarking ou bonnes pratiques) Manque de valeurs-cibles Difficultés d’établir les liens de causalités entre la mesure mise en oeuvre et l’effet observé

19 Période Evaluation des PDR Conséquences Une mobilisation importante lors des évaluations à mi-parcours dans les différentes régions d’Europe pour mettre en place le système de collecte de ces indicateurs. L’utilisation des indicateurs n’a pas été systématique, et lorsqu’ils ont été collectés les protocoles de collectes n’étaient pas homogènes. Ils ne peuvent donc pas être comparés ou consolidés. En pratique, ils n’ont pu être utilisés dans le cadre de la synthèse européenne.

20 Agenda  La politique européenne de développement rural  Les indicateurs dans les évaluations  La stratégie européenne d’évaluation  Période Objectif 5b  Période Plan de développement rural (PDR)  Période Plan de développement Rural (PDR)  Conclusions et perspectives

21 Période Evaluation des PDR Une approche plus stratégique du développement rural « Axe Leader » Objectif compétitivité Objectif Environnement + gestion de l’espace Objectif diversification + qualité de vie Un seuls fonds de développement rural Développement rural

22 Période Evaluation des PDR La stratégie d’évaluation s’inscrit dans cette orientation plus stratégique. Au niveau du questionnement La définition d’un cadre commun d’évaluation qui s’articule autour des objectifs stratégiques Au niveau de l’organisation L’organisation de l’évaluation sur une base continue afin de mieux assurer la préparation des évaluations à mi-parcours et ex-post. La mise en place d’un réseau d’évaluateurs européens pour partager les expériences et les bonnes pratiques;

23 Période Evaluation des PDR Au niveau des indicateurs Les indicateurs sont hiérarchisés et clairement définis: (Indicateurs d’input, Indicateurs d’output, Indicateurs de résultats, Indicateurs d’impacts et Indicateurs de référence en liens avec les objectifs du programme). La définition des 36 indicateurs de réfrence sont non seulement définis mais collectés par CE et des valeurs de références sont disponibles (baselines). Les indicateurs sont explicitement utilisés pour traduire les objectifs stratégiques du programme.

24 Période Evaluation des PDR Exemple d’indicateurs de référence en lien avec les objectifs ObjectifsIndicateurs de référence Compétitivité - Emploi dans le secteur primaire - Valeur ajoutée du secteur primaire - Productivité du travail Environnement et gestion équilibrée de l’espace -Biodiversité: population d’oiseaux liés aux territoires agricoles -Qualité des eaux: pollution par les nitrates et les pesticides Diversification et qualité de vie -Développement de l’emploi non agricole -Développement du secteur des services

25 Période Evaluation des PDR Les indicateurs de référence sont calculés et collectés au niveau européen L’organisation de l’évaluation favorise l’amélioration de la qualité du travail d’évaluation en travaillant sur une base continue et en développant la mise en réseau des pratiques d’évaluation. Ce cadre commun d’évaluation répond bien à un certain nombre de critiques identifiées dans les programmes précédents:

26 Période Evaluation des PDR Il reste cependant des limites: Les délais pour l’obtention des valeurs des indicateurs de référence (information datant de plus de 3 ans) L’absence d’indicateurs pour traduire l’objectif de développement équilibré des territoires (région défavorisée) Le manque de robustesse de certains indicateurs notamment dans l’axe 2. (l’indicateur proposé relatif à la pollution par les nitrates ou l’indicateur relatif à l’évolution des populations d’oiseaux liés aux territoires) Les liens de causalité entre les mesures du programme et leur influence sur les indicateurs d’objectifs.

27 Agenda  La politique européenne de développement rural  Les indicateurs dans les évaluations  Conclusions et perspectives  Évolution de la place de l’indicateur dans les PDR  Utilisation des indicateurs dans les PDR  En conclusion

28 Conclusions et perspectives : Évolution de la place des indicateurs  Contexte d’évaluation ex-post  Libre choix des indicateurs  Orientation de l’évaluation vers les mesures plutôt que vers le programme  Les indicateurs visent à apprécier les mesures  Orientation de l’évaluation sur le programme (approche stratégique)  Les indicateurs sont hiérarchisés ( input, output, résultats, impact)  Les indicateurs traduisent la stratégie européenne  Les indicateurs visent à apprécier les impacts stratégiques Période Période Période du rôle des indicateurs En résumé, l’évolution du rôle des indicateurs dans les PDR

29 Conclusions et perspectives : L’utilisation des indicateurs  Les indicateurs sont déterminés par l’évaluateur  Aucune homogénéité dans le choix des indicateurs  Synthèse et comparaison quantitative impossible  Les indicateurs sont déterminés par la CE et collectés au niveau des EM  Relative homogénéité dans le choix des indicateurs  Aucune homogénéité dans les protocoles de collecte des indicateurs  Importantes difficultés pour la synthèse et comparaison quantitative  Les indicateurs de référence sont collectés au niveau de la CE  Homogénéité dans les choix et dans les protocoles de collecte  Synthèse et comparaison techniquement possible Période Période Période En résumé, l’utilisation des indicateurs dans les PDR

30 En conclusion Le dispositif d’indicateurs dans les PDR a considérablement évolué: Le dispositif de collecte s’améliore progressivement même si l’exercice reste délicat et devrait encore évoluer: définition des indicateurs liens de causalité Les dispositifs d’indicateurs prennent une place centrale dans une approche stratégique dans la mesure où ils traduisent les objectifs poursuivis : ils doivent être définis en parallèle à la formulation des objectifs; ils supposent que les objectifs soient clairement définis;