LEADER En Quercy Rouergue Méthodologique d’évaluation du programme LEADER Quercy Rouergue En Quercy Rouergue LEADER Contexte et organisation du dispositif d’évaluation Construction du dispositif d’évaluation Cadre de référence de l’évaluation Toulouse – 8 Décembre 2010

LEADER Le contexte de la mise en place de l’Evaluation MÉTHODOLOGIE Contexte Organisation Construction du dispositif Cadre de référence Le contexte de la mise en place de l’Evaluation Depuis Leader+, une volonté du GAL de faire de l’évaluation un outil de pilotage du programme et non une contrainte règlementaire : Evaluation mixte sur 3 ans : chargée mission GAL / Bureau d’étude Plusieurs moments évaluatifs : méthodologie pluriannuelle, évaluation mi-parcours, évaluation continue, évaluation finale Transfert de compétences entre bureau d’études et GAL Enjeux de l’évaluation : Outil de transparence : rendre compte du bon usage des fonds publics européens et locaux Outil d’animation : accompagner le programme en continue et s’interroger sur sa plus value pour le territoire Outil d’aide à la décision et d’orientation : suivre les facteurs de réussite et de blocage et apporter en continu des modifications stratégiques, financières et organisationnelles Outil participatif : poursuivre la mobilisation des acteurs locaux initiée sous Leader+ et pour la préparation de la candidature, offrir un lieu d’échange et de débat LEADER

LEADER Les acteurs de l’Evaluation 2007-2013 MÉTHODOLOGIE Contexte Organisation Construction du dispositif Cadre de référence Les acteurs de l’Evaluation 2007-2013 Une évaluation réalisée en interne: Chargée de mission Evaluation : ½ ETP Les acteurs mobilisés : Le Comité de Suivi de l’évaluation : l’instance de réflexion Le Comité de programmation : l’instance de validation Une mobilisation extérieure ponctuelle pour plus d’objectivité : stagiaires, groupes étudiants… Une mobilisation extérieure de personnes ressources pour enrichir : membres d’autres GAL, experts fonds européens… Les acteurs du territoire à travers des groupes de travail sectoriels et géographiques : porteurs de projets, membres du Comité de Programmation, partenaires du GAL… LEADER

Evaluation de référence MÉTHODOLOGIE Contexte Organisation Construction du dispositif Cadre de référence Les Etapes Evaluatives LEADER Evaluation de référence

Référentiel de l’évaluation MÉTHODOLOGIE Contexte Organisation Construction du dispositif Cadre de référence La démarche de construction du dispositif Objet de l’évaluation Adaptation des questions évaluatives Leader+ au nouveau programme Retour sur les questions évaluatives élaborées sous Leader+ Identification des Critères et Indicateurs d’Evaluation permettant de répondre à la question évaluative Référentiel de l’évaluation Etat des lieux des informations et des outils disponibles Analyse de la faisabilité des questions Mise en place des outils de suivi des projets et des porteurs de projets Cadre de référence de l’évaluation Définition des outils complémentaires à développer Finalisation des questions évaluatives Finalisation du référentiel de l’évaluation Quelles sont les questions que se posent les acteurs du programme et auxquelles l’évaluation doit apporter une réponse? Quels sont les éléments disponibles qui pourront alimenter l’évaluation? Quels sont les outils existants ou à mettre en place qui permettront de collecter ces informations? LEADER

LEADER Le cadre de référence 2007-2013 (1/2) 4 Composantes: Exemple 1: MÉTHODOLOGIE Contexte Organisation Construction du dispositif Cadre de référence Le cadre de référence 2007-2013 (1/2) 4 Composantes: Ce à quoi on veut répondre : les questions évaluatives Ce que l’on cherche à évaluer : les critères Ce qui nous permet d’évaluer : les indicateurs Où va-t-on trouver l’information : les outils Exemple 1: Le fonctionnement du GAL est-il efficace ? L’implication des acteurs dans les instances du GAL Le taux de participation aux réunions Les feuilles d’émargement Question Evaluative Critère Indicateur Outil Ce que l’on cherche à évaluer Ce qui nous permet d’évaluer Où on va trouver l’information LEADER Qui participe aux réunions du Comité de Programmation : représentation public-privé / représentation titulaire-suppléant / représentation féminine? Evaluation des risques de non atteinte du double quorum Sollicitation des structures ne participant jamais pour connaître les raisons et envisager remplacement de personne ou de structure

LEADER Le cadre de référence 2007-2013 (2/2) Exemple 2: MÉTHODOLOGIE Contexte Organisation Construction du dispositif Cadre de référence Le cadre de référence 2007-2013 (2/2) Exemple 2: Y a-t-il une communication suffisante sur le programme? L’efficacité et la pertinence des outils de communication du GAL L’origine du contact entre le GAL et les porteurs de projets Base de données premier contact Question Evaluative Critère Indicateur Outil Ce que l’on cherche à évaluer Ce qui nous permet d’évaluer Où on va trouver l’information LEADER Quelle est l’origine géographique des contacts? Quelle est leur forme juridique et leur domaine d’activités? Comment ont-ils eu connaissance du programme? Quel est le niveau d’information recherchée? Homogénéité de la communication sur les deux Pays Ciblage de la communication auprès de publics spécifiques

LEADER Les outils d’évaluation Les outils de référence: MÉTHODOLOGIE Contexte Organisation Construction du dispositif Cadre de référence Les outils d’évaluation Les outils de référence: Le dossier de candidature, la convention tripartite, les conventions avec les Pays… Les outils d’instruction : Les outils règlementaires de type formulaire demande subvention, conventions attributive.. Les outils spécifiques au GAL : fiche premier contact, fiche pré- dossier, fiche appréciation de projet, fiche rapport d’exécution LEADER Les outils d’évaluation : Questionnaire Qualité, Suivi des projets à un an Les outils de collecte ponctuels : enquête, entretiens Les outils de traitement et d’analyse : Tableaux de suivi financier (GAL + LeGet 27) Base de traitement des outils d’instruction spécifiques au GAL Tableau de suivi des délais d’instruction des dossiers

Evaluation de référence LEADER

LEADER L’évaluation de référence (Octobre 2009) Evaluation de Référence L’évaluation de référence (Octobre 2009) Constituer un état de référence pour les évaluations ultérieures en terme de : Stratégie Leader Organisation et fonctionnement du GAL Les moyens de mise en œuvre Articulation avec les Pays Coordination des différents intervenants Pointer les changements opérés entre les deux générations Leader et les conséquences sur la mise en place du programme en Quercy Rouergue Analyser les modalités de mise en place du programme Leader 2007-2013 et les raisons du démarrage tardif Vérifier la prise en compte des recommandations des évaluations Leader+ LEADER

Evaluation continue LEADER

LEADER L’évaluation Continue (2009-2010) Evaluation continue L’évaluation Continue (2009-2010) Suivre les données quantitatives en continu et établir un bilan quantitatif annuel intégré au rapport d’exécution Suivre la réalisation des projets et leur devenir Proposer des réajustements ou améliorations des outils d’instruction, de communication… Temps forts de la mise en œuvre du programme au niveau européen, national, régional et local Mise en parallèle activités GAL avec activités niveaux nationaux et régionaux : évolutions documents cadres, livraison des outils… Fonctionnement du programme Mobilisation dans les instances du GAL et participation aux réunions : structure, membre, privé/public, titulaire/suppléant, femme/homme. Accompagnement des porteurs de projets en phase d’émergence : profil des contacts, articulation avec Pays, info recherchée, expérience Leader Délais d’instruction des dossiers : analyse sur la base des délais intégrés dans convention et identification des points de blocage Caractéristiques des dossiers présentés en CP Profil de programmation et suivi financier : projets et consommation par action et dispositif, cofinancements Profil des MO : nature, localisation, domaine d’activité, expérience Leader Profil des projets : domaine, public cible, calendrier de réalisation, impact géographique, critères d’éligibilité Leader, durabilité, pérennisation Indicateurs de réalisation et de résultat Vision des MO sur le programme Apports Leader : effet levier, apports technique et financier Qualité de l’accompagnement, des outils et délais LEADER

Evaluation mi-parcours LEADER

LEADER L’évaluation mi-parcours (2011) Evaluation mi-parcours L’évaluation mi-parcours (2011) Affiner les données quantitatives continues par des éléments plus qualitatifs Etudier l’opportunité d’une évolution de la stratégie, des dispositifs et de la maquette financière Analyse des principaux résultats et effets du programme Proposer un moment d’échanges et de débats entre acteurs du programme Février Mars Juin Oct. Nov. Déc. Mars 2012 Présentation des résultats de l’évaluation mi-parcours en Assemblée Générale Réunions du Comité Evaluation avant l’assemblée générale : validation du cadrage de l’évaluation mi-parcours, du calendrier 2011 et des outils spécifiques pour cette évaluation. Validation du cadre de l’évaluation mi-parcours en Assemblée Générale et inscription des membres dans les commissions thématiques évaluation 3 à 5 études de cas réalisés (en fonction des dépenses, de la nature du maître d’ouvrage, du dispositif) : mission déléguée à un stagiaire ? à un groupe d’étudiant ? Enquête sur le fonctionnement du GAL auprès des membres du Comité de Programmation + 4 entretiens individuels sur la plus value du partenariat public-privé Organisation de commissions thématiques par action pour évaluer la pertinence des fiches-dispositifs et proposer des réorientations éventuelles (composition : a minima les membres du Comité de Programmation + personnes ressources concernées par la thématique). La première réunion de commission avec une visite de terrain correspondant à la thématique. Affinage des indicateurs; Analyse quantitative et qualitative ; Rédaction du rapport d’évaluation mi-parcours Révision de la maquette en fonction des propositions d’évolutions du plan de développement issues des commissions thématiques Validation des résultats de l’évaluation mi-parcours en Comité de Programmation LEADER

LEADER Documents de référence Les documents de référence de l’évaluation Documents de référence Règlement (CE) n°1698/2005 du Conseil du 20 septembre 2005 concernant le soutien au développement rural par le FEADER  Manuel relatif au cadre commun de suivi et d’évaluation de la Direction générale de l’agriculture et du développement rural et ses annexes – septembre 2006  Rapport final de l’évaluation ex-ante du PDRH 2007-2013 – novembre 2006  Complément du CCSE Leader réalisé par le Réseau Rural Européen «  Capturing impacts of Leader and measures to improve Quality of life in rural Areas » – juillet 2010  LEADER

LEADER En Quercy Rouergue FIN DE LA SEANCE Merci de votre participation En Quercy Rouergue LEADER Pour plus d’informations sur les Fonds Européens en Midi Pyrénées : http://www.europe-en-midipyrenees.eu/ GAL Quercy Rouergue 6 avenue Bernard Fontanges 46100 FIGEAC Tel : 05 65 14 08 69 Fax : 05 65 14 05 57 E-Mail : gal.quercyrouergue@wanadoo.fr www.leader-quercyrouergue.org