24 février 2011 Le point de vue du commanditaire et de l’évaluateur Evaluation de la coopération internationale menée par la Belgique Ce document est un support à la présentation orale; il n’est pas destiné à être utilisé séparément ou en dehors de ce cadre.

Objectifs de la présentation Points clés - Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation - Le cadre méthodologique - Les types de conclusions et de recommandations L’évaluation de la note stratégique « Agriculture et Sécurité alimentaire » de la Coopération belge (mai 2002) et sa mise en œuvre « comme fil conducteur. 2 Enseignements tirés de l’expérience d’ADE en matière d’évaluations stratégiques menées pour la coopération belge

Un exemple. Evaluation de la note stratégique agriculture et sécurité alimentaire 3 (1) Codes objets SNPC CAD ‘secteur principal’ Source: Termes de Référence Objectif Fournir les éléments nécessaires à la définition d’une nouvelle stratégie de la coopération belge en matière d’agriculture et de sécurité alimentaire, sous forme de constats, leçons, conclusions et recommandations (« évaluation thématique et prospective ») Objet Note stratégique "Agriculture et Sécurité alimentaire" de la Coopération belge (mai 2002) et sa mise en œuvre Champ Période Secteurs principaux CAD 1 : “Agriculture”, “Sylviculture”, “Pêche”, “Développement Rural” et “Aide alimentaire (…)”

Objectifs de la présentation - Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation - Le cadre méthodologique - Les types de conclusions et de recommandations 4

Les évaluations stratégiques ne sont pas des évaluations de projet Enjeux méthodologiques Enjeux de gestion d’un processus complexe 5 Evaluations de projets Logique d’action explicite Ensemble limités d’actions cohérentes Questionnement évaluatif « standard » Bénéficiaires identifiables et accessibles Evaluations Stratégiques Logique d’action peu explicite Volume,diversité et niveaux d’interventions Variété des options en matière de questionnement évaluatif Bénéficiaires à différents niveaux

Objectifs de la présentation - Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation - Le cadre méthodologique - Les types de conclusion et des recommandations 6

Processus d’évaluation long et complexe 7 Hypothèses de réponse aux QE Questions d’Evaluation (QE) Critères de Jugement Indicateurs Proposition d’un échantillon: - 12 pays - Environ 30 projets Reconstruction de la logique d’intervention sur base de la Note « Agriculture et Sécurité alimentaire » (Mai 2002) Inventaire (avec enquête on-line) Rédaction du Rapport intermédiaire provisoire Séminaire interne Mise en œuvre des études de cas dans les 6 pays sélectionnés: - visite des projets - interviews des parties prenantes - focus-groupes avec les bénéficiaires - rédaction d’un aide- mémoire - séminaire de restitution Rédaction des 6 rapports-pays CdP: 7/11/2008 CdP: 26/05/2009 Réponses aux questions d’éval. Rédaction du Rapport final provisoire Conclusions Recommandations Séminaire interne CdP: 10/09/2009 Mission à Rome (FAO, PAM, FIDA) CdP: 9/01/2009 CdP=Comité de Pilotage Phase de préparationPhase d’étude Collecte des informations: - Documents - Interviews (Bruxelles) Phase de terrainPhase de synthèse

Objectifs de la présentation - Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation - Le cadre méthodologique - Les types de conclusions et de recommandations 8

Bases méthodologiques d’évaluation de la Commission Européenne Cadre méthodologique bien défini Caractéristique: « theory based evaluation » : l’évaluation par rapport à une logique d’intervention (chaine de causalité) explicite ou implicite 9 ActivitésRéalisationsRésultatsImpacts

Cadre méthodologique Une logique d’intervention Un inventaire détaillé Des questions d’évaluations –Des critères de jugement –Des indicateurs Des outils d’analyse: A un niveau global Sur un échantillon: visites de terrain 10

Logique d’intervention de la Note stratégique 11

Cadre méthodologique Une logique d’intervention Un inventaire détaillé Des questions d’évaluations –Des critères de jugement –Des indicateurs Des outils d’analyse: A un niveau global Sur un échantillon 12

Inventaire: analyse géographique 13

Inventaire: principaux secteurs d’intervention 14

Inventaire: types d’intervention 15

Inventaire: canaux d’intervention 16 Dépenses

Cadre méthodologique Une logique d’intervention Un inventaire détaillé Des questions d’évaluations –Des critères de jugement –Des indicateurs Des outils d’analyse: A un niveau global Sur un échantillon 17

Les questions d’évaluation Les question doivent couvrir - les critères du CAD -la logique d’intervention -des préoccupations spécifiques du commanditaire 18

12 Questions d’évaluation 19 QE 1Pertinence de la stratégie QE 2Cohérence dans la mise en œuvre QE 3 Cohérence de la stratégie par rapport à l’ensemble de la coopération belge et aux différents canaux d’intervention QE 4Efficacité des interventions pour augmenter les revenus agricoles QE 5 Efficacité des interventions en termes d’amélioration de la sécurité alimentaire QE 6Efficacité des interventions en termes d’économie rurale QE 7Renforcement des capacités institutionnelles QE 8Durabilité QE 9Efficience de la stratégie et des interventions QE 10Coordination et complémentarité QE 11Questions transversales – Egalité hommes-femmes QE 12 Questions transversales – Gestion des ressources naturelles et réchauffement climatique

20 Questions d’évaluation (exemple) QE4 : Efficacité des interventions pour augmenter les revenus agricoles Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles des populations ciblées ? QE5 : Efficacité des interventions en termes d’amélioration de la sécurité alimentaire Dans quelle mesure les interventions ont-elles permis d’améliorer la sécurité alimentaire des populations ciblées ? QE6 : Efficacité des interventions en termes d’économie rurale Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles et non agricoles des populations ciblées ? QE7 : Renforcement des capacités institutionnelles Dans quelle mesure les interventions menées ont- elles permis de renforcer les capacités institutionnelles des partenaires ?

21 Questions d’évaluation (exemple) Critères de jugementIndicateursSources C.J.4.1 – Les interventions ont un impact sur l’augmentation des revenus agricoles. I – Augmentation du rendement et de la production par ménage I – Accès aux marchés I – Accès aux intrants I – Accès aux et adoption des technologies améliorés I – Diffusion et utilisation des résultats de la recherche dans les interventions I – Evolution du revenu agricole Documents de programmation des interventions Rapports de suivi et d’évaluation des interventions Missions de terrain C.J.4.2 – L’échelle d’intervention et le choix des bénéficiaires permettent d’atteindre un impact significatif au niveau de la zone d’intervention (pays, région, commune). I – Type de ciblage I – Nombre et type de bénéficiaires I – Choix de la spéculation agricole/animale Statistiques agricoles Documents de programmation des interventions Rapports de suivi et d’évaluation des interventions Missions de terrain QE4 : Efficacité des interventions pour augmenter les revenus agricoles Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles des populations ciblées ?

Réponse à la question 4 Deux dimensions clé: Dimension micro. Vérifier les résultats des actions sur les rendements/sur les revenus à l’échelle des interventions (approche qualitative ou quantitative en fct des informations disponibles) Dimension macro. Combien de producteurs sont concernés par les actions ? Le nombre est-il suffisant pour espérer un impact significatif? =>Conclusion 22

Cadre méthodologique Une logique d’intervention Un inventaire détaillé Des questions d’évaluations –Des critères de jugement –Des indicateurs Des outils d’analyse: A un niveau global Sur un échantillon de pays et d’intervention 23

24 Choix des pays et des interventions: un enjeu clé, la représentativité Qualification du pays: pays partenaire (P) / pays non partenaire (NP) de la Coopération belge Aide de la DGCD ( ) –Aide totale de la DGCD –Aide totale de la DGCD en agriculture, FBS inclus –Part relative du FBS dans l’aide DGCD en agriculture –Part relative de l’aide DGCD en agriculture, hors FBS Caractéristiques des interventions financées –Nombre d’interventions en agriculture –Acteurs des interventions (CTB, ONG, VLIR, CIUF, CGIAR, FAO, BM, etc.) –Canal d’intervention (en part relative de l’aide DGCD en agriculture, hors FBS) –Type d’intervention: code CAD (311, 312, 313, et 520; en part relative de l’aide DGCD en agriculture, hors FBS) Indicateurs-clés des différents pays: –Classification du pays par revenus (BM, 2008) –Densité de population agricole (FAO, ) –Part relative des exportations agricoles dans les exportations totales (FAO, ) –% des personnes malnutries (FAO, )

25 Choix des pays et des interventions: un enjeu clé, la représentativité Privilégier la coopération bilatérale directe (programmes gouvernementaux - CTB) Représentativité des autres canaux d’intervention Représentativité des différents types d’intervention (code CAD)

Processus d’évaluation 26 Hypothèses de réponse aux QE Questions d’Evaluation (QE) Critères de Jugement Indicateurs Proposition d’un échantillon: - 12 pays - Environ 30 projets Reconstruction de la logique d’intervention sur base de la Note « Agriculture et Sécurité alimentaire » (Mai 2002) Inventaire (avec enquête on-line) Rédaction du Rapport intermédiaire provisoire Séminaire interne Mise en œuvre des études de cas dans les 6 pays sélectionnés: - visite des projets - interviews des parties prenantes - focus-groupes avec les bénéficiaires - rédaction d’un aide- mémoire - séminaire de restitution Rédaction des 6 rapports-pays CdP: 7/11/2008 CdP: 26/05/2009 Réponses aux questions d’éval. Rédaction du Rapport final provisoire Conclusions Recommandations Séminaire interne CdP: 10/09/2009 Mission à Rome (FAO, PAM, FIDA) CdP: 9/01/2009 CdP=Comité de Pilotage Phase de préparationPhase d’étude Collecte des informations: - Documents - Interviews (Bruxelles) Phase de terrainPhase de synthèse

Objectifs de la présentation - Le champs de l’évaluation: les évaluations stratégiques - Le processus d’évaluation - Le cadre méthodologique - Les types de conclusions et de recommandations 27

Type de conclusions Q4: Efficacité des interventions pour augmenter les revenus 28 Résultats positifs en termes d’augmentation des rendements et de la production Impacts sur les revenus non-constatés Pas mesuré alors qu’il s’agit d’un objectif explicit de 50% des projets étudiés Cette mesure devient une préoccupation croissante et quelques bonnes pratiques constatées Niveau micro – (interventions, projet) Nombre limités de bénéficiaires et/ou espace limité d’intervention => impact global limité Niveau macro- appréciation de l’impact global

Type de recommandations: 29 Indiquer aux différents partenaires les champs d’intervention de la coopération belge Inscrire concrètement la coopération belge dans la Déclaration de Paris et l’agenda d’Accra Préciser les objectifs, guider les choix, orienter les discussions Future « Note stratégique » R1. Une nouvelle stratégie utile pour améliorer l’efficacité de l’aide traduite dans un document cadre utile à toutes les parties concernées est nécessaire

R3: La future « Note stratégique » n’est pas un aboutissement en soi, elle devrait être un instrument dynamique de la coopération belge 30 Future « Note stratégique » Promotion Dispositions pratiques Suivi documenté Etapes de la définition et de la mise en pratique de la Note stratégique Processus participatif Type de recommandations

Pour terminer: les évaluations stratégiques ? Aspects positifs Aspects négatifs Processus long et complexe: ne pas se perdre dans le processus Repose largement sur des critères qualitatifs Bénéficiaires finaux peu présents Représentativité des études de cas Champs trop large risque de « dilution » des conclusions et recommandations Processus d’interaction avec le commanditaire bien rodé Méthodologie rigoureuse standardisée Jugement global sur un secteur, une stratégie 31