La politique du FEM en matière de S&E et le rôle des points focaux du FEM Atelier sous-régional pour les points focaux du FEM Claudio Volonté Spécialiste chef de l’évaluation, Bureau de l’évaluation du FEM 3-4 novembre 2010 Johannesburg (Afrique du Sud)

Le suivi et évaluation au FEM Le suivi fournit aux instances de direction une base de décision compte tenu des progrès obtenus et donne au FEM des informations sur les résultats. Il comporte : Un recueil systématique, en continu, d’informations qualitatives et quantitatives pour surveiller les effets et les extrants des progrès et déterminer les progrès accomplis; Des données pour repérer les problèmes et proposer des solutions. L’évaluation fournit des leçons à retenir et des recommandations pour les futurs projets, politiques et portefeuilles. Elle comporte : Des appréciations périodiques des résultats selon des critères de pertinence, d’efficacité, d’efficience et de durabilité.

Suivi contre Évaluation Continu ou périodique Épisodique ou ponctuel Objectifs considérés tels que fixés Objectifs appréciés par rapport à des buts plus élevés Indicateurs acceptés comme appropriés Validité et pertinence des indicateurs évaluées Concentration sur les résultats prévus Attention accordée aussi aux résultats imprévus Méthodes quantitatives Méthodes quantitatives et qualitatives Données recueillies régulièrement Sources multiples de données Ne peut par répondre aux questions de causalité Susceptible de répondre aux questions de causalité Fonction de gestion interne Fonction externe

Rôle des points focaux du FEM dans le S&E Surveiller l’appui au FEM au niveau national. Tenir les parties prenantes informées et les consulter sur les plans, la mise en œuvre et les résultats des activités du FEM dans le pays. Diffuser les informations de S&E, en encourageant l’application des recommandations issues de l’évaluation et des leçons à retenir. Aider le Bureau de l’évaluation, en tant que premier point d’entrée dans le pays : Identifier les principales parties prenantes, Coordonner les réunions, Apporter leur aide pour l’ordre du jour, Coordonner les réponses des pays aux évaluations.

Politique du FEM en matière de S&E La politique en matière de suivi et d’évaluation du FEM a été approuvée par le Conseil en 2006 La politique établit les règles et les normes en matière de S&E Elle énonce des exigences minimum pour les activités de S&E du FEM Le Conseil a prié le Bureau de l’évaluation de réviser la politique pour le FEM-5 5

Processus de révision de la politique du FEM en matière de S&E Révision de la politique de S&E du FEM pour le FEM-5 L’actualisation du suivi est menée par le Secrétariat du FEM L’actualisation de l’évaluation est menée par le Bureau de l’évaluation du FEM Larges consultations et interaction avec les parties prenantes au moyen de sondages électroniques, d’interviews et de réunions interorganisations Interaction avec les points focaux au moyen de sondages électroniques, de questionnaires et d’ateliers sous-régionaux La Politique révisée sera présentée au Conseil en novembre 2010

Révisions proposées Référence à la gestion axée sur les résultats du FEM Clarification des rôles et responsabilités Rôle accru des points focaux opérationnels du FEM dans le S&E Partage des connaissances et apprentissage renforcés Inclusion de programmes et projets mis en œuvre conjointement Suppression du chapitre sur le Bureau de l’évaluation du FEM; report de certains éléments dans les rôles et responsabilités Suppression du chapitre sur l’Utilisation des évaluations; report de certains éléments dans le suivi/contrôle ultérieur et le partage de l’information Situation de référence des projets Project établie avec approbation du DG Nouvelle exigence minimale relative à l’engagement des points focaux opérationnels du FEM aux activités de S&E des projets et programmes

Rôle des points focaux du FEM – Révisions Les Entités du FEM doivent encourager les points focaux à s’impliquer dans les activités de S&E Elles informent pleinement les points focaux et partagent la documentation Elles encouragent les points focaux à participer aux activités de S&E Elles donnent accès à l’information nécessaire Nouvelle exigence minimale no 4 : Engagement des points focaux opérationnels Les plans de S&E indiqueront comment le projet ou programme assurera l’information et l’engagement du point focal du FEM Les Entités informeront les points focaux des activités de S&E au cours de la mise en œuvre des projets Les Entités informeront les points focaux et les associeront aux examens à mi-parcours et aux évaluations finales Le Secrétariat du FEM et le Bureau de l’évaluation du FEM peuvent fournir des appuis pour les activités de S&E par le biais du Programme d’appui aux pays du FEM

Principaux rôles et responsabilités proposés Partenaire Principaux rôles et responsabilités en suivi et évaluation Conseil du FEM Élaboration de politiques en matière de S&E Surveillance des fonctions de S&E Environnement favorable au S&E Bureau de l’évaluation du FEM Évaluation indépendante du FEM Surveillance des évaluations des projets et programmes Surveillance de la pertinence, du fonctionnement et de la qualité générale des systèmes de suivi Établissement des exigences minimales du FEM en matière de S&E Partage et diffusion des connaissances en matière d’évaluation Secrétariat du FEM Établissement de cadres de résultats au niveau des domaines d’intervention et de l’organisation Suivi du portefeuille du FEM au niveau des Entités et des domaines d’intervention Production de rapports issus du suivi du portefeuille et intégration des leçons à retenir Examen des exigences du FEM en matière de S&E dans les propositions de projets et de programmes Coordination des activités de gestion des connaissances en partenariat Groupes opérationnels des Entités du FEM Suivi du portefeuille du FEM des Entités Rapports sur les progrès, les résultats, l’apprentissage et les leçons des projets, des programmes et du portefeuille de l’Entité Assurer le suivi au niveau des projets et programmes Gestion adaptative de la mise en œuvre des projets et programmes Implication systématique des partenaires nationaux et partage des informations de S&E sur les projets au niveau national Groupes d’évaluation des Entités du FEM Évaluations indépendantes des projets et programmes et/ou de l’organisation de l’Entité Intégration systématique des activités du FEM dans les évaluations appropriées de l’Entité STAP Conseils sur les questions scientifiques/techniques en matière de S&E Appui concernant les indicateurs scientifiques et techniques Appui de la gestion des connaissances et du partage de l’information Points focaux opérationnels du FEM Collaboration au S&E au niveau du portefeuille, des projets et des programmes Autres parties prenantes (ONG et OSC, secteurs privés, membres des communautés) Participation aux activités et mécanismes de suivi Présentation de points de vue et de perceptions concernant les évaluations

Exigences minimales de S&E Conception des plans de S&E Plan de S&E concret et pleinement financé, avec aval du DG pour les projets de grande envergure et avec approbation du DG pour les projets de moyenne envergure Indicateurs SMART Cadres logiques des projets alignés sur les cadres de résultats du/des domaines d’intervention du FEM Situation de référence établie avec aval du DG Examen à mi-parcours et évaluation finale Mise en œuvre organisationnelle et budget Application des plans de S&E : le suivi et la supervision des projets et programmes comprendra l’application du plan de S&E Évaluation des projets et programmes : pour tous les projets et programmes de grande envergure Indépendante de la direction des projets ou revue par le bureau de l’évaluation de l’Entité du FEM Évaluation des extrants et des effets, de la durabilité probable et du respect des exigences minimales de S&E Doit être communiquée au Bureau de l’évaluation du FEM dans les 12 mois de l’achèvement du projet/programme [Des directives seront élaborées pour l’évaluation des projets de moyenne envergure et des activités habilitantes] Engagement des points focaux opérationnels Les plans de S&E doivent indiquer comment les points focaux seront inclus Les points focaux doivent être informés des activités de S&E, y inclus des examens à mi-parcours et des évaluations finales, et recevoir les documents préliminaires pour commentaires et les rapports finals

Sources d’information pour le S&E Rapports sur l’exécution des projets (PIR) établis tous les ans par les projets et rapports d’auto-évaluation des Entités du FEM Documents de supervision des Entités du FEM Examens à mi-parcours des projets Évaluations finales des projets Vérifications des évaluations finales par le Bureau de l’évaluation www.gefeo.org Évaluations de portefeuilles-pays du FEM au Costa Rica, aux Philippines, au Samoa, au Bénin, au Cameroun, à Madagascar, en Afrique du Sud, en Égypte, en Syrie, en Turquie et en Moldova Système de gestion de l’information sur les projets du FEM (PMIS) Évaluations organisationnelles du FEM et leçons à retenir Site web du Programme d’appui aux pays

Bureau de l’évaluation du FEM Évaluations des portefeuilles-pays (CPE) Documents du Conseil de novembre 2010

Évaluations des portefeuilles-pays (CPE) - Généralités Les évaluations de portefeuilles-pays (CPE) sont effectuées par le Bureau de l’évaluation du FEM pour analyser la totalité de l’appui du FEM fourni par l’entremise de toutes les Entités du Fonds et à tous les programmes d’un pays donné Les CPE sont menées par une équipe d’experts internationaux et nationaux indépendants Les CPE évaluent la pertinence, l’efficience et les résultats des projets du FEM au niveau du pays, pour voir : Comment ces projets fonctionnent en vue de l’obtention de résultats Comment les résultats sont liés aux programmes nationaux concernant l’environnement et le développement durable ainsi qu’aux avantages pour l’environnement mondial Objet des CPE : fournir des retours d’informations et partager les connaissances avec le Conseil du FEM et les pouvoirs publics, organisations et organismes nationaux.

Sélection des pays pour les évaluations du portefeuille Critères de sélection quantitatifs et qualitatifs Deux pays seront choisis tous les 6 à 9 mois Le Nicaragua et un groupe de pays des Caraïbes (Organisation des États des Caraïbes occidentales) ont été choisis (Année financière 2011-Année financière 2012) Quatre pays africains seront évalués en 2013-2014 (les premiers étant sélectionnés à la fin 2012) Poursuite de la collaboration avec les bureaux de l’évaluation des Entités du FEM. Deux exemples actuels, avec le Bureau de l’évaluation du PNUD : El Salvador et Jamaïque

Méthodologie et processus Examen des documents des projets et analyse de la littérature Protocoles pour les examens des projets Évaluation des avantages pour l’environnement mondial Cadre juridique du pays relatif à l’environnement Analyse du portefeuille Visites sur le terrain Examen des relations effets-impacts Analyse par triangulation et matrice des constats Principaux constats préliminaires débattus lors d’un atelier de parties prenantes Diffusion du rapport de CPE préliminaire pour commentaires Rapport de CPE final comportant Demande de réponse de la direction (Conseil et gouvernements) Consolidation des CPE dans l’ACPER (rapport annuel des évaluations de portefeuilles-pays), qui est présenté au Conseil du FEM (fin juin)

Documents du Conseil de novembre 2010 Documents du Bureau de l’évaluation Documents de travail (décision du Conseil) Rapport d’avancement par le Directeur Examen du Fonds pour la Terre (principales conclusions et recommandations) Évaluation de la Priorité stratégique pour l’adaptation (SPA) Politique révisée du FEM en matière de Suivi et Évaluation Documents d’information (pas de décision du Conseil) Rapport d’impact annuel du FEM 2010 Examen du Fonds pour le Terre (rapport intégral) Documents connexes disponibles auprès du Bureau de l’évaluation du FEM Évaluation de la Priorité stratégique pour l’adaptation (rapport intégral)

Rapport d’avancement du Directeur Le Conseil, ayant examiné le document GEF/ME/C.39/1 “GEF Evaluation Office: Progress Report from the Director” [Bureau de l’évaluation du FEM : Rapport d’avancement du Directeur], prend note des travaux menés par le Bureau et des ébauches de plan de travail pour le FEM-5 que le Bureau prépare actuellement et prie le Bureau d’élaborer un plan de travail détaillé et un budget pour la période du FEM-5 à sa réunion de mai 2011, compte tenu des commentaires qui ont été émis.

Examen du Fonds pour la Terre du FEM  Contexte Le Conseil du FEM a approuvé la création du Fonds pour la Terre en mai 2008. Cette initiative vise à établir un système de gouvernance et d’administration plus favorable à la créativité, à l’investissement et à la participation du secteur privé et à constituer un mécanisme efficace par lequel les entités du secteur privé pourront accéder au FEM Le Conseil a alloué 50 millions de dollars à cette initiative, prélevés sur les ressources du FEM-4, qui seront décaissés par le biais de « plateformes ». Ces plateformes sont des portefeuilles d’activités distinctes qui doivent être alignées sur les stratégies des domaines d’intervention du FEM et être thématiques ou programmatiques. Elles sont élaborées par les Entités du FEM et approuvées tacitement par le Conseil du FEM sur recommandation du Conseil du Fonds pour la Terre.

Examen du Fonds pour la Terre du FEM 5 plateformes ont été créées : SFI : Huit projets novateurs et axés sur le marché dans les domaines de la biodiversité des changements climatiques et des eaux internationales (FT/FEM : 30 millions de dollars – SFI : 10 millions de dollars) Plateforme du PNUE : Transformation du marché mondial pour l’efficacité de l’éclairage (FT/FEM : 5 millions de dollars – Cofinancement : US$15 million) Plateforme BIRD/CI : Programme d’accords privés de partenariats pour la conservation (FT/FEM : 5 millions de dollars – Cofinancement : 15 millions de dollars) PNUE/Rainforest Alliance : Écologisation de l’industrie du cacao (FT/FEM : 5 millions de dollars – Cofinancement : 15 millions de dollars) BID/TNC : Mécanismes de financement public-privé pour la protection des bassins versants (FT/FEM : 5 millions de dollars – Cofinancement : 15 millions de dollars)

Examen du Fonds pour la Terre du FEM Objectif : L’examen doit apporter aux donateurs, aux membres du Conseil, au Secrétariat du FEM et aux autres parties prenantes une évaluation des activités financées par le Fonds pour la Terre mises en œuvre à ce jour ainsi qu’un rapport sur les modalités de fonctionnement du Fonds. Points clés : Respect des décisions du Conseil Examen des activités du Fonds pour la Terre Engagement du secteur privé Efficience. Rapport final devant être présenté à la réunion du Conseil du FEM de novembre 2010 Équipe d'évaluation : Claudio Volonté, Juan Portillo, Leni Berliner

Conclusions Le FT n’a pas atteint son objectif. Bien que le FT ait été conçu pour être établi comme un fonds et qu’il ait été prévu qu’il le soit comme tel, il est devenu un mécanisme d’octroi de dons. Le FT a engagé les 50 millions de dollars qui lui avaient été alloués en cinq plateformes, en un peu plus de deux ans, mais il l’a fait en revenant à la façon traditionnelle de faire les choses au FEM. L’engagement avec le secteur privé, raison d’être du FT, s’est vu relégué essentiellement au niveau des projets. Les attentes concernant les cofinancement et les retours de financements n’étaient pas réalistes. Le FT n’a pas communiqué clairement ses objectifs, à l’interne ni à l’externe, et il n’était pas prévu de plan pour tirer des leçons de son expérience, de celle de l’ensemble du FEM ni de celle d’autres parties. La structure de gouvernance et de gestion du FT présentait plusieurs faiblesses, qui se sont révélées au cours de la mise en œuvre. Recommandations Le Conseil devrait demander au Secrétariat du FEM de réviser le FT pour sa seconde phase. Redéfinir les objectifs du FT, son créneau et les obstacles du marché Clarifier les conditions d’accès au FT redéfinit Renforcer la gestion

Évaluation de la Priorité stratégique pour l’adaptation (PSA) La CCNUCC a prié le FEM d’établir la PSA en 2001 Le Conseil du FEM a approuvé la PSA avec une dotation de 50 millions de dollars en novembre 2003 et les directives de la PSA en mai 2004 Clôture financière (tous les fonds ayant été alloués) en juin 2010 Le Conseil a prié le Bureau de l’évaluation du FEM de procéder à une évaluation La PSA vise à réduire la vulnérabilité et à accroître la capacité d’adaptation aux effets adverses des changements climatiques dans l’un ou plusieurs des domaines d’intervention du FEM 26 projets et programmes (PSA : 50 millions de dollars; cofinancement : 777 millions de dollars) $ par région Nombre de projets par domaine d’intervention

Évaluation de la PSA : Objectifs et approches Objectifs de l’évaluation Évaluation de la PSA et de sa mise en œuvre Évaluation des projets de la PSA Identification des leçons relatives à la façon d’accroître la résilience du portefeuille du FEM. Processus d’évaluation et tâches Document d’approche Examen de la littérature Interviews Protocole d’examen des projets Visites sur le terrain Analyse comparative avec des projets non-PSA Constats, conclusions et recommandations préliminaires Atelier de consultation Rapport final présenté à la réunion du Conseil de novembre 2010 Réponse de la direction Équipe d'évaluation : Claudio Volonté, Sandra Romboli, Joana Talafré  

SPA – Principales conclusions Tous les projets de la SPA répondent aux exigences du FEM concernant les avantages pour l’environnement mondial et tiennent compte expressément des impacts des changements climatiques sur ces avantages et sont pertinents pour le FEM. L’initiative de la SPA de 50 millions de dollars est capable, à divers degrés, d’assurer la résistance au climat par des investissements de 780 millions de dollars. Le portefeuille de projets reflète la diversité au niveau des secteurs, des thèmes et des domaines d’intervention, l’accent étant mis sur la biodiversité et la dégradation des sols. Les projets ont été élaborés conformément aux éléments et aux exigences des directives opérationnelles de la PSA, à quelques exceptions près. Les mesures d’adaptation proposées dans les projets de la SPA sont généralement des mesures du type « pas de regrets » portant sur la gestion des ressources naturelles. Les résultats obtenus à ce jour se situent au niveau des extrants. On constate une intégration systématique de l’adaptation au FEM, principalement au niveau stratégique et dans une certaine mesure dans la conception des projets, mais certains obstacles s’opposent à ce que cette intégration soit pleinement effective. Bien que le portefeuille en soit encore aux premiers stades de la mise en œuvre, certains enseignements peuvent en être tirés pour l’ensemble du FEM. La gestion du portefeuille de la PSA présente certaines faiblesses, mais il est encore temps d’y remédier. En tant que pilote d’apprentissage au sein du FEM, la PSA doit encore atteindre sa pleine efficacité.

SPA – Principales recommandations Le FEM devrait continuer de fournir des incitatifs explicites encourageant à l’intégration systématique de la résilience et de l’adaptation dans tous ses domaines d’intervention, en tant que moyen de réduire les risques auxquels est exposé son portefeuille.. Pour continuer de gérer la mise en œuvre de la PSA, le FEM doit mettre des ressources suffisantes à la disposition du Secrétariat du FEM, en sus des ressources allouées pour le traitement d’une filière de projets. Étant donné que les mesures d’adaptation incluses dans les projets de la SPA sont encore en cours de mise en œuvre, de futures évaluations pourraient offrir des possibilités de tirer des enseignements des effets et des progrès accomplis sur la voie de l’obtention des impacts. Décision du Conseil … prie le Secrétariat du FEM de veiller à ce que se poursuive l’intégration systématique de la résilience et de l’adaptation dans les domaines d’intervention du FEM, en tant que moyen de réduire les risques d’impacts liés aux changements climatiques sur le portefeuille du FEM, et prie le Secrétariat du FEM de lui faire rapport à sa réunion de novembre 2012 sur les mesures prises et les progrès réalisés.

Rapport d’impact annuel 2010 Le rapport comportera deux sections principales Impact du FEM dans la mer de Chine méridionale L’évaluation est en cours d’élaboration Le document d’approche a fait l’objet de débats lors d’un atelier à Bangkok et est en cours de finalisation L’évaluation s’achèvera en 2012 Équipe d’évaluation : Aaron Zazueta, Neeraj Negi

Rapport d’impact annuel 2010 2. Impacts des projets de biodiversité du FEM/Banque mondiale au Pérou Examen de cinq projets de la Banque mondiale achevés, qui a été mené dans le cadre de l’évaluation de GIE de pays Objectif : déterminer l’impact sur l’environnement mondial et sur la situation socioéconomique des communautés locales Méthodologie : relations effets-impacts (ROtI) Constats : Le FEM a été un contribuant clé à la conservation de la biodiversité dans les zones protégées du Pérou et leurs environs La durabilité des moyens d’existence améliorés est limitée Les systèmes d’établissement des situations de référence et de S&E sont faibles, ce qui limite la capacité de mesurer les impacts Équipe d'évaluation : Claudio Volonté, Marina Cracco

Merci ! Claudio Volonté www.gefeo.org