DIME Impact Evaluation Workshop Innovations for Agriculture June 2014, Kigali, Rwanda

Impact Evaluation Workshop Innovations for Agriculture 16 – 20 June 2014 Kigali, Rwanda PROJET D’ACTIONS COMMUNAUTAIRES POUR LA RESILIENCE CLIMATIQUE (PACRC) NIGER

Intervention Summary Objectif: Améliorer la protection des populations et des systèmes de production contre la modification et la variabilité du climat dans les Communes Ciblées. Composantes: COMPOSANTE 1: Intégrer la résilience et les connaissances climatiques dans les politiques sectorielles et locales COMPOSANTE 2: Améliorer la résilience des systèmes agro- sylvo-pastoraux et des populations locales COMPOSANTE 3: Assurer la coordination institutionnelle du projet et la coordination stratégique du PSRC

SITUATION DES SOUS PROJETS MIS EN OEUVRE Type de sous projetsSous projets exécutés au 31 décembre 2013 Sous projets exécutés ou en cours au 30 avril 2014 Sous projets agricoles65102 Sous projets pastoraux3646 Sous projets GDT3244 Sous projets filets sociaux93100 Sous projets infrastructures5475 Total280367

Questions d’évaluation 1.Les pratiques agro-sylvo-pastoraux sont-elles réellement résilientes aux effets des changements climatiques: la réduction des déficits céréalier et fourrager présume t- elle d’une résilience de ces systèmes? Si oui à quel degré? 2.La réhabilitation des infrastructures et les mesures de protection sociale ont elle entrainé une résilience des populations bénéficiaires? Si oui à quel degré? 3.La combinaison des 2 pratiques n’aurait –elle pas plus d’impact? Les mesures des impacts réalisées sur l’ensemble du territoire communal et sans groupes témoins permettent t- elles d’apprécier objectivement les impacts dus aux interventions du projet?

Evaluation Design 1.Ramener le niveau d’évaluation au niveau de villages au lieu de communes 2.Utilisation de l’approche de double différence (suivre les villages de traitement et contrôle avant et après le projet) 3.Phase aléatoire (choix de villages de traitement façon aléatoire par année)

Sample and data villages seront touchés par les interventions du projet sur 3 ans 2.1/3 de villages (633) seront touchés chaque année (groupe de traitement) et les autres villages non touchés constitueront le groupe de contrôle 3.Collecte de données de base des villages de traitement et de contrôle 4.Collecte, traitement et analyse de données d’évaluation

Timeline ActivitésPériodeActeurs Renforcement des compétences des acteurs nationaux et développement du plan d’évaluation Août 2014DIME, World Bank Niger Situation de base des villages bénéficiaires Septembre 2014Projet et DIME Choix de villages de traitementNovembre 2014Projet, communes et DIME Collecte, traitement et analyse de données Chaque annéeProjet, communes et DIME Utilisation et dissémination des résultats Projet, communes, DIME, World Bank Niger

Conclusion ATOUTS DU PACRC POUR UNE COLLABORATION AVEC DIME Le PACRC est un projet pilote du CIF (PPCR) Le projet est en restructuration, donc possibilité d’introduire EI Le dispositif de suivi-évaluation du projet est entrain d’être renforcé: 8 Assistants suivi-évaluation au niveau régional Spécialiste suivi-évaluation de la Banque Mondiale

Presentation ends here

DIME Impact Evaluation Workshop Innovations for Agriculture June 2014, Kigali, Rwanda

Impact Evaluation Workshop Innovations for Agriculture 16 – 20 June 2014 Kigali, Rwanda Agriculture Investment and Market Development Project Cameroon

Intervention Summary Objective: To support the transformation of the low- productivity, subsistence-oriented cassava, maize, and sorghum subsectors into commercially-oriented and competitive value chains in four agro-ecological areas. Focus on two technical components Supporting: Production + Processing + Marketing (1)Partnerships (producers & buyers) (2)Sub-projects (cooperatives) (3)Public infrastructure (4)Finance Supporting: Public services + technology transfer (1)Seeds (production & certification) (2)Public-private partnerships (3)Technology transfer

Results Chain Value chain ProductionPost-HarvestMarket Higher yields Higher Quality Added value Less waste Higher sales Higher premiums Results chain - Inputs (e.g. seeds) - Technology - Cooperatives - Processing - Storage - Access - Price (through contracts) Intervention areas

Evaluation Questions How does access to matching grants affect producers’ capacity to produce, sell and generate profits?

Evaluation Design We use a difference-in-differences approach to measure the impact of matching grants: 1.Agri-businesses will select potential partner cooperatives 2.Cooperatives will compete for the contracts 3.A sub-set of cooperatives will be contracted The impact evaluation will be based on a comparison between cooperatives that are contracted (treatment) with those that are not (control)

Sample and data The survey respondents will be randomly selected from the roster of cooperative members Farmers in both the treatment and the control group will be interviewed Detailed data collection on household-plot-crop level will be collected in order to allow for accurate measurements of agricultural productivity, sales and costs (to calculate the price premium) Additional information on household level socio-economic characteristics will be collected

Timeline Baseline data collection: Data collection will follow a gradual approach following the demand from agri-businesses Baseline data collection commences as early as beginning 2015 Evaluation period will vary between one to three seasons depending on the contract signing date Total project length is 5 years until Sept 2019

Thank you for your attention ??!!!!!!!

DIME Impact Evaluation Workshop Innovations for Agriculture June 2014, Kigali, Rwanda

Impact Evaluation Workshop Innovations for Agriculture 16 – 20 June 2014 Kigali, Rwanda Renforcement des Services Publics Agricoles (RESEPAG) HAITI

Intervention Summary Objective: Renforcer les services publics agricoles pour un accompagnement efficace du monde rural Components: -Appui aux services locaux de vulgarisation et innovation agricole à travers le renforcement des organisations d’agriculteurs; -Appui aux femmes membres des organisations d’agriculteurs

Evaluation Questions La vulgarisation et l’innovation agricoles conduisent-elles à une amélioration des conditions de production et une augmentation de la quantité produite? Le renforcement de la capacité des femmes (en matière de gestion d’entreprises et dans le domaine de la nutrition) peut-il induire un revenu plus substantiel et une amélioration de la situation nutritionnelle dans les familles?

Indicateurs d’impact 1 Aspect vulgarisation et innovation: -L’amélioration du revenu des producteurs par l’augmentation de la production, du rendement et de la productivité -Le renforcement des capacités des réseaux de producteurs (Plus de réseaux organisés) -La baisse de l’Insécurité Alimentaire en milieu rural

Indicateurs d’impact 2 Aspect genre: -La fréquence de la consommation (nombre de repas consommé par jour) -L’augementation de la diversité ou l’amélioration de la diète alimentaire (Les aliments consommés au cours des sept jours précédant l’enquête) -Le revenu des femmes.

Evaluation Design Difficulté: – Nombre d’associations éligibles et, donc, les futures bénéficiaires présentement ne sont pas connus – Inexistence de la population cible, donc difficulté de randomisation du choix des groupes de traitement et de contrôle à ce niveau (Méthode expérimentale non appliquable ici)

Evaluation Design Aspect Vulgarisation et innovation: – Choix de la méthode quasi expérimentale (appariement) avec un plan d’échantillonnage systématique à deux degrés: 1.Selection du groupe de traitement dans l’échantillon d’associations éligibles, échantillon préalablement sélectionné suivant un plan systématique 2.Selection du groupe de contrôle parmi les membres d’associations non bénéficiaires du projet suivant la la méthode d’appariement (variables à utiliser: taille de l’exploitation, cultures produites, revenu…)

Evaluation Design Aspect Genre: Selection des groupes 1.Randomisation à l’échelle des associations pré sélectionnées 2.Echantillonnage: 1.Si, dans une association bénéficiaire, l’effectif est faible, toutes les femmes seront sélectionnées 2.Si, en revanche, l’effectif est élevé, X% (à determiner) de femmes seront selectionnés aléatoirement.

Opérationnalisation (pour les 2 méthodologies) Etablissement d’une ligne de base (situation de réference) à partir d’une enquête auprès des groupes de traitement et de contrôle Evaluation de l’impact en milieu et après l’implémentation du projet (encore à partir d’enquête) Méthode de double différence dans l’analyse des données (avant-après / avec-sans)

DIME Impact Evaluation Workshop Innovations for Agriculture June 2014, Kigali, Rwanda

Impact Evaluation Workshop Innovations for Agriculture 16 – 20 June 2014 Kigali, Rwanda Programme de Productivité Agricole en Afrique de l’Ouest PPAAO/WAAPP Senegal

PPAAO/WAAPP Objectif: L’objectif est de contribuer à l’augmentation de la productivité agricole dans les filières, par le développement, la diffusion et l’adoption de technologies dans les filières prioritaires nationales et régionales. Composantes – Conditions propices à la coopérations régionale en matière de développement et de dissémination et adoption de technologies – Centre National de Spécialisation sur les systèmes de cultures à base de céréales sèches (mil, maïs, sorgho, fonio) et les cultures associées (arachide, niébé et sésame) – Financement à la demande du développement, de la diffusion et de l’adoption des technologies améliorées – Coordination, Gestion et Suivi & Evaluation du programme

Projet : Diffusion de l’incorporation des farines de cereales locales (mil, maïs sorgho) dans la panification et les viennoiseries Objectif: L’objectif spécifique du projet est d’assurer l’incorporation et la promotion des farines de mil, de maïs et de sorgho dans la panification et les viennoiseries des boulangeries Composantes: – Renforcement des capacités des organisations de producteurs – Renforcement des capacités des transformateurs – Renforcement des capacités des Boulangers – Communication

Questions d’évaluation QUESTION GENERALE Le projet a t-il eu un impact sur les revenus/chiffres d’affaire des acteurs bénéficiaires (producteurs et leurs organisations, transformateurs, boulangers) ? QUESTIONS SPECIFIQUES: aucune possibilité de les évaluer avec une méthode rigoureuse

Méthode d’évaluation Proposition : Double différence + appariement Producteurs: – Groupe traitement = les 2500 producteurs membres des 4 OP faitières impliquées dans le projet ayant bénéficié de l’intervention – Groupe de contrôle = d’autres producteurs (non membres des 4 OP faitières) ayant les mêmes caractéristiques suivant les critères de choix et d’autres critères qui peuvent influer sur le revenu

Méthode d’évaluation Transformateurs: – Groupe traitement = les 15 unités de transformation impliquées dans le projet – Groupe de contrôle = d’autres unités de transformation ayant les mêmes caractéristiques suivant les critères de choix et d’autres critères qui peuvent influer sur le chiffre d’affaire Boulangers : – Groupe traitement = les 230 boulangeries de la FNBS impliquées dans le projet – Groupe de contrôle = d’autres boulangeries ayant les mêmes caractéristiques suivant les critères de choix et d’autres critères qui peuvent influer sur le chiffre d’affaire

Echantillon et données Indicateurs: – Revenu des producteurs – Chiffre d’affaire des transformateurs – Chiffre d’affaire des boulangers Groupes traitement: – 230 boulangeries – 15 unités de transformation – Producteurs: 2500 bénéficiaires Budget Calculs de puissance statistique Groupe de contrôle: calculs de puissance statistique

Calendrier Juin 2013-Juin 2014: mise en place des équipements des producteurs, des transformateurs et des boulangers A partir de Septembre 2013: communication Octobre 2014-Décembre 2014: formation des OP et de leurs membres, des transformateurs et des boulangers Novembre 2014 : Enquête de base auprès des producteurs, transformateurs et boulangers A partir de Décembre 2014: Livraison des céréales aux transformateurs et de la farine aux boulangeries et production de pains et viennoiseries Novembre 2015: 1 ière Enquête de suivi auprès des producteurs, des transformateurs et des boulangers Novembre 2016: 2 ière Enquête de suivi auprès des producteurs, des transformateurs et des boulangers

DIME Impact Evaluation Workshop Innovations for Agriculture June 2014, Kigali, Rwanda

Contexte et Problèmes Baisse de productivite et rentabilite du café – Vieillissement du verger caféicole (les caféiers produisent moins & valorisent moins les engrais) – Pas d’utilistion de bonnes pratiques agricoles – Ces problèmes sont amplifiés par la volatilité des cours mondiaux du prix du café Il y a des technologies innovantes qui permettent l’adaptation & l’atténuataion des effets négatifs – Les caféiculteurs ne les utilisent pas soit parce que (i) manque d’information & capacité technique; (ii) difficultés financieres; et (iii) les deux 40

Resumé du projet Objectif: – Tester des pratiques des gestion durable dans les zones caféicoles qui améliorent la productivité et le bien-être socio-économique des caféiculteurs Composantes – Appui à la gestion durable des zones caféicoles – Lutte contre les sources de pollution dans les stations de lavage de café – Diversification des moyens de subsistance 41

Questions d’ évaluation Quelles sont les meilleures stratégies pour améliorer la productivité du secteur café et le bien-être du cafeiculteur? 1. L’amelioration des services de vulgarisation (e.g., formation et encadrement) conduit-elle à l’utilisation des nouvelles technologies et contribue-t-elle à accroître la productivite? --Si oui, les effects sont-ils le résultat de la formation ou de l’encadrement? 2. L’octroi des subventions incite-il à l’utilisation des innovations technologigues et contribue-t-il a accroître la productivite? --Si oui, l’ efficacité de subventions depent-t-elle du niveau de contribution des beneficiaries? 3. La combinaison des deux stratégies précedentes condurait-elle davantage à l’utilisation des innovations technologigues ainsi qu’ àaccroître la productivite? 4. Comment améliorer la productivité des femmes cafeicultrices? 42

Stratégies et innovations à tester L’ évaluation teste les effects de 4 stratégies (et sous-stratégies) – Strategie 1: Formation et encadrement technique A)Formation seulement B)Formation + Encadrement technique – Strategie 2: Octroi des subventions pour l’achat des technologies innovatives A)Contribution a 15 % B)Contribution a 30% – Strategie 4: combinaison de Stratégie 1 et Stratégie 2 – Stratégie 4: (seulement pour femmes caféicultrices) A)Bons d’appui pour atténuer les contraintes & tâches ménagères B)Octroi des telephone mobiles pour faciliter l’ accès aux conseillers agricoles 43

Indicateurs de résultats Adoption et utilisation des technologies innovantes Productivité et niveau de production (quantité et qualité) Diversification agricole Superficie consacrée à la caféiculture Niveau de revenus et profits Nouveaux investements Epargne et consommation Achat de nouveaux équipements Securité alimentaire et nutritionelle

Methode d’ evaluation 45 Synthèse  Méthode expérimentale sera utilisée pour identifier les effets des différentes stratégies sur les résultats  L’ évidence pour questions 1-3 sera fournie par:  Assignation aléatoire des stratégies 1-3 à différentes unités  Le project ciblera 120 collines et donc 30 pour chacune des trois strategies principales et 30 pour un groupe de control Formation/Encadrement: OUI Formation/Encadrement NO Octroi des subventions: OUIStrategie 3 (30 sous-collines) Strategie 2 (30 sous-collines) Octroi des subventions: NOStrategie 1 (30 sous-collines) Groupe de contrôle (30 sous-collines)

Méthode d’ evaluation… L’évidence des sous-strategies 1A et 1B: – ½ des collines qui recoivent strategie 1 sera assignée aléatoirement à sous strategie A et l’autre ½ a sous-strategy B (15 collines chacune) L’évidence des sous-strategies 2A et 2B: – ½ des collines qui recoivent strategie 2 sera assignée aléatoirement a sous strategie A et l’autre ½ a sous-strategie (15 collines chacune) L’évidence des 2 sous-stratégies relative au genre: – 50% des femmes dans les collines ciblées par les strategies 1 et 2 recevront un bon d’appui (25%) pour atténuer les contraintes ménagères soit un telephone cellulaire (25%) – L’autre 50% ne recevra pas d’appui suplementaire

Echantillonage Le projet bénéficiera à 10,000 – 15,000 cafeiculteurs dans les sous-collines ciblées Un échantilonnage représentatif (10-20 ménages par colline) sera sélectionné pour faire l’objet des enquêtes de base et de suivi Nous essayerons de cibler les memes ménages/caféiculteurs pour les enquêtes de base et pour les enquêtes de suivi L’enquête des ménages sera complétée par une enquête des institutions et infrastructures communautaires et celle des chefs de sous-collines

Etapes suivantes Enquête de base: – Juillet-Septembe 2014 Début des activities: – Septembe-Décembre 2014 Enquête mi-parcours: – Décembre-2015 Enquête finale: – Décembre 2016

Questions à résoudre Revoir/modifier l’EI en cours Allongement des délais avant Mise en oeuvre des activités Coûts suplémentaires