DDC Le Système de Suivi – Evaluation du Programme SAHA

DDC EfficacitéEffets / ImpactsEntraînement Processus et qualité >Tableau de bord, >tableau budgétaire, >Porte Feuille d’Actions, >audit, >atelier tournant Pauvreté : enquête auprès des ménages Empowerment, approche différenciée et genre : enquête auprès des Mo Etudes de cas Enquête auprès des Mo Capitalisation des success stories Dialogue des Politiques COGE COPILO Bailleurs de fonds Gouvernement SSE

DDC C omposé de 4 éléments :  le suivi du processus de mise en œuvre (tableau de bord, suivi budgétaire, portefeuille d’actions,…)  le suivi de la qualité de mise en œuvre (évaluation convention, évaluation tripartite, atelier tournant, audits, suivi sur terrain, étude de cas, …)  le suivi des effets et impacts sur les 4 domaines (pauvreté, empowerment, approche différenciée et environnement)  le suivi des effets d’entraînement Spécificités Outcome SAHA MO Co financeurs => effets et impacts du programme vus par les MO => SSE aborde la réalité par des angles non définis par le Programme CADRE GENERAL

DDC Evaluation de la convention Mo/Saha Moment fort de l’évaluation de la collaboration sur base du document contractuel (convention signée par les 2 parties) Évaluation de la mise en oeuvre des différentes lignes d’action inscrites dans la convention Appréciation par les 2 parties des acquis de la collaboration en terme d’actions et en terme de capacités (évolution de la maîtrise d’ouvrage et d’empowerment) Un outil qui permet de statuer sur la poursuite ou l’arrêt d’une collaboration Matérialisation à travers un PV signé par les 2 parties à la fin de la collaboration

DDC Evaluation tripartite (Mo, Saha, PS) Outil de renforcement des capacités d’évaluation des Mo À chaque fin de la mise en oeuvre d’un contrat avec un PS Vérification du respect des engagements contractuels Appréciations de la qualité de la collaboration, des prestations Matérialisation à travers un PV

DDC Atelier tournant d’évaluation Outil d’évaluation de qualité de mise en œuvre à travers la collaboration MO/SAHA par les Mo eux même sur 4 thèmes : qualité des prestations de service, qualité de l’accompagnement, qualité de la prestation de SAHA, auto - appréciation des Mo Atelier d’évaluation au niveau d’une zone de concentration géographique avec la participation des représentants des Mo Espace d’expression donné aux Mo pour s’exprimer, apprécier collectivement et de façon participative leur collaboration avec le programme Un outil de management et d’orientation pour le programme Fréquence annuelle avec une dimension programme Au moins 2 ateliers tournants par coordination Standardisation outil par SAHA et exécution par des PS externes au programme

DDC *conditions et biens matériels d’existence ( augmentation épargne, investissement, acquisition nouveaux équipements, …) *bien être physique et mental des membres du ménage (diminution période de soudure, manger mieux, force physique, moins de maladies, …) *bien être social et relations avec la société (comment ils sont considérés par la société, estime social, est-ce qu’il y a plus de cohésion sociale, …) *pratiques et changement de comportement (acquisition réflexe d’hygiène, moins dépensier, ne plus être arnaqué après alphabétisation, ne plus être soulard, … *capacités d’interagir avec l’extérieur (oser réagir, entreprendre des relations économiques avec les opérateurs, tisser de nouvelles relations sociales, prise de responsabilité au sein de la société, …) SUR LA PAUVRETE EVALUATION D’EFFETS

DDC A travers 2 outils : *Enquête ménages  sur leur perception des changements de leur situation liée à la pauvreté et les causes  changements les plus importants sous forme de descripteurs  aspects qui ont déçu ou qui n’ont pas marché dans la collaboration avec SAHA *Etudes de cas  exemple analyse de l’augmentation du revenu suite aux actions filières

DDC Sur l’ empowerment et approche différenciée *Pratique de la bonne gouvernance (transparence de gestion, r é partition claire des rôles et responsabilit é s, … ) *Capacit é à s ’ organiser autour d ’ objectifs communs en tant que groupe (tout ce qui a trait à la dimension de Ma î trise d ’ ouvrage: gestion de conflits, capacit é de planification, suivi, capacit é de gestion de l ’ association en tant que groupe, … ) *Capacit é à mobiliser les autres et à en tirer avantages (lobbying, … )  Prise en compte des besoins sp é cifiques des diff é rentes cat é gories sociales et des femmes (représentativité des femmes et des exclus, considération des marginalisés, concertation avec ces groupes et prise en compte de leurs propositions, …)  D é veloppement partenariat avec les autres acteurs EVALUATION D’EFFETS (suite)

DDC A travers 2 outils : *Enquêtes MO (organisation de base, organisation faîtière, commune) :  selon un regard interne : Enquêtes exploratoires effectuées par les cadres du programme avec un atelier de digestion commune et d’interprétation des résultats  Par une enquête externe (recours à des PS) sur les descripteurs les plus importants cités par les MO *Rapport des prestataires de service  sur les success stories

DDC Cas de l’ Enquête Pauvreté : méthodologie (1/5) Première Enquête exploratoire > cadre global d’analyse qui reflète les grandes dimensions de la pauvreté rurale Enquête standardisée avec les descripteurs les plus fréquents et les importants vus par les MO Échantillonnage qui permet d’avoir une fiabilité des données, une représentativité et une extrapolation (échelle d’observation ou unité statistique : le ménage ) Mo ayant terminé au moins une action, et disposant d’une période de valorisation des acquis de sa collaboration avec SAHA Outils : questionnaire avec prétesting, manuel Récolte témoignages Dispositif : coordonnateur, responsable opérationnel, superviseur et binôme d’enquêteurs (1 externe et 1 accompagnateur SAHA)

DDC LE QUESTIONNAIRE (2/5) Revenu, Production, Désendettement Tranquillité, Alimentation, Soudure Gestion, organisation Relation sociale, Considération, Solidarité Relation économique Le questionnaire est conçu de manière à avoir une réponse permettant de faire ressortir la chaîne de causalité Les réponses sont des déclarations du ménage et elles sont validées par 2 personnes du ménage dont le chef de famille

DDC Dispositif (3/5) Animateur de discussions: Introduire Animer la discussion Poser les questions Garantir la mise en confiance du ménage Entretenir la relation de confiance Rendre l’interlocuteur plus à l’aise tout au long de l’entretien pour qu’il fournisse le maximum d’informations et qu’il soit le plus objectif possible Assurer que le silence ne s’installe entre le Ménage et le Binôme, Ne pas donner l’impression de monopoliser la parole S’assurer avoir bien compris la logique du ménage

DDC Dispositif (4/5) Transcripteur des réponses: Transcrire le plus fidèlement possible les réponses du ménage Garantir la mise en confiance du ménage Intervenir sporadiquement pour rompre le silence et combler le vide Montrer au ménage qu’il s’agit d’un entretien et non pas de dialogue S’assurer la bonne compréhension de la logique du ménage S’assurer que tous les thèmes et sous-thèmes ont été abordés et suffisamment approfondis selon les objectifs de ceux-ci.

DDC Analyse de la Méthodologie (5/5) Les principaux points forts richesse des informations collectées La composition du binôme a facilité la transcription des données du fait de la connaissance de l’ accompagnateur et du milieu et de la philosophie et approche SAHA ; Nombreux acquis ont été constaté également par les superviseurs d’enquête (renforcement connaissance et compétence en SSE, partage d’ expériences avec les responsables suivi/évaluation des CR et de la CN) et les accompagnateurs eux-mêmes (apprentissage en matière d’enquête, augmentation de la capacité d’ analyse, meilleure pratique de l’auto-évaluation, enrichissement mutuel par les échanges). Les principales limites Le coût de l’enquête ménage est assez élevé et à ce titre, elle ne peut pas être menée chaque année. Le volume du travail quotidien des enquêteurs est élevé et le rythme assez fatigant ; dépend de la disponibilité des ménages Des difficultés ont été enregistrées dans la retranscription des données en français nécessitant la consultation des fiches en version malagasy (induction, mauvaise traduction de certains termes en français, interprétation,…).

DDC Enquête Pauvreté : produits Définition d’une catégorisation de la pauvreté qui répond à la fois aux critères de SAHA et à l’auto appréciation paysanne Découverte des effets importants sentis par les ménages Identification du degré de satisfaction des ménages des 3 catégories de pauvreté par type d’effets Stratégies de la sortie de pauvreté (développement) et/ou stratégies de survie (pour ne pas retomber dans le trou de la pauvreté) 2 notes pour le COPILO pour amélioration stratégique du programme Restitution au niveau de 248 paysans avec approfondissement de la faiblesse au niveau des relations avec l’extérieur Production d’un poster sur la perception paysanne de la pauvreté

DDC Fiabilité des résultats Catégorisation des ménages basés sur 2 critères discriminatoires non interprétables méthode de triangulation qui permet de vérifier la véracité des informations. Homogénéité des réponses est assez frappante dans l’identification des effets importants et le degré de satisfaction. L’outil présente également l’avantage de donner déjà des résultats d’évolution de la situation de la pauvreté des ménages ruraux. En effet, il n’exige pas la disposition préalable d’un état zéro car l’enquête traduit déjà à travers la chaîne de causalité évoquée par le ménage l’évolution que lui même aurait enregistré depuis sa collaboration avec le Programme. En ces termes, l’outil permet de mesurer directement les effets des interventions.

DDC Merci de votre attention