Éléments pour la conception dun système de suivi- évaluation Par El Hassen Ould Zein CMAP Le 22 juillet 2003

Définitions « Le suivi est lévaluation en permanence de lexécution dun projet au regard des échéances convenues, ainsi que de lutilisation par les bénéficiaires du projet, des ressources, de linfrastructure et des services mis à leur disposition » (BM) LÉvaluationLÉvaluation cest la mesure de limpact, de la performance et de lefficacité dun projet par rapport à ses objectifs initiaux.

Suivi versus Évaluation Le suivi et lévaluation sont différents, mais complémentaires : Le suivi est continu, alors que lévaluation est ponctuelle Le suivi porte sur les échéances du projet, alors que lévaluation se réfère aux objectifs de celui-ci Le suivi fourni les informations sur lexécution du projet, alors que lévaluation permet de mesurer limpact final du projet Suivi = court terme, alors quévaluation = long terme

Rôle du suivi-évaluation Bien comprendre les problèmes auxquels le projet cherche à répondre Fixer des objectifs pour le projet et ses différentes composantes Définir la stratégie, choisir les actions Définir indicateurs et buts Mettre en oeuvre Suivre et évaluer Collecte et analyse des données

Éléments du S§E Analyse des objectifs du projet/PGM Définition des besoins de S§E Identifications des indicateursindicateurs Définition des but chiffrésbut chiffrés Système qui fonctionne Données

Analyse des objectifs du projet Le système de suivi est dabord basé sur les objectifs du projet ou programme Plus les objectifs sont clairs et plus le S§E sera efficace Lanalyse des objectifs du projet/PGM permet de voir si toutes les parties engagées ont la même vision des objectifs et des cibles à atteindre

Analyse des objectifs du projet Lanalyse doit porter aussi bien sur les objectifs à long terme que sur les objectifs de court terme, ainsi que sur les objectifs des composantes du projet ou PGM composantes Lanalyse doit sassurer que les objectifs sont réalistes et mesurables Lanalyse doit porter sur les objectifs visés, sur les résultats attendus, sur les activités qui seront réalisées, etc.

Définition des besoins de S&E De la définition de ces besoins dépendra le système qui sera mis en place Ces besoins dépendent de : la nature du projet De sa taille De son but Des attentes des acteurs

Définition des besoins de S&E La définition de ces besoins permettra de fixer les objectifs du système de S&E Ces objectifs peuvent être : Évaluer les progrès réalisés Dégager limpact du projet Mesurer lefficacité de lutilisation des ressources Retenir les leçons de certaines approches Revoir la conception de certaines activités Mobiliser les communautés Vérifier les attentes des parties engagées quant aux objectifs du projet…

Les indicateurs Un indicateur est une variable qui permet de mesurer lévolution vers les buts fixés Plusieurs catégories dindicateurs Indicateurs intermédiaires ou de processus versus indicateurs finaux ou dimpact Quantitatifs ou qualitatifs Endogènes ou exogènes

Type dindicateurs IMPACT PRODUITS RESULTATS INTRANTS Ressources financières et physiques Biens et services produits par le projets Accès, lutilisation et la satisfaction Effet sur les bénéficiaires

Type dindicateurs QuantitatifQualitatif Dépenses pour les agents agricoles Qualité de la formation des agents Nombre dagents sur place Motivations des agents, capacité à transmettre savoir Amélioration des techniques de production Satisfaction des agriculteurs couverts Nutrition et qualité des terres Changement dans la perception de lindépendance alimentaire future

Type dindicateurs Intrants Produits Résultats Impact

Type dindicateurs Le CSLP ne respecte pas systèmatiquement la nomenclature présentée : Par exemple dans le domaine de la santé aucun indicateur dintrant ou de produit ne figure dans le CSLP (pas dobjectif en matière de budget…) En revanche pour léducation il y a pratiquement un indicateur de chaque catégorie (budget, nombre denseignants, taux daccès et taux dalphabétisation)

Qualité dun bon indicateur 1. Direct, cest à dire il mesure sans ambiguïté les progrès 2. Lien direct avec les interventions 3. Pertinents, cest dire il mesure les facteurs qui reflète les objectifs Pertinents, 4. Variant entre les groupes, les zones 5. Variant au fil du temps Variant au fil du temps 6. Sensibles aux interventions, il change proportionnellement au changement des éléments mesurés

Qualité dun bon indicateur 7. Pas manipulables ou sujets à des dérapages (causes extérieures) 8. Faciles à mesurer et à comprendre Faciles à mesurer et à comprendre 9. Fiables 10. Cohérents avec le cycle de prise de décision 11. Désagréges au niveau pertinent

Comment définir les buts chiffrés Les buts ou cibles sont les niveaux quantifiables des indicateurs Les cibles doivent être fixées composante par composante Il faut tenir compte de la valeur actuelle de lindicateur pour fixer la cible Il faut avoir en tête que les progrès sont plus difficiles quand la situation saméliore

Comment définir les buts chiffrés Buts Réalistes! Techniquement Financièrement

Techniquement réalistes Étalonnage: Historique (e.g. 10 dernières années) Régional (e.g. moyennes régionales) Buts Internationaux

Techniquement réalistes Simulations: Macro: Modèles déquilibre partiel, général Micro: basée sur lélasticité de réponse de lindicateurs aux changements.

Techniquement réalistes

Les données Le calcul des indicateurs nécessite lexistence de données, il faut donc que : Prévoir le type, les sources et la fréquence de la collecte des données dont il a besoinles sources Le responsable de la collecte et la procédure dobtention Définir la procédure de tenue des fichiers Choisir le contenu de la base de données Veiller à la fiabilité et à la qualité des données

Composantes dun système de suivi-évaluation Acteurs (utilisateurs, producteurs) Ressources financières, matérielles, humaines Calendrier dactivités Rôles et responsabilités Cadre législatif/juridique COORDINATION! canaux de transmission de linformation et rapports formels entre acteurs (obligations et droits).

Un système fonctionnel Système capable de chercher et dutiliser les informations pour une meilleure prise de décision

Prise de décision Collecte des données Analyse

Le principaux disfonctionnements de S&E Rôles mal définis Structures en concurrence Données tardives, mauvais format, etc. Information non pertinente Information non accessible Manque de confiance Manque de coordination Culture dutilisation de linformation?…

Réconcilier besoins et données Le système de suivi ne prévoit pas un plan de collecte et danalyse des données LONS, bien quayant entrepris un schéma directeur de la statistique, na pas encore adapté son système de collecte aux besoins du CSLP et de ses capacités par exemple en 2000/2001, il a mené : LEPCV 2000 Le RGPH 2000 LEDS 2000 LEnquête NUTICOM

Réconcilier besoins et données (suite) La faiblesse la plus importante du système dinformation en Mauritanie demeure lanalyse Celle-ci est limité par : labsence de centre de recherche la faiblesse des relations entre les utilisateurs et les producteurs de données Labsence dune stratégie dans ce domaine Labsence de culture dutilisation des donnéees Labsence doutils adéquats de diffusion et dissémination de linformation La faiblesse de la qualité des données

Quel type dévaluation? Évaluation participativeparticipative non participative Évaluation externe Évaluation conjointe

Quel type dévaluation? Les avantages de lévaluation participative sont : Favorise ladhésion des participants au projet Facilite la compréhension des objectifs du projet Augmente les chances de pérennité du projet Les inconvénients de lévaluation participative sont : Nécessite des compétences élevées Consomme beaucoup de temps Suppose la mise en place de structure de communication

Quel type dévaluation? Par des évaluateurs externes Cherche à mesurer objectivement les progrès réalisés et en mesurer limpact Conjointe Combine des points de vue externes à des points de vue internes

Qualité dun bon indicateur La qualité des indicateurs 1. Faciles à mesurer et à comprendre Faciles à mesurer et à comprendre Contre exemple : Mortalité maternelle est très difficile à mesurer, en revanche elle est fortement correlée avec la fécondité et le nombre dacouchements assistés par un personnel qualifié. 2. Variant au fil du temps Variant au fil du temps Contre exemple : Espérence de vie à la naissance 3. Pertinents Pertinents Contre exemple : Prix du m 3 deau Nombre de nouveaux terrains amenagés

Les sources de données Sources administratives : Le système dinformation en Mauritanie accorde peu de place aux sources administratives, bien que les données administratives soient peu onéreuses. Ces sources ne sont donc pas très fonctionnelles à lexception du MEN et du MDRE. Problème lié à la manipulation des données ( certaines ressources sont attribuées en fonction du nombre délèves au MEN)

Les sources de données (suite) Enquêtes quantitatives : sont nombreuses, mais de faible qualité, par exemple lEPCV 88/89, 89/90 95/ /2001, RGPH88 et 2000, EDS2000. Problème de comparabilité des données ( EPCV90, EPCV1996 et EPCV2000 trois méthodologies différentes). Programmation des opérations est déconnectée des besoins du CSLP, sauf pour la dernière enquête EPCV.

Les sources de données (suite) Enquêtes qualitatives : La première enquête a été menée en décembre 2000 par le PNUD et porte sur un échantillon de 1200 ménages, en plus de 12 focus groupes Elle permet de compléter les données quantitatives en offrant une meilleure compréhension de la perception et de lopinion que les populations ont de la pauvreté, de ses déterminants.

Lien entre la stratégie et le système de suivi Le CSLP sest appuyé sur le système existant pour faire le diagnostic et fixer les objectifs En revanche, le système na pas suffisamment tiré profit du CSLP pour créer de nouvelles synergies le système statistique continue dêtre guidé par une logique de production assez déconnectée de la demande induite par le CSLP Aucune stratégie de suivi nest définie dans le CSLP

Composantes du système? Très faibles liens entre les producteurs et les utilisateurs Comparativement à dautres pays les ressources sont relativement abondantes, mais sont mal réparties dans le temps Il est important daméliorer la coordination effective du système. Mieux prendre en compte la demande

Étapes délaboration du CSLP Stratégie nationale de lutte contre la pauvreté en 1994 et PNLCP en 1998 Actualisation de la Stratégie nationale de lutte contre la pauvreté en 1999 Adoption du CSLP en janvier 2001 (Assises nationales)

Étapes délaboration du CSLP (suite) Approbation du CSLP par le conseil dadministration de la BM et du FMI en février 2001 Loi dorientation sur la lutte contre la pauvreté Processus délaboration du rapport de mise en oeuvre du CSLP : Reconduction du dispositif institutionnel Rédaction dun rapport Ateliers interrégionaux et assises nationales en janvier 2002 Point dachèvement attendu au deuxième semestre 2002

Axes de la Strat é gie Nationale Lutte de Contre la Pauvret é 1. Accélération de la croissance 3. Développement des RH et de laccès aux services de base 4. Renforcement des capacités institutionnelles et de la gouvernance 2. Ancrage de la croissance dans la sphère économique des pauvres