FORMATION – SUIVI & EVALUATION Development Grants Program (DGP) juillet 2010 Dakar, Senegal

Sujet à traiter  Comprendre les Indicateurs Standard  Configurer des systèmes de collectes de données: –Plan d'acquisition de données (sources, des stratégies et des outils) –Plan d'analyse des données, avis et rapports –Données de base, objectifs et réalisations 2

–Assurer la qualité des données –Réaliser une évaluation de la qualité des données –Présenter des données et rédiger le rapport annuel 3

Comprendre les Indicateurs Standard Indicateurs Standards pour les projets Eau- Assainissement

STANTARD INDICATORS OF USAIDDETERMINING METHOD Nombre de personnes dans les zones ciblées ayant un accès amélioré à l’approvisionnement en eau potable grâce à l’assistance du gouvernement américain, à travers le Programme USAID/PEPAM Nombre de personnes polarisées dans un rayon d’un kilomètre au plus par les forages et les puits équipés de motopompes ou de pompes manuelles nouvellement construits ou réhabilités. Sur la base des normes du PEPAM, on considère qu’un forage ou un puits moderne dessert en eau potable 150 personnes. Nombre de personnes dans les zones ciblées ayant un accès amélioré à l’assainissement grâce à l’assistance du gouvernement américain, à travers le Programme USAID/PEPAM Sur la base des normes du PEPAM, on considère qu’une latrine individuelle, quel que soit le type (SANPLAT, DLV, VIP, TCM) est utilisée en moyenne par 10 personnes régulièrement. Nombre d’Associations des Usagers de l’Eau, de Prestataires privés et d’organisations Communautaires de Base ayant reçu une assistance du gouvernement américain, à travers le Programme USAID/PEPAM Nombre de prestataires privés formés dont leurs compétences ont été renforcées en entreprenariat et/ou en techniques de construction d’infrastructures hydrauliques et d’assainissement + nombre d’associations des usagers de l’eau formées + nombre d’ONG + nombre d’organisations communautaires de base 5

PLAN DE SUIVI EVALUATION DES INDICATEURS STANDARDS DE L’USAID Ce qui est suiviIndicateursSources de vérification Méthodes et outils PériodicitéResponsabilité CollecteAnalyseDiffusion L’accès à l’eau Nombre de personnes dans les zones ciblées ayant un accès amélioré à l’approvisionnement en eau potable grâce à l’assistance du gouvernement américain, à travers le Programme USAID/PEPAM Rapports PEPAM, Rapports services régionaux de l’hydraulique et de la statistique, Rapports d’exécution du Projet Fiche de collecte de données Trimestriell e ONGM&ECOP L’accès à l’assainisse ment Nombre de personnes dans les zones ciblées ayant un accès amélioré à l’assainissement grâce à l’assistance du gouvernement américain, à travers le Programme USAID/PEPAM Rapports PEPAM, Rapports services régionaux de l’assainissement et de la statistique, Rapports d’exécution du Projet Fiche de collecte de données Trimestriell e ONGM&ECOP Renforceme nt des capacités des acteurs locaux Nombre d’Associations des Usagers de l’Eau, de Prestataires privés et d’organisations Communautaires de Base ayant reçu une assistance du gouvernement américain, à travers le Programme USAID/PEPAM Rapports PEPAM, Rapports services régionaux de l’hydraulique et de l’assainissement, rapports AUE, Rapports d’exécution du Projet Fiche de collecte de données Trimestriell e ONGM&ECOP

THE SCALES OF DETERMINATION OF INDICATORS Indicators at village level Indicators at NGO/(or groups of villages) level Indicators at region level REGION 1 NGO 1 Village 1 of the first department Village 2 of the first department Village n of the first department NGO n Village 1 of the department n Village 2 of the department n Village 3 of the department n ……… ……. ….

PRESENTATION DU SYSTÈME DE GESTION AUTOMATISEE DE L’INFORMATION DE SUIVI- EVALUATION  Le Programme a développé sous Excel une base de données pour assurer le suivi des indicateurs.  La base de donnée est bien adaptée aux habitudes informatiques des acteurs et aux besoins spécifiques du Programme USAID/PEPAM en raison de la simplicité de son support (Excel) et de la modestie des données de suivi qu’elle permet de gérer.

La base de données de suivi-évaluation présente les avantages suivants: –Confort : l’utilisateur se sent à l’aise dans la saisie ou la consultation des données. –Efficacité : l’utilisateur peut faire aisément des simulations aux fins de prises de décisions éclairées. En effet, le Chargé de Programme, par exemple, pourra connaître le comportement des indicateurs du Programme, une fois que des valeurs simulées sont introduites dans la base afin de pouvoir prendre des décisions résolument orientées vers l’atteinte des résultats prévus. –Maniabilité : l’utilisation de la base de données ne requiert que des connaissances sommaires en informatique, c’est-à-dire, savoir ouvrir un fichier, y saisir des données et les enregistrer. 9

–Adaptabilité : la base de données peut être réaménagée au besoin afin d’intégrer de nouvelles préoccupations de suivi du processus de mise en œuvre des activités du Programme. –Sécurité : les erreurs de saisie sont limitées pour les réponses aux questions dichotomiques. En effet, un assistant de choix est intégré à chaque cellule y relative et un message d’alerte s’affiche en cas d’erreur de saisie. Qui plus est, pour plus de sécurité, toutes les cellules de la base de données sont protégées par des mots de passe à l’exception de celles prévues pour être renseignées. 10

Configurer des systemes de collectes de donnees –Plan d'acquisition de données (sources, des stratégies et des outils) –Plan d'analyse des données, avis et rapports –Données de base, objectifs et réalisations 11

La Collecte des Données

Sources des données  Données existantes: avant de recueillir de nouvelles données, vérifier si les données existent déjà –Archives du gouvernement - les données du recensement de la population /, sondages, etc –ONG / registres des partenaires - d'autres organismes intervenant dans la même région peuvent avoir déjà recueilli des données  Nouvelles données: Si ces données n'existent pas, le titulaire peut choisir de le recueillir 13

Les stratégies de base de collecte des données Observation – Regarder et écouter Instruments – Mesurer a l’aide de dispositifs: thermomètres, balances, utilisation de traces de preuves (par exemple l’ érosion) Poser des questions – individus, communautés, etc. Examens des documents – des données secondaires: enquêtes, rapports, statistiques de l'État, etc.

Observation Regarder et écouter - photographie, enregistrer ce qui arrive naturellement dans une situation - sont toutes de bonnes méthodes de collecte des données.  L'observation peut être structuré ou non.  Elle peut porter sur des questions quantitatives ou sur des questions qualitatives  L’observation n'est pas automatiquement discrète ou non réactive.

Certaines approches sont discretes. Elles ne perturbent pas la situation en vue de recueillir des données. Rester au coin de la rue et compter le nombre de taxis qui passent Nous devons tenir compte des effets que l'observation peut avoir. Observation

D'autres approches sont plus intrusives, et les réponses peuvent parfois être affectées. Les gens réagissent quand vous leur donner de l’attention. Portez des vêtements formels et un badge et s'asseoir à l'arrière d'une salle de classe et observer les élèves et les enseignants. Observation

Nouveaux Cas de choléra signalés Cliniques Des cartes simples qui affichent des données et leurs relations peuvent être utiles Observation

Instrument de stratégie Lorsque les instruments de mesure existent, ils peuvent fournir des données très précises et fiables:  Presque toute mesure normalisée ou scientifique test est un instrument de mesure  La plupart des instruments de mesure ne produisent que des données quantitatives. Exemple: la quantité de bactéries du lait

Poser des questions: Face à face - dans les interviews, ou Sur le papier - au moyen de questionnaires écrits Dans les deux cas, vous devez préparer votre questions avec soin - et «pré-tester" votre processus

Envisager des questions ouvertes: En quoi cette formation a ete utile? _____________________________________ Mélangé avec des questions fermées: Possedez vous une entreprise? Oui Non Poser des questions:

 Faire réagir les gens de la manière la plus simple possible Le manuel de formation est une source précieuse d'informations.  1-Entierement d’accord  2-D’accord  3-Indécis  4-Pas d’accord  5-Fortement en désaccord Le manuel de formation est une source précieuse d'informations.  1-Entierement d’accord  2-D’accord  3-Indécis  4-Pas d’accord  5-Fortement en désaccord Poser des questions:

Eviter les questions “et”. Example: Aimez-vous l'emplacement et la qualité de service dans les centres de refuges pour femmes? Vous pourriez aimer la commodité, mais pas la qualité N’utilisez pas de mots qui pourraient influencer la reponse. Example: Êtes-vous en faveur de l'approche utilisée pour résoudre le problème? Poser des questions:

 Eviter d’avoir des reponses qui sont mutuellement exclusives What is your age?     Over 50 A 30 ans, qqun pourrait être dans deux catégories. Si vous avez moins de 20 and, il n'ya pas de catégorie de réponse appropriée Poser des questions:

Eviter d’utiliser du jargon, Évitez le jargon, les acronymes et des mots que les gens peuvent ne pas connaitre! Example: Est ce que les documents sont orientes sur le projet PNPI; PARPA; PENII stratégie de prévention et accélérée pour la discussion? Poser des questions:

D'importants outils de collecte de données  Entrevues avec les principaux informateurs  Entrevues avec les communautés  Les entrevues des groupes de discussion  échantillon informelle (non aléatoire) des enquêtes  Observation directe structuré  Cartographie et techniques et diagrammes

Informateur Principal Un expert ou une personne très bien informée sur le sujet qui peut répondre à beaucoup de questions pour lesquelles nous sollicitons des réponses.

Entrevue des communautes Ouvert à tous, ou au moins à un grand nombre des gens qui veulent participer et contribuer aux réponses.

Les entrevues des groupes de discussion Limitée à des personnes qui forme une description similaire - Groupe homogène. Les questions visent souvent à tester leur réaction à une idée. Aimez vous les fleurs violettes?

La plupart des PMPs s'appuient sur une combinaison de stratégies - examen des documents, une observation, instruments là où ils existent et peuvent être appliquées, et quelques questions directes de personnes qui peuvent avoir des réponses Combinaison de strategies

Autres questions à examiner  Fréquence et moment de l'acquisition des données: À quelle fréquence les données seront reçues par le titulaire, et quand.  Individue(s) responsable: identifier le membre du personnel qui sera directement responsable de l'acquisition des données.  Lieu de stockage de données: Identifier où les données seront conservées par le titulaire (par exemple, un dossier spécifique sur un ordinateur partagé). 31

Plan d'analyse des données, avis et rapports  Comment les données brutes seront analysées? –En comparant les données ventilées (différences entre les populations) –En comparant la performance passée avec la performance actuelle (pré-et post-résultats de l'enquête) –En comparant les résultats avec le rendement prévu ou ciblés (objectifs réunion?) Les outils d’analyse  feuilles de calcul simples (MS Excel)  Systèmes d'analyse de données (SPSS, MS Access, etc) 32

Examen des données  Quand et comment les données et l'analyse seront examinées? –Examiner trimestriels, –Examiner avec les partenaires, bailleurs et gouvernements, ou –Examiner l'activité par le personnel  Qui sera responsable de la collecte de données, d'analyse et d'examen?? 33

Performance de Base La valeur de l'indicateur de performance au début de la période de planification.  Les données de base peuvent / doivent être: 1.Definies juste avant la mise en œuvre de l'USAID soutenu par des activités qui contribuent à la réalisation des résultats pertinents du projet (s) 2. Mesurée par la même méthode de collecte des données que les ONG utilisent pour évaluer les progrès (SIRP) 3.Modifié si les méthodes de collecte de données changent 4.Zéro si mesure des résultats directs du projet. 34

Objectif de Rendement (s) Les engagements pris par les ONG par rapport au niveau et au calendrier des résultats sont à atteindre dans un délai déterminé..  Objectifs: Peut être exprimée en quantité, la qualité ou l'efficacité Peut être déterminée par la mise en objectif final d'abord, puis des objectifs intermédiaires Peut être nécessaire de fixer après les activités ou les sites sont sélectionnés Peut être ajustée au fil du temps Devraient être réalistes! Devrait être en dehors de la marge d'erreur de tendance historique 35

36 En se fixant des objectifs, examiner: Base (état avant l'intervention) Les tendances historiques Jugements d'experts Les résultats des recherches Les réalisations des programmes similaires effectués ailleurs Attentes des parties prenantes Cadres Objectifs et résultats Budgets prévisionnels Comment se fixer des objectifs?

Assurer la qualité des données Les cinq critères clés pour évaluer la qualité des données de performance sont: »Validité »Intégrité »Précision »Fiabilité »Opportunité 37

Validité La mesure dans laquelle les données sont clairement et directement le résultat de mesure qu'ils sont destinés à mesurer 38

Problèmes commun de validité  Pas logique Les données devraient être une mesure valable et logique pour le résultat  Les erreurs de mesure Mauvais processus conception ou gestion de la collecte des données 39

 Echantillons pas suffisamment représentatifs Échantillons doivent être suffisamment représentatifs pour généraliser avec confiance les données / résultats des programmes destinés à une population plus large  Simples erreurs de transcription De simples erreurs de saisie de données, esp. d'un document à un autre, ou d’une base de données à une autre 40

Intégrité Il y a en place des mécanismes établis pour réduire la manipulation ou de simples erreurs dans la collecte, l'analyse et la communication des données 41

Précision Les données sont suffisamment précises pour donner une image fidèle de la performance et de permettre des décisions de gestion Précision = définit clairement les données exactes à collecter 42

Fiabilité La stabilité ou la constance du processus de collecte de données 43

Les principales questions à examiner avec la fiabilité  Le processus de collecte des données devrait être compatible d'une année à l’autre  Des méthodes identiques ou similaires doivent être utilisés (par exemple un même instrument, questionnaire, processus, etc)  Les progrès devraient reflète un changement réel, et non pas les variations de la collecte des données  Si les processus ne sont pas fiables, les données peuvent être compromises et les résultats mis en cause 44

Timeliness Fréquence - les données doivent être disponibles sur une base assez fréquentes pour informer régulièrement les décisions de gestion du programme Monnaie - les données doivent être suffisamment à jour pour être utile dans la prise de décision (sans temps de latence plus de 3 ans) 45

Évaluation de la qualité des données Objectif: "Veiller à ce que la mission/bureau de l’ USAID et l’aide objective (AO) de l'équipe sont conscients des forces et des faiblesses des données, tel que déterminé par les cinq normes de qualité des données... et sont conscients de la mesure dans laquelle l'intégrité des données peut etre garantie pour influencer les décisions de gestion. "(ADS ) 46

Evaluation de la qualité des données Examiner la sélection des indicateurs en termes des critères suivants : Objectif Direct Pratique Adéquat Utile pour la gestion Attribuable aux efforts de l'USAID Opportun 47

Examiner la collecte des données de performance sur la base des critères suivants: Validité Intégrité Précision Fiabilité Opportunité 48

Conseils pour des évaluations de qualité des données  Toujours garder les données à jour, actuels et accessibles aux fins d'examen par l'USAID  Inclure les mises à jour du PGR dans les rapports trimestriels  Préparer des évaluations pour les données de l'USAID de qualité: - Informel: Conversations sur la collecte des données par les restrictions quantitatives - Semi-formelle: Revue systématique des données d'un rapport périodique - Des examens formels: haut niveau d'études formelles par des experts techniques 49

Presentation des données Comment voulez-vous montrer vos données et analyse? Qu'est-ce que vous voulez que cela montre? -Changer avec le temps -Répartition par sexe -Comparer les collectivités Exemples: tableaux, diagrammes, graphiques ou texte narratif 50

Tableaux QuitoKievPretoriaKampalaDakarTOTAL # of NGO Participants # of USAID Mission Staff # of NGOs # of Countries er cycle d’ateliers DGP

Graphique 52

Graphiques 53 En moyenne, les participants ont trouvé les ateliers à la fois utiles et clairs, l'utilité de classement à 4,56 sur une échelle de 5 points ou 91% si elle est exprimée en pourcentage et la clarté de 4,31 sur une échelle de 5 points ou 86% si elle est exprimée en pourcentage. Résumé des évaluations de l'atelier

Communication des données Les rapports internes ou externes qui montreront les données et / ou l'analyse de cet indicateur, par exemple - Tableaux annuels ou trimestriel de rapports de données, - Rapport annuel écrit, ou - Rapport du gestionnaire de l'activité. 54

Aperçu des rapports trimestriels  FORMAT USAID 55

Merci de votre attention!