1 OBJECTIFS DE LA SESSION PROMOUVOIR LES PDEA ET LEUR UTILISATION PAR LES EVALUATEURS ET LES UTILISATEURS DES EVALUATIONS RENFORCER LES CAPACITES DES ANIMATEURS DE GROUPES DE TRAVAIL DU ReNSE POUR UNE INTEGRATION DES PDEA DANS LES TRAVAUX DE GROUPE AMELIORER LA QUALITE DES EVALUATIONS ET DES RAPPORTS DEVALUATION

LES PRINCIPES DIRECTEURS DE LEVALUATION AFRICAINE Utilité, Opportunité, Enjeux Niamey, 20/08/2004

3 PDEA – Quest-ce que cest? Liste de contrôles (checklist) pour : la négociation et létablissement de contrats dévaluation clairs; le suivi des progrès dune évaluation; latteinte des résultats attendus dune évaluation

4 PDEA – Pourquoi? Assurer une meilleure qualité du processus dévaluation de programmes et projets Pouvoir anticiper et expliquer les raisons des succès/échecs du processus dévaluation et prendre des décisions pour réajuster le processus à temps

5 PDEA – Quand et comment les utiliser? Au cours de 3 phases principales: La planification/préparation dune évaluation La mise en œuvre dune évaluation: conception et conduite de lévaluation Lutilisation: communiquer et utiliser les résultats

6 PDEA – Quand et comment les utiliser? La planification/préparation dune évaluation : Identifier les parties prenantes et le profil de léquipe dévaluateurs Dresser la liste des questions dévaluation Elaborer le budget de lévaluation Sélectionner les membres de léquipe

7 PDEA – Quand et comment les utiliser? La mise en œuvre : conception et conduite de lévaluation : Etablir léchantillon, déterminer la couverture géographique, les méthodes de collecte de données Collecter les données Analyser et interpréter les données

8 PDEA – Quand et comment les utiliser? Communiquer et utiliser les résultats : Valider les résultats par tous les utilisateurs Communiquer les résultats et les points clés/recommandations Utiliser le processus de réalisation et ses résultats pour laide à la prise de décision et pour lélaboration de politiques et programmes de développement

9 PDEA – Contexte LAssociation américaine dEvaluation a identifié 30 critères garantissant la qualité dune évaluation et les a présenté sous la forme dune checklist La checklist peut être utilisée pour apprécier la complétude et la qualité dune évaluation Une série dateliers techniques a été organisée entre en Afrique

10 PDEA – Contexte La plupart des Réseaux nationaux de S&E africains impliqués ont reconnu que les standards US devaient être adaptés au contexte africain Est-ce que les standards US dévaluation de programmes sont appropriés pour une utilisation en Afrique (cultures, traditions, etc.)?

11 PDEA – Un besoin Le besoin délaborer les PDEA : 1. Il est acceptable dadopter un modèle international qui serait suffisamment sensible au contexte africain. Mais les standards US ne prennent pas en compte certaines valeurs culturelles et sociales présentent en Afrique

12 PDEA – Un besoin 2. Il est inacceptable dimposer à lAfrique un jeu de standards développé hors du continent. Une révision des standards US par les parties prenantes africaines est suggérée 3. La procédure appropriée serait de tester les standards US sur le terrain en Afrique pour dégager leur pertinence et le besoin dune révision pan-africaine

13 PDEA – Leur structure Les 30 standards US sont regroupés dans 4 groupes qui correspondent à 4 dimensions clés dune évaluation de programme juste et de qualité 4 catégories de critères constituent les PDEA: 1. Utilité 2. Faisabilité 3. Propriété 4. Précision

14 PDEA – UTILITE Les principes directeurs de lUtilité sont destinés à assurer que l'évaluation réponde aux besoins en informations des futurs utilisateurs et que les parties prenantes se les approprient U1 Identification des parties prenantes U2 Crédibilité de l'Evaluateur U3 Domaine et Choix de l'Information U4 Identification des Valeurs U5 Clarté des Rapports U6 Disponibilité des Rapports à Temps et Dissémination des Rapports U7 Evaluation de l'Impact

15 PDEA – FAISABILITE Les principes directeurs de Faisabilité sont destinés à assurer que l'évaluation est réaliste, prudente, diplomatique et économique F1 Procédures Pratiques F2 Viabilité Politique F3 Efficacité du Coût

16 PDEA – PROPRIETE Les principes directeurs de Propriété sont destinés à assurer que les évaluations sont conduites légalement avec éthique et avec une attention particulière pour le bien-être de ceux qui sont impliqués et touchés par les résultats P1 Orientation du Service P2 Accords formels P3 Droits des parties prenantes P4 Les rapports humains P5 Evaluation Complète et Satisfaisante P6 Diffusion des Conclusions P7 Conflits d'Intérêts P8 Responsabilité Fiscale

17 PDEA – PRECISION Les principes de Précision sont destinés à assurer qu'une évaluation révélera et apportera une information techniquement adéquate autour des caractéristiques qui déterminent la valeur du programme évalué A1 Documentation du Programme A2 Analyse du Contexte A3 Buts et Procédures Présentés A4 Sources d'Information Défendables A5 Information Valide A6 Information Fiable A7 Information Systématique

18 PDEA – PRECISION A8 Analyse de l'Information Quantitative A9 Analyse de l'Information Qualitative A10 Conclusions Justifiées A11 Impartialité du rapport A12 Méta-évaluation

19 PDEA – Leur Utilisation en Afrique Ont été contextualisés à lAfrique par les africains Sont mis gratuitement à la disposition des évaluateurs et des utilisateurs des évaluations Ont été testés par plusieurs bureaux de lUNICEF en Afrique de lEst et du Sud avec des résultats positifs

20 PDEA – Leur Utilisation en Afrique POURTANT… Faible utilisation: Pourquoi? Promotion insuffisante Formation insuffisante Utilisation dautres standards propres aux organismes de développement Les PDEA constituent davantage une source dinspiration pour les agences afin denrichir et contextualiser des standards existants par ailleurs

21 AfrEA 2002 – Nairobi 3 recommandations 1.Les réseaux et associations nationaux de S&E doivent adopter les PDEA en tant que standards reconnus et utilisés pour lélaboration des TDR, la validation des rapports dévaluation et la dissémination des résultats

22 AfrEA 2002 – Nairobi 3 recommandations 2.Les Gouvernements et organismes publics doivent encourager lutilisation des PDEA pour assurer lharmonie, la consistance, la reddition, la qualité et lappropriation de lévaluation

23 AfrEA 2002 – Nairobi 3 recommandations 3.Les agences du SNU et les partenaires multilatéraux doivent relever le défi dutiliser les PDEA pour contrôler la qualité de leurs évaluations de programmes de développement

Utilisation des PDEA dans lévaluation dun programme-pays UNICEF Etude de cas 1 - RCA

Utilisation des PDEA dans le contrôle qualité de rapports dévaluation - métaévaluation Etude de cas 2 – Prog. VIH/SIDA Unicef

26 PISTES DE DISCUSSION Partages dexpériences dans lutilisation des standards – avantages, inconvénients rencontrés, etc. Quelles sont les contraintes à linstitutionnalisation des PDEA au Niger et à leur utilisation + systématique par les acteurs du S&E? Quest-ce que lon peut faire de plus (à travers les groupes de travail)??? (dernier point)

Exercice de groupe Analyse de Termes de Références à laide des PDEA

PAUSE CAFE ! ! ! ! Merci UNICEF!!

Standards dEvaluation de Programmes - UNICEF

Standards US dEvaluation de Programme Source : Joint Committee, 1994, ou site web:

31 Utility Standards The utility standards are intended to ensure that an evaluation will serve the information needs of intended users U1 Stakeholder Identification U2 Evaluator Credibility-- U3 Information Scope and Selection-- U4 Values Identification--U5 Report Clarity-- U6 Report Timeliness and Dissemination U7 Evaluation Impact--

32 Feasibility Standards The feasibility standards are intended to ensure that an evaluation will be realistic, prudent, diplomatic, and frugal F1 Practical Procedures-- F2 Political Viability-- F3 Cost Effectiveness--

33 Propriety Standards The propriety standards are intended to ensure that an evaluation will be conducted legally, ethically, and with due regard for the welfare of those involved in the evaluation, as well as those affected by its results P1 Service Orientation P2 Formal Agreements P3 Rights of Human Subjects P4 Human Interactions P5 Complete and Fair Assessment-- P6 Disclosure of Findings P7 Conflict of Interest P8 Fiscal Responsibility--

34 Accuracy Standards The accuracy standards are intended to ensure that an evaluation will reveal and convey technically adequate information about the features that determine worth or merit of the program being evaluated A1 Program Documentation-- A2 Context Analysis A3 Described Purposes and Procedures A4 Defensible Information Sources A5 Valid Information A6 Reliable Information-- A7 Systematic Information A8 Analysis of Quantitative Information A9 Analysis of Qualitative Information A10 Justified Conclusions-- A11 Impartial Reporting A12 Metaevaluation--

Les critères du CAD-OCDE Source: The DAC Principles for the Evaluation of Development Assistance, OECD (1991), ou

36 Pertinence Le degré dadéquation entre l'activité d'aide et les priorités et politiques du groupe cible, du destinataire et du donateur. En évaluant la pertinence d'un programme ou d'un projet, il est utile de considérer les questions suivantes : Dans quelle mesure les objectifs du programme sont-ils encore valides ? Les activités et les produits du programme sont-ils conformes au but global et à l'accomplissement de ses objectifs? Les activités et les produits du programme préparent-ils aux impacts et aux effets attendus ?

37 Efficacité Une mesure du degré datteinte des objectifs par une activité d'aide. En évaluant l'efficacité d'un programme ou d'un projet, il est utile de considérer les questions suivantes : Dans quelle mesure ont été atteints les objectifs / sont-ils en passe dêtre atteints ? Quels étaient les facteurs principaux influençant l'atteinte ou non des objectifs ?

38 Efficience L'efficience établit la relation entre les produits et les intrants. Signifie que l'aide emploie les ressources les moins coûteuses possibles afin de réaliser les résultats désirés. En évaluant l'efficacité d'un programme ou d'un projet, il est utile de considérer les questions suivantes : Les activités étaient-elles coût-efficaces ? Est-ce que des objectifs ont été atteints dans les délais impartis ? Est-ce que le programme ou projet a été mis en œuvre de la manière la plus efficace par rapport aux solutions alternatives ?

39 Impact Les changements positifs et négatifs produits par une intervention de développement, directement ou indirectement, prévue ou fortuite. Ceci implique les principaux impacts et effets de l'intervention sur les indicateurs sociaux, économiques, environnementaux au niveau local. En évaluant l'impact d'un programme ou d'un projet, il est utile de considérer les questions suivantes : Que s'est-il produit du fait du programme ou du projet ? Quelle vraie différence l'activité a-t-elle occasionnée sur les bénéficiaires ? Combien de personnes ont été affectées ?

40 Durabilité Permet de savoir si les bienfaits dune intervention peuvent se poursuivre malgré larrêt du financement extérieur. Les projets doivent être soutenables au plan financier et environnemental. En évaluant la soutenabilité d'un programme ou d'un projet, il est utile de considérer les questions suivantes : Dans quelle mesure les bienfaits d'un programme ou d'un projet se poursuivent-ils après le retrait du donateur ? Quels étaient les facteurs principaux influençant l'atteinte ou non de la soutenabilité du programme ou du projet ?

DISCUSSION

42 PERSPECTIVES POUR LES GROUPES DE TRAVAIL La promotion et la maîtrise des PDEA: Quest-ce que le ReNSE peut faire de plus??? Comment intégrer les PDEA dans les travaux des groupes? Restitution aux groupes …

43