La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

GTZ / GuinéeEvaluation - Modules 1-51 Cours de base sur l é valuation des programmes et projets de lutte contre la pauvret é GTZ / Guinée, septembre 2003.

Présentations similaires


Présentation au sujet: "GTZ / GuinéeEvaluation - Modules 1-51 Cours de base sur l é valuation des programmes et projets de lutte contre la pauvret é GTZ / Guinée, septembre 2003."— Transcription de la présentation:

1 GTZ / GuinéeEvaluation - Modules 1-51 Cours de base sur l é valuation des programmes et projets de lutte contre la pauvret é GTZ / Guinée, septembre 2003 Formateur: Jim Bennett (GTZ)

2 GTZ / GuinéeEvaluation - Modules 1-52 Module No. 1

3 GTZ / GuinéeEvaluation - Modules 1-53 Objectifs du cours Objectif spécifique: préparer un groupe dexperts nationaux à la conception et la mise en oeuvre dune évaluation à mi-parcours de la SRP de la Guinée Objectif global: contribuer à la préparation de la dite évaluation et finalement à lamélioration de la qualité de la politique guinéenne en matière de lutte contre la pauvreté

4 GTZ / GuinéeEvaluation - Modules 1-54 Contenu du cours (1) Le DSRP de la Guinée Les DSRP dautres pays africains Les instruments (cadre logique etc.) Standards dévaluation internationaux Lévaluation participative

5 GTZ / GuinéeEvaluation - Modules 1-55 Contenu du cours (2) La préparation dune évaluation Les exigences spécifiques de lévaluation à mi-parcours de la SRP en Guinée Termes de référence / logistique Validation des résultats du cours Recommandations pour lavenir Certification des participants

6 GTZ / GuinéeEvaluation - Modules 1-56 Approche m é thodologique 50% séances en plénière 50% en groupes de travail (GT) Modérateurs et rapporteurs élus (en rotation) dans les GT 50% en matière dévaluation générale 50% en matière dévaluation ciblée vers les besoins de lévaluation à mi- parcours de la SRP en Guinée

7 GTZ / GuinéeEvaluation - Modules 1-57 La bo î te FLASH Pour exprimer vos idées, recommandations, et critiques lors du séminaire, selon vos besoins!

8 GTZ / GuinéeEvaluation - Modules 1-58 Visualisation à l aide des cartes m é taplan Principes de base: Respectez les couleurs des cartes (afin de faciliter le triage ultérieur) Entrez une seule unité dinformation sur une carte donnée Écrivez lisiblement Entrez au maximum 4 lignes de texte => Exemples

9 GTZ / GuinéeEvaluation - Modules 1-59 Introduction des participants (2 par 2) Nom, origines, famille... Profession / institution / fonction Expériences en matière dévaluation Intérêts spéciaux et/ou personnels Sur cartes métaplan: Résultat(s) attendus de ce cours Perspectives personnelles (sur 10 ans)

10 GTZ / GuinéeEvaluation - Modules valeurs à partager Confidentialité: Ce qui va se passer et se dire ici restera entre nous Ouverture: Chacun peut exprimer ses opinions sans contrainte, avec un esprit critique, mais tolérant Participation active: Chacun sera à la fois acteur et bénéficiaire de nos jours de travail communs Réalisme: Gardons les pieds sur terre!

11 GTZ / GuinéeEvaluation - Modules Suivi des connaissances acquises: l auto- é valuation Le suivi sera anonyme – Remplissez le questionnaire et écrivez tout en bas un nom fictif ou code individuel de votre choix Les questionnaires seront ramassés et puis retournés à la fin du cours pour un 2ème passage La comparaison des résultats vous permettra de voir plus concrètement les connaissances acquises lors de la semaine Le suivi nous aidera à améliorer le cours => Remplissez le questionnaire s.v.p. (10 minutes)

12 GTZ / GuinéeEvaluation - Modules D é finitions de base Evaluation (1) Une mesure, aussi systématique et objective que possible, des résultats dun projet, dun programme ou dune politique, en vue de déterminer sa pertinence, et sa cohérence, lefficience de sa mise en oeuvre, son efficacité et son impact ainsi que la pérennité des effets obtenus. (Banque mondiale)

13 GTZ / GuinéeEvaluation - Modules D é finitions de base (suite) Evaluation (2) Examen indépendant et objectif (fait pendant ou après le projet) du contexte, des objectifs, des résultats, des activités et des moyens mis en oeuvre, en vue den tirer des leçons extrapolables. (Commission des communautés européennes).

14 GTZ / GuinéeEvaluation - Modules D é finitions de base (suite) Evaluation de la SRP (en Guinée) Lévaluation se concentre sur réalisation des objectifs de la SRP et les impacts (attendus ou non attendus) des politiques et programmes sur les conditions de vie des populations. Il sagit dune analyse approfondie des facteurs clés pertinents liés à la mise en oeuvre de la SRP en termes de politiques et programmes et des relations entre ceux-ci. (MEF / SP / Groupe thématique suivi-évaluation)

15 GTZ / GuinéeEvaluation - Modules D é finitions de base (suite) Suivi (ou suivi-évaluation) Élaboré sur la base dindicateurs, le suivi est effectué au cours d'une action. Il permet d'ajuster régulièrement le contenu et les méthodes, mais n'est pas suffisant pour réorienter laction en profondeur. Le suivi se distingue de l'évaluation proprement dite - il est plus régulier, et le champ des réflexions englobées est moins étendu que celui de l'évaluation. (Gueneau et Beaudoux 1996)

16 GTZ / GuinéeEvaluation - Modules D é finitions de base (suite) Suivi de la SRP Il sert à lidentification des problèmes périodiques rencontrés pendant la mise en oeuvre des programmes de réduction de la pauvreté afin de prendre les mesures de correction nécessaire. Le suivi permet de sapercevoir si les activités en cours aboutissent aux résultats escomptes. (MEF / SP / Groupe thématique suivi-évaluation)

17 GTZ / GuinéeEvaluation - Modules D é finitions (suite) Evaluation ex ante Étape préparatoire d'une action, qui prend la forme d'études de faisabilité et de viabilité. La suite logique de l'identification (si elle est positive) est le démarrage de l'action. Lévaluation ex ante - dite également évaluation préalable - conduite préalablement à une action, un projet, un programme, au lancement d'une politique. Elle permet souvent de décider de l'opportunité de lancer effectivement le projet ou le programme, ou la mise en œuvre de la politique.

18 GTZ / GuinéeEvaluation - Modules D é finitions (suite) Evaluation ex post L'évaluation ex post intervient à la fin d'une action ou de l'une de ses phases. Rétrospective de l'action, elle suppose une relecture de l'ensemble de l'action (ou d'une phase), depuis son origine pour aboutir à une interrogation générale et des recommandations pour l'avenir. Lévaluation ex post - dite également finale - conduite au terme d'une action, d'un projet, d'un programme, ou de la mise en œuvre d'une politique. Elle permet de dresser le bilan du projet, du programme, ou de la mise en œuvre de la politique.

19 GTZ / GuinéeEvaluation - Modules D é finitions de base (suite) Évaluation à mi-parcours Évaluation à mi-parcours - dite également évaluation intérimaire - conduite au milieu d'une action, d'un projet, d'un programme, ou de la mise en œuvre d'une politique. Elle permet de réorienter si nécessaire le projet ou le programme, ou la mise en œuvre de la politique.

20 GTZ / GuinéeEvaluation - Modules Interne ou externe? L'évaluation est interne lorsque lévaluateur appartient à la structure directement responsable de l'action. L'évaluation est externe lorsque lévaluateur est choisi en dehors de la structure responsable de l'action. Si les évaluateurs travaillent en équipe, lévaluation peut être mixte (interne-externe). Lauto-évaluation: C'est une évaluation réalisée par les bénéficiaires avec l'aide éventuelle d'un animateur extérieur (on parle alors dauto-évaluation assistée).

21 GTZ / GuinéeEvaluation - Modules Les trois dimensions / questions fondamentales Contrôle: Qui contrôle les processus dévaluation? Participation: Qui participe au processus dévaluation? Profondeur: Quelle profondeur de participation faut-il assurer?

22 GTZ / GuinéeEvaluation - Modules Deux types d é valuation participative Évaluation participative pratique: Avec priorité accordée à lappui aux décideurs dun programme ou dune organisation Évaluation participative transformative: Avec priorité accordée au changement social et au renforcement des capacités des groupes cibles Pour discussion => Quel type dévaluation pour lévaluation à mi-parcours de la SRP en Guinée?

23 GTZ / GuinéeEvaluation - Modules Le processus SRP en Guinée 1999: Initiative PPTE à Cologne Décembre 2000: DSRP intérimaire et point de décision 2001: Travaux en groupes thématiques et plusieurs consultations auprès des populations de base Juillet 2001: 1ère ébauche du DSRP final Début 2002; DSRP final, validation par les populations, approbation par le Gouvernement et présentation à lAssemblée Nationale Mai 2002: Atelier sur la mise en œuvre de la SRP

24 GTZ / GuinéeEvaluation - Modules La SRP de la Guin é e (2) Rappel des grands axes de la SRP: Laccélération de la croissance Développement et accès équitable aux services de base Lamélioration de la gouvernance et renforcement du cadre institutionnel et des capacités humaines

25 GTZ / GuinéeEvaluation - Modules La SRP de la Guin é e (3) Rappel des principaux objectifs de la SRP: La réduction de l'incidence de la pauvreté monétaire de 40,3% à 30%, et Plus particulièrement de 52,5% à 38% en milieu rural... à l'horizon 2010.

26 GTZ / GuinéeEvaluation - Modules Les principaux instruments de suivi de la mise en œuvre de la SRP guinéenne Rapports réguliers sur décaissements PPTE, dépenses publiques aux secteurs prioritaires, et financement extérieur (partenaires) Suivi des réalisations physiques (selon des critères de performance à établir) Enquêtes régulières auprès des ménages sur la pauvreté monétaire et en services sociaux (EIBC II) Enquêtes qualitatives sur les perceptions des groupes-cible

27 GTZ / GuinéeEvaluation - Modules Principes de base du système de suivi-évaluation Participation permanente des populations au suivi- évaluation de la SRP Constitution dun système dinformations statistiques pour la réduction de la pauvreté (SISRP) Établissement dun programme minimum dinformations statistiques sur une période de 5 ans Mise en place des organes (comités) de suivi- évaluation

28 GTZ / GuinéeEvaluation - Modules Les DSRP en Afrique (rapport BM 4/03) Premiers DSRP intérimaires (I-PRSP): Tanzanie, Madagascar et Sao Tomé & Principe (4/2000), Jusquà présent 25 PRSP intérimaires, Premiers DSRP finaux: Uganda (5/2000), Burkina Faso (6/2000), Tanzanie (11/2000) Jusquà présent 15 PRSP finaux, et Premiers rapports davancement: Uganda (5/2001), Tanzanie (11/2001), Burkina Faso (12/2001), Jusquà présent 6 rapports davancement.

29 GTZ / GuinéeEvaluation - Modules Les principaux caract é ristiques des DSRP La profondeur de lanalyse de la nature et des causes de la pauvreté, Les liens entre lobjectif global à long terme et les mesures à réaliser pour y arriver, Le degré de participation surtout au niveau des populations cibles, et Les systèmes de suivi et dévaluation.

30 GTZ / GuinéeEvaluation - Modules Analyse de la situation Une politique contre la pauvreté bien instruite qui répond aux besoins réels des groupes cibles doit nécessairement se baser sur une analyse correcte et complète de la situation donnée. Cette analyse peut se réaliser en trois étapes: Lanalyse des problèmes (image de la réalité de pauvreté actuelle); Lanalyse des objectifs (image de lavenir et dune situation améliorée); Lanalyse des stratégies (comparaison de différenteschaînes dobjectifs)

31 GTZ / GuinéeEvaluation - Modules Analyse des probl è mes Lanalyse des problèmes permet: de définir avec précision le cadre et le sujet danalyse, danalyser les groupes intéressés, danalyser la situation problématique, didentifier et hiérarchiser les problèmes, et de communiquer / visualiser les relations causes à effets dans un diagramme.

32 GTZ / GuinéeEvaluation - Modules Analyse des probl è mes (2) Définition dun problème: Une situation qui est censée être négative Il nest pas labsence dune solution envisagée au préalable FAUX: Il ny a pas de pesticides CORRECTE: La récolte est sensiblement diminuée par des souris"

33 GTZ / GuinéeEvaluation - Modules Analyse des problèmes (3) Il est généralement recommandé: de se concentrer sur les goulots détranglement réels, importants et prioritaires pour les principaux groupes concernés de faire lanalyse sous forme de réunion ou datelier auquel participent les parties concernées et quanime une personne qui maîtrise la méthode et la dynamique de groupe de combiner lanalyse avec dautres dont les résultats peuvent être ajoutés à lanalyse en groupe.

34 GTZ / GuinéeEvaluation - Modules Diagramme des probl è mes (non structur é ) Dégradation des sols Techniques appliqués non appropriées Services agricoles insuffisants Recherche agricole pas pertinente Paysans non dynamiques / innovateurs Rendements agricoles réduits Revenus agricoles insuffisants Pauvreté accentuée au milieu rural

35 GTZ / GuinéeEvaluation - Modules Diagramme des probl è mes (structur é ) Problème noyau Effets Causes

36 GTZ / GuinéeEvaluation - Modules Exemple Faible investissement public Entretien insuffisant des infrastructures existantes Pauvreté générale au milieu rural Production agricole insuffisante Faiblesse des institutions de participation au milieu rural Insuffisance des infra- structures rurales Exode rural vers les grandes villes Dégradation des ressources naturelles Techniques de production agricole non appropriées

37 GTZ / GuinéeEvaluation - Modules Exercice Établissez 3 ou 4 groupes de travail en suivant les grands axes (secteurs) de SRP Dans chaque groupe de travail, nommez un modérateur et un rapporteur Sur la base du DSRP, identifiez le problème noyau de laxe / secteur que la SRP veut résoudre Identifiez les principaux effets du problème noyau Identifiez les principales causes du problème noyau (au maximum 2 niveaux) Présentez les résultats en plénière...

38 GTZ / GuinéeEvaluation - Modules Exercice (suite) Il est fortement recommandé: de se baser prioritairement sur lanalyse présentée dans le DSRP, mais dindiquer (avec des cartes métaplan dune autre couleur) si les problèmes identifiés dépassent ceux qui sont présentés dans le DSRP. => Exercice

39 GTZ / GuinéeEvaluation - Modules Module No. 2

40 GTZ / GuinéeEvaluation - Modules R é flexion Chacun entre nous a sa propre perception de la réalité qui existe et sa propre vision de la réalité quil faut établir à lavenir. Ces perceptions et visions peuvent simposer de manière parfois difficile à cerner sur les résultats dune évaluation. Par conséquent, il y aura un élément de subjectivité dans toute évaluation. A laide dun travail en groupes multidisciplinaires et multiculturels, la subjectivité des résultats peut être réduite cest à dire une objectivité relative (mais jamais absolue!) peut être assurée.

41 GTZ / GuinéeEvaluation - Modules Le processus d é valuation 1) Décision de faire une évaluation 2) Recrutement de léquipe dévaluateurs 3) Établissement dun plan dévaluation 4) Collecte des informations pertinentes 5) Synthèse, analyse et vérification 6) Élaboration dun plan daction pour lavenir 7) Contrôle et utilisation des résultats et rapports de lévaluation

42 GTZ / GuinéeEvaluation - Modules Le processus d é valuation (2) Décision Recrutement Plan dévaluation Collecte Synthèse Plan daction Utilisation

43 GTZ / GuinéeEvaluation - Modules La d é cision de faire une é valuation Quelques questions clés: Qui prend la décision - les responsables du programme, les bénéficiaires, les bailleurs de fonds, … ou une coalition de tous les concernés? Sous quelles conditions – selon la qualification des évaluateurs, la disponibilité des ressources (temps, financement,...), la définition préalable des termes de référence,...?

44 GTZ / GuinéeEvaluation - Modules La d é cision (2) Aspects pour réflexion: Ce que les décideurs veulent apprendre (= aspect apprentissage – pour qui?) Linfluence des financiers de lévaluation sur les résultats attendus de lévaluation (= aspect pouvoir) Leffort et le temps requis pour assurer un bon niveau de participation et les conséquences dune faible participation (= aspect valeur ajoutée de la participation)

45 GTZ / GuinéeEvaluation - Modules Le recrutement de l é quipe Tous les membres ont les mêmes droits et les mêmes obligations (ou non?) Le chef déquipe: Une contradiction en soi? Chaque équipe a besoin: dune coordination interne des flux dinformation, et dune représentation à lextérieur Par conséquent, les équipes ont tendance à sorienter vers les résultats dans une hiérarchie souple, dans laquelle les tâches spécifiques du chef se limitent à la représentation externe et la coordination interne

46 GTZ / GuinéeEvaluation - Modules Le recrutement (2) Aspects pour réflexion: Les rôles attendus de lévaluateur: Expert technique et méthodologique, pédagogue, apprentis, facilitateur, coordonnateur, arbitre, négociateur,... Les avantages et inconvénients dune évaluation externe (p.e. objectivité versus appropriation) Léquilibre de pouvoir dans une équipe mixte (interne / externe)

47 GTZ / GuinéeEvaluation - Modules Le recrutement (3) Les qualifications requises (à pondérer): Engagement et intérêt Aptitude de travail en équipe Connaissances techniques (méthodes,...) Capacité de faciliter des processus sociaux, de communiquer avec des groupes hétérogènes, et dentendre (!) Capacités pédagogiques Connaissances culturelles / linguistiques... mais est-ce quun seul évaluateur peut satisfaire tous ces besoins?

48 GTZ / GuinéeEvaluation - Modules L é tablissement d un plan d é valuation Quelques questions clés: Quels concernés participent de quelle manière (en ateliers, par etc.) dans lélaboration des termes de références? Qui va faire quoi, avec quel contrôle sur les activités, les informations et la confidentialité (avec quelles sanctions éventuelles)? Comment assurer la transparence des contrôles? Quels indicateurs faut-il pour un bon suivi de la mise en oeuvre de lévaluation?

49 GTZ / GuinéeEvaluation - Modules La collecte des informations pertinentes Quelques questions clés: Qui va fournir quelles informations? Est-ce quon attend que les bénéficiaires vont adopter et appliquer les méthodes de collecte et dévaluation des informations (avec quels coûts et technologies)? Comment sadapter aux conditions culturelles (p.e. les hommes peuvent-ils collecter des informations chez des femmes)? Quelles méthodes faut-il pour communiquer avec des analphabètes / des groupes nomades / des groupes particulièrement marginalisés?

50 GTZ / GuinéeEvaluation - Modules Les techniques de collecte d informations Dessins faits par des individus ou des groupes Cartes ou modèles des groupes Histoires de problèmes réels évaluées par les groupes Expression créative (drames, jeux de rôles, chansons, danses, sculptures collectives... ) Journaux (carnets intimes) Études de cas Réunions en groupe, ateliers, groupes focaux Chronologies (time lines...) Analyse des causes (web charts...)

51 GTZ / GuinéeEvaluation - Modules Synth è se, analyse et v é rification Quelques questions clés: Qui va valider les synthèses proposées, quand et selon quels critères? Quelles seront les méthodes analytiques à appliquer, quand et par qui? Quels seront les procédés et méthodes de vérification des informations collectées (p.e. par triangulation, ateliers, rétroaction etc.) Quels sont les rapports à produire?

52 GTZ / GuinéeEvaluation - Modules É laboration d un plan d action Quelques questions clés: Qui veut quelle action? Qui va contrôler les actions proposées? Qui sera le responsable de chaque action (avec quelles sanctions possibles)? Quel calendrier daction? Qui va financer les actions proposées? Quel système de suivi-évaluation faut-il pour assurer la réalisation du plan daction?

53 GTZ / GuinéeEvaluation - Modules Contrôle et utilisation des r é sultats Quelques questions clés: Comment et à qui faut-il communiquer les résultats de lévaluation? Quand et dans quelle forme faut-il distribuer les rapports dévaluation? Quelles seront les modalités de rétroaction? Comment suivre et mesurer les impacts de lévaluation? Quelles peuvent être les conséquences pour des futures évaluations?

54 GTZ / GuinéeEvaluation - Modules Analyse des objectifs Lanalyse des objectifs permet: de décrire la situation future qui prévaudra lorsque les problèmes auront été résolus, didentifier et de hiérarchiser les objectifs, et de communiquer / visualiser les relations moyens-fins dans un diagramme.

55 GTZ / GuinéeEvaluation - Modules Analyse des objectives (2) Dans lanalyse initiale, les situations négatives du diagramme des problèmes seront converties en situations positives atteintes. La hiérarchie moyens-fins se substitue ainsi à la hiérarchie causes-effets. Le diagramme initial englobera dans certains cas des objectifs qui ne peuvent pas être réalisés. Donc, un ajustement du diagramme initial sera nécessaire.

56 GTZ / GuinéeEvaluation - Modules Analyse des objectives: 6 é tapes 1)Transformation des problèmes (situation négatives) en objectifs (situations positives). 2)Vérification si les résultats sont réalistes et acceptables du point de vue éthique. (Si nécessaire, réformulation des problèmes.) 3)Si une bonne transformation nest pas possible, on met le problème à part et on y ajoute des commentaires.

57 GTZ / GuinéeEvaluation - Modules ) Vérification si les objectifs dun niveau suffisent pour atteindre lobjectifs du niveau supérieur. 5) Une fois le diagramme complété, vérification de la cohérence logique den bas en haut. 6) Si nécessaire, on peut ajouter des objectifs afin dassurer la fiabilité des liens moyens-fins. Analyse des objectives: 6 é tapes (suite)

58 GTZ / GuinéeEvaluation - Modules Diagramme d objectives Moyens Fins

59 GTZ / GuinéeEvaluation - Modules Exemple Augmentation des investisse- ments publics au milieu rural Systèmes dentretien performants et bien ciblés Pauvreté au milieu rural réduite Production agricole améliorée Institutions rurales renforcées Infrastructures rurales améliorées Exode des zones rurales réduite Situation des ressources naturelles stabilisée Techniques appropriées introduites et appliquées

60 GTZ / GuinéeEvaluation - Modules Exercice en groupes de travail Nommez le modérateur et le rapporteur Identifiez les principaux objectifs du DSRP à lintérieur de chaque axe / secteur Hiérarchiser les objectifs et identifiez lobjectif central Vérifiez la logique de causalité à lintérieur des diagrammes dobjectifs Si nécessaire, complétez le diagramme avec des objectifs supplémentaires (cartes bleues!) Vérifiez si le diagramme dobjectifs représente une bonne transformation du diagramme des problèmes Présentez les résultats en plénière => Exercice

61 GTZ / GuinéeEvaluation - Modules Analyse des strat é gies Sur la base dun diagramme dobjectifs ajusté, cette étape permet: didentifier les différences stratégies possibles pour atteindre un objectif spécifique de choisir – en appliquant des critères de choix - la meilleure stratégie à adopter pour lintervention

62 GTZ / GuinéeEvaluation - Modules Exemples de crit è res de choix Pertinence relative aux besoins des bénéficiaires Pertinence relative aux priorités des principaux décideurs Budget disponible Probabilité de réussite (degré de risque) Période à couvrir

63 GTZ / GuinéeEvaluation - Modules Ensembles (clusters) d objectifs Augmentation des investisse- ments publics au milieu rural Systèmes dentretien performants et bien ciblés Pauvreté au milieu rural réduite Production agricole améliorée Institutions rurales renforcées Infrastructures rurales améliorées Exode des zones rurales réduite Situation des ressources naturelles stabilisée Techniques appropriées introduites et appliquées Stratégie No. 1 Stratégie No. 2

64 GTZ / GuinéeEvaluation - Modules Exemple d une analyse des strat é gies Critère (pondération) Stratégie No. 1Stratégie No. 2 Priorités des bénéficiaires (50%) … 5 (250)2 (100) Contraintes financières (30%) 2 (60)4 (120) Impact sur lenviron- nement (20%) 3 (60)4 (80) Total: non pondéré (pondéré) 10 (370)10 (300)

65 GTZ / GuinéeEvaluation - Modules La SRP de la Guinée représente une dune multitude de stratégies possibles contre la pauvreté. Les critères de choix ont été plutôt implicite quexplicite. Lévaluation de la SRP peut examiner la manière dans laquelle les stratégies alternatives ont été (ou pas) prises en compte. Les strat é gies de lutte contre la pauvret é en Guin é e

66 GTZ / GuinéeEvaluation - Modules La logique d intervention Objectifs globaux Objectifs de haut niveau auxquels le projet ou programme contribue Objectif spécifique Principal objectif à atteindre Outputs des activités requis pour atteindre lobjectif spécifique Résultats Activités Tâches à réaliser par le projet / programme exigeant de manière directe des ressources Moyens Ressources physiques ou non physiques requis pour exécuter les activités

67 GTZ / GuinéeEvaluation - Modules Le cadre logique (CL) Aperçu dune page qui répond aux questions suivantes: POURQUOI le programme / projet existe CE QUE le programme / projet doit atteindre COMMENT le programme / projet va atteindre ses objectifs QUELS facteurs externes vont simpacter sur la réalisation des objectifs COMMENT lachèvement des objectifs va être mesuré OU on va trouver les informations pour déterminer lachèvement des objectifs

68 GTZ / GuinéeEvaluation - Modules Structure g é n é rale du CL : Description som- maire de la logique dintervention Indicateurs objectivement vérifiables (IOV) Moyens / sources de vérification (SDV) Hypothèses importantes Objectifs globaux … pour la réalisation des objectifs globaux … pour lindicateur respectif … relatives à la pérennité des impacts Objectif spécifique … pour la réalisation de lobjectif spécifique … pour lindicateur respectif … relatives à lachèvement des objectifs globaux Résultats / outputs … pour la réalisation des résultats / outputs … pour lindicateur respectif … relatives à lachèvement de lobjectif spécifique Activités Spécification des moyens / coûts / temps requis (personnel, équipement, financement, calendrier etc.) … relatives à lachèvement des résultats / outputs

69 GTZ / GuinéeEvaluation - Modules Logique verticale du CL Description sommaire LienHypothèses importantes Objectifs globaux … relatives à la pérennité des impacts Objectif spécifiqueachevé plus … … relatives à lachève- ment des objectifs globaux Résultats / Outputsachevés plus … … relatives à lachève- ment de lobjectif spécifique Activitésexécutées plus … … relatives à lachève- ment des résultats / outputs

70 GTZ / GuinéeEvaluation - Modules Logique horizontale du CL Description sommaire Indicateurs objective- ment vérifiables (IOV) Moyens / sources de vérification (SDV) Objectifs globaux … pour préciser les objectifs globaux … pour lindicateur respectif Objectif spécifique … pour préciser lobjectif spécifique … pour lindicateur respectif Résultats / Outputs … pour préciser les résultats / outputs … pour lindicateur respectif Activités … sans IOV, mais avec moyens / coûts

71 GTZ / GuinéeEvaluation - Modules Exemples Voir fiches exemplaires: Niger: Route Niamey-Dosso Niger: Appui à lUEMOA Niger: ASAPI

72 GTZ / GuinéeEvaluation - Modules Exercice en groupes de travail Nommez le modérateur et le rapporteur Identifiez lobjectif spécifique (central) et les objectifs globaux à lintérieur de laxe SRP Identifiez 3-5 résultats / outputs attendus requis pour atteindre lobjectif spécifique Identifiez les principales activités requises pour réaliser les résultats / outputs attendus (jusquà 5 activités par résultat / outputs) => Exercice

73 GTZ / GuinéeEvaluation - Modules Module No. 3

74 GTZ / GuinéeEvaluation - Modules La logique dintervention Présentation des résultats du travail en groups

75 GTZ / GuinéeEvaluation - Modules Hypoth è ses Un programme / projet ne peut pas atteindre tous les objectifs envisagés sans prise en compte des facteurs externes. Les objectifs qui ne sont pas inclus dans la logique dintervention deviennent des facteurs externes. Ces facteurs peuvent simpacter sur la mise en oeuvre du projet et la pérennité (viabilité) de ses impacts. Dans ce cas, il faut documenter les facteurs externes dans le CL en tant que hypothèses (suppositions). La réalisation des hypothèses permettra la réalisation des objectifs du programme / projet.

76 GTZ / GuinéeEvaluation - Modules Hypoth è ses (2) Si toutes les activités sont réalisées et toutes les hypo- thèses à ce niveau sont valides, les résultats attendus seront achevés. Si tous les résultats sont achevés et toutes les hypo- thèses à ce niveau sont valides, lobjectif spécifique sera atteint. Si lobjectif spécifique est atteint et toutes les hypo- thèses à ce niveau sont valides, la contribution du programme / projet aux objectifs globaux sera réalisée. Note: Certains CL (p.e. de lUE) permettent aussi despré-conditions pour le démarrage du projet (dans une case supplémentaire).

77 GTZ / GuinéeEvaluation - Modules Rappel: La logique verticale du CL Description sommaire LienHypothèses importantes Objectifs globaux … relatives à la pérennité des impacts Objectif spécifiqueachevé plus … … relatives à lachève- ment des objectifs globaux Résultats / Outputsachevés plus … … relatives à lachève- ment de lobjectif spécifique Activitésexécutées plus … … relatives à lachève- ment des résultats / outputs

78 GTZ / GuinéeEvaluation - Modules Analyse des hypoth è ses Appréciation succincte de la probabilité et de la signifiance des conditions externes. Il y a des hypothèses qui sont critiques, et dautres qui sont plutôt marginales. Les hypothèses expriment des situations souhaitées p.e. les salaires des enseignants sont payées de manière régulière. Il faut qui les hypothèses soient objectivement vérifiables.

79 GTZ / GuinéeEvaluation - Modules Analyse des hypoth è ses (2) Est-ce que cette hypothèse est importante? OuiNon Est-ce que sa réalisa- tion est probable? Intégration dans le CL non requise Intégration dans le CL requise Est-ce quil est possible dadapter le programme / projet de manière que limpact de le hypothèse sera réduite? Très probable Probable Peu probable Non Oui Le programme / projet nest pas faisable Adaptez le programme/ projet en ajustant ou ajoutant de nouveaux éléments dans la logique dintervention

80 GTZ / GuinéeEvaluation - Modules Exercice en groupes de travail Nommez le modérateur et le rapporteur Identifiez toutes les hypothèses pertinentes et exprimées dans le DSRP à tous les niveaux de vos logiques dintervention Vérifiez chaque hypothèse en appliquant la procédure sus-mentionnée Ajoutez, si nécessaire, des hypothèses qui ne sont pas incluses dans le DSRP (cartes bleues!) Vérifiez la fiabilité des logiques dintervention - ou refaire la logique! => Exercice

81 GTZ / GuinéeEvaluation - Modules Indicateurs: D é finition Les indicateurs objectivement vérifiables (IOV) sont les descriptions opérationnelles des objectifs et résultats de lintervention, qui couvrent lessentiel et qui peuvent être mesurées dune façon fiable pour un coût acceptable. Les indicateurs objectivement vérifiables nécessitent souvent dêtre davantage détaillés ou opérationalisés lors de la phase de mise en oeuvre du programme / projet pour permettre un suivi efficace.

82 GTZ / GuinéeEvaluation - Modules Types d indicateurs Indicateurs dinput ou dactivité Indicateurs doutput ou de résultats Indicateurs dimpact ou de contexte Indicateurs de base (valeurs initiales / baseline) Indicateurs de performance (benchmark) Indicateurs substitutifs (proxy) Indicateurs de principes horizontaux / transversaux Indices (ensembles dindicateurs pondérés ou non)

83 GTZ / GuinéeEvaluation - Modules D autres types d indicateurs (voir Union europ é enne) Indicateurs clés: Indicateurs dimpact dimportance fondamentale Indicateurs noyaux: Pour élaborer des analyses comparatives de plusieurs programmes, projets ou dautres mesures semblables

84 GTZ / GuinéeEvaluation - Modules L op é rationalit é d un IOV Six dimensions / questions: Lobjet (quoi?) La quantité (combien?) La qualité (comment?) Le groupe cible (qui?) La période (quand?) La localisation (où?)

85 GTZ / GuinéeEvaluation - Modules Exemple No. 1 A partir de 2005 tous les paysans de la région de Bogo appliquent le calendrier agricole et plantent leur riz à juste distance. Combien? (tout le riz?) Quoi? Qui? Quand? Où? Comment?

86 GTZ / GuinéeEvaluation - Modules Exemple No. 2 La mortalité maternelle en Guinée est réduite de 538 à 220 pour naissances de 1999 à 2015 Quoi? Combien? Qui? (les mères) Quand? Où? Comment?

87 GTZ / GuinéeEvaluation - Modules Exemple No. 3 Les conseils préfectoraux ont élaboré et mis en oeuvre de plans locaux dans au moins 50% des préfectures avant la fin de lannée 2005 Quoi?Combien? (tous les plans) Qui? Quand? Où? Comment? (Qualité?)

88 GTZ / GuinéeEvaluation - Modules Exemple No. 4 Lincidence de la pauvreté est réduite de 40,3% en 1995 à 30,0% en 2010 au niveau national. Quoi? Combien? Qui ? (les pauvres) Quand? Où? Comment?

89 GTZ / GuinéeEvaluation - Modules Sources de v é rification (SDV): D é finition Les sources de vérification sont des moyens dinformation complémentaires permettant de déterminer et de juger les progrès réalisés vers les résultats et les objectifs planifiés, opérationalisés sous la forme des IOV.

90 GTZ / GuinéeEvaluation - Modules Exemples Enquête annuelle menée par le programme / projet parmi les paysans concernés. Enquête annuelle menée par le programme / projet parmi les conseillers impliqués. Publication annuelle de la Direction nationale de la statistique (DNS). Rapport du Secrétariat Permanent. Observations des évaluateurs externes.

91 GTZ / GuinéeEvaluation - Modules Exercice Nommez les modérateurs et rapporteurs Se référant au DSRP, identifiez un IOV et une SDV pour chaque élément de votre logique dintervention et intégrez ceux-ci dans les CL. Note: Au niveau des activités il ny a pas dindicateurs. Vérifiez la qualité de chaque IOV en appliquant les six dimensions / questions sus- mentionnées. Présentez les résultats en plénière. => Exercice

92 GTZ / GuinéeEvaluation - Modules Module No. 4

93 GTZ / GuinéeEvaluation - Modules Rapports sur les visites Description succincte du projet visité Principales observations relatives aux systèmes de suivi-évaluation appliqués Conclusions générales Recommandations (ou leçons) relatives à la préparation et la mise en oeuvre de lévaluation à mi-parcours de la SRP

94 GTZ / GuinéeEvaluation - Modules Rappel: Le cadre logique (CL) : Description som- maire de la logique dintervention Indicateurs objectivement vérifiables (IOV) Moyens / sources de vérification (SDV) Hypothèses importantes Objectifs globaux … pour la réalisation des objectifs globaux … pour lindicateur respectif … relatives à la pérennité des impacts Objectif spécifique … pour la réalisation de lobjectif spécifique … pour lindicateur respectif … relatives à lachèvement des objectifs globaux Résultats / outputs … pour la réalisation des résultats / outputs … pour lindicateur respectif … relatives à lachèvement de lobjectif spécifique Activités Spécification des moyens / coûts / temps requis (personnel, équipement, financement, calendrier etc.) … relatives à lachèvement des résultats / outputs

95 GTZ / GuinéeEvaluation - Modules D é finitions (suite) Objectif global: Objectif dont le niveau dépasse celui de lintervention (politique / programme / projet) mais auquel lintervention devra contribuer. Dautres interventions contribuent également à la réalisation de cet objectif global. Il peut y avoir plusieurs objectifs globaux. Objectif spécifique: Principal objectif à réaliser durant lintervention et avec la probabilité réelle que les bénéfices quil dégage pour les groupes cibles subsistent après lintervention. Source: Commission UE, Manuel GCP, février 1993, p. 23; propres interprétations

96 GTZ / GuinéeEvaluation - Modules D é finitions (2) Résultats: Produits des activités entreprises, qui réaliseront ensemble lobjectif spécifique. Indicateur objectivement vérifiable: Une description opérationnelle des objectifs et résultats en termes de quantité et de qualité dun produit pour un groupe cible, avec indication de temps et de lieu. Source de vérification: Elle indique doù et sous quelle forme proviennent les informations sur la réalisation des objectifs et des résultats opérationalisés en indicateurs objectivement vérifiables. Source: Commission UE, Manuel GCP, février 1993, p. 24; propres interprétations

97 GTZ / GuinéeEvaluation - Modules Indicateurs (suite) Les IOV concernant lobjectif global tendent à être plus qualitatifs que ceux applicables aux résultats et à lobjectif spécifique, qui, pour leur part, présentent des aspects plus quantitatifs. Toutefois, ils doivent être quantifiés – par exemple, le pourcentage des personnes à former, le nombre de formateurs par stagiaire, situation de départ et situation actuelle (intermédiaire) etc. Il faudra sassurer que les IOV concernant lobjectif spécifique du projet intègre en termes pratiques la notion de bénéfices durables pour le groupe cible. Source: Commission européenne, EuropeAid, H6, février 2001, page 13, propres interprétations

98 GTZ / GuinéeEvaluation - Modules Indicateurs (suite) Les indicateurs objectivement vérifiables (IOV) décrivent exactement les objectifs globaux et spécifique ou les résultats généraux en termes mesurables du point de vue fonctionnel (la quantité et la qualité, le groupe cible(s), le temps et le lieu); ils doivent donner une image représentative de la situation et être mesurables dune manière cohérente et à un coût acceptable. Source: Commission européenne, EuropeAid, H6, février 2001, page 13, propres interprétations

99 GTZ / GuinéeEvaluation - Modules Types d indicateur dans le DSRP Selon le rapport du GTSE no. 001 (9/2003): Indicateurs de 1er rang: Ils permettent dapprécier lévolution densemble Indicateurs de 2ème rang, pour des analyses et recherche de facteurs explicatifs Indicateurs de fréquence annuelle ou de 5 ans Indicateurs aux niveaux national, régional, CRD/CU et de genre Indicateurs des Objectifs de la déclaration du millénaire (ODM) Indicateurs dintrant (input), de réalisations directes (output), de résultats (outcome), et dimpact

100 GTZ / GuinéeEvaluation - Modules L é valuation de l impact Question clé dévaluation: Que ce serait-il passé pour les bénéficiaires si lintervention (politique / programme / projet) navait pas eu lieu? Lart de lévaluation consiste à trouver une solution pour construire une base de comparaison permettant daboutir à une conclusion crédible. Comment construire une base de comparaison?

101 GTZ / GuinéeEvaluation - Modules L impact des programmes / projets de lutte contre la pauvret é Temps Incidence de pauvreté monétaire Démarrage de la mise en oeuvre de la SRP Situation sans SRP Situation avec SRP Limpact de la SRP

102 GTZ / GuinéeEvaluation - Modules Les 5 approches g é n é rales à l é valuation de l impact Observation après la mise en oeuvre Observation avant et après la mise en oeuvre Comparaison avec un groupe témoin non équivalent réel Comparaison avec un groupe témoin équi- valent réel Comparaison avec un groupe témoin équi- valent fictif

103 GTZ / GuinéeEvaluation - Modules Les indicateurs d impact du DSRP Selon le rapport du GTSE no. 001 (9/2003): Incidence de la pauvreté monétaire (%) Proportion de la population natteignant pas le niveau minimal calorique (pauvreté extrême) (%) Proportion de la population disposant de moins dun dollar par jour (PPA) Profondeur de la pauvreté Indice de GINI Proportion de zones forestières Superficie des zones protégées pour préserver la biodiversité

104 GTZ / GuinéeEvaluation - Modules Les indicateurs d impact (suite) Taux de mortalité lié au paludisme Taux de mortalité lié à la tuberculose Taux de mortalité infantile Taux de mortalité des enfants de moins de 5 ans Taux de mortalité maternelle Taux de mortalité spécifique due au SIDA Taux de prévalence du VIH/SIDA Taux de prévalence du VIH parmi les femmes enceintes âgées de 15 à 24 ans

105 GTZ / GuinéeEvaluation - Modules Exercice Nommez les modérateurs et rapporteurs Se référant au DSRP, identifiez un IOV et une SDV pour chaque élément de votre logique dintervention et intégrez ceux-ci dans les CL. Si le DSRP ne présente pas dIOV et/ou SDV appropriés, notez vos propositions sur cartes bleues ou vertes. Au niveau des activités il ny a pas dIOV/SDV. Vérifiez la qualité de chaque IOV en appliquant les six questions clés (sus-mentionnées). Présentez les résultats en plénière. => Exercice

106 GTZ / GuinéeEvaluation - Modules Le syst è me global de monitoring de l UE Les conclusions de l'évaluation des instruments et des programmes de développement des Communautés Européennes recommandaient en mai 1999 que des systèmes de monitoring appropriés soient établis couvrant tous les projets de développement de la Commission. Le programme de monitoring a été mis en place et expérimenté dans 21 pays. Le processus de monitoring a été revu et affiné. La phase croisière de monitoring a démarré en 2002.

107 GTZ / GuinéeEvaluation - Modules Monitoring Global (2) Le but du monitoring est de rendre plus efficace le projet/programme et lui permettre de se réaliser en fournissant un 'feedback' (information de rétroaction) aux gestionnaires des projets à tous les niveaux à travers des "rapports de monitoring" réguliers. Dans la période 3/2000 – 12/2001, 472 projets dans 67 pays ont été visités (dont 67 deux fois) par les moniteurs (experts externes) de lUE. Dans cette période, 539 rapports de monitoring ont été élaborés.

108 GTZ / GuinéeEvaluation - Modules Monitoring Global (3) Principaux caractéristiques du système: Visites annuelles de tout projet en phase de mise en oeuvre Engagement dexperts externes pour des missions de deux semaines (2 projets par mission et expert) en équipes de 4 à 6 experts Briefing et de-briefing des responsables au siège à Bruxelles Présentation des rapports à Bruxelles et aux délégations au plus tard deux semaines après les missions, et intégration des fiches dans lIntranet de la Commission Fiche de réponse pour les responsables

109 GTZ / GuinéeEvaluation - Modules Monitoring Global (4) Les principaux critères de performance: Pertinence Efficience Efficacité Impact Viabilité => Voir fiches distribuées

110 GTZ / GuinéeEvaluation - Modules Monitoring Global: Quelques r é sultats (1)

111 GTZ / GuinéeEvaluation - Modules Monitoring Global: Quelques r é sultats (2)

112 GTZ / GuinéeEvaluation - Modules Monitoring Global: Quelques r é sultats (3)

113 GTZ / GuinéeEvaluation - Modules Monitoring Global: Principales conclusions Les meilleurs projets sont en Asie et Amérique latine Les meilleurs projets se trouvent dans les secteurs deau, dagriculture et dappui aux ONG Les meilleurs projet sont petits (en termes de financement) Les meilleurs projets ont des cadres logiques bien formulés ! (voir Rapport annuel de la CCE 2002)

114 GTZ / GuinéeEvaluation - Modules Pourquoi des standards? Orienter les évaluateurs et leurs clients dans la formulation des termes de références Assurer lexécution adéquate des évaluations Faciliter des analyses comparatives des résultats de plusieurs évaluations.

115 GTZ / GuinéeEvaluation - Modules Les standards de l AfAE Quatre groupes de principes directeurs: Utilité: Les principes directeurs de lutilité sont destinés à assurer que lévaluation réponde aux besoins en informations des futurs utilisateurs et que les parties prenantes sen approprient. Faisabilité: Les principes directeurs de faisabilité sont destinés à assurer que lévaluation est réaliste, prudente, diplomatique et économique.

116 GTZ / GuinéeEvaluation - Modules Les standards de l AfAE (suite) Propriété: Les principes directeurs corrects sont destiné à assurer que les évaluations sont conduites légalement avec éthique et avec une attention particulière pour le bien-être de ceux qui sont impliqués et de ceux qui sont touchés par les résultats. Précision: Les principes de précision sont destinés à assurer quune évaluation révélera et apportera une information techniquement adéquate autour des caractéristiques qui déterminent la valeur de mérite du programme en cours dévaluation.

117 GTZ / GuinéeEvaluation - Modules Exercice en trois groupes Établissez le ranking des principes directeurs selon leur pertinence pour lévaluation à mi-parcours du DSRP Établissez le ranking des principes directeurs selon le degré de difficulté de leur mise en œuvre pour les besoins de lévaluation de la SRP en Guinée

118 GTZ / GuinéeEvaluation - Modules Exercice (m é thode) PertinenceDifficulté U1 U2 U

119 GTZ / GuinéeEvaluation - Modules Module No. 5

120 GTZ / GuinéeEvaluation - Modules Standards et risques Présentation en plénière des résultats de la priorisation des standards AfAE (analyse des risques) Explications succinctes pour discussion Recommandations relatives à lapplication des standards AfAE à la préparation et lexécution de lévaluation à mi-parcours de la SRP

121 GTZ / GuinéeEvaluation - Modules L é valuabilit é d une intervention (politique, programme ou projet Lévaluabilité dépende des facteurs suivants: Source: Institut de la Banque mondiale, s.d. La qualité de la structure logique de lintervention La précision des attentes (les indicateurs) Le cadre dévaluation Le système de suivi => Daprès vous, est-ce que la SRP de la Guinée est évaluable?

122 GTZ / GuinéeEvaluation - Modules La logique d intervention de l é valuation à mi-parcours Exercice brainstorming en plénière: Quel peut être lobjectif spécifique de lévaluation à mi-parcours de la SRP en Guinée?

123 GTZ / GuinéeEvaluation - Modules Proposition Pour ce qui concerne la phase de recrutement, les participants du cours de base recommandent: Un processus indépendant, transparent et bien coordonné Des équipes mixtes en termes institutionnels (interne / externe), culturels et en genre Des chefs déquipes bien expérimentés et intégratifs => Discussion

124 GTZ / GuinéeEvaluation - Modules L é bauche des TdR Après leur recrutement, les évaluateurs seront directement impliqués dans les étapes suivants du processus dévaluation: Établissement dun plan dévaluation (détaillé) Collecte des informations pertinentes Synthèse, analyse et vérification Élaboration dun plan daction (proposition)

125 GTZ / GuinéeEvaluation - Modules Exercice Nommez les modérateurs et les rapporteurs Formulez les principales tâches générales (8 tâches au maximum) à réaliser durant létape concerné (voir ci- dessus) Identifiez les moyens requis pour réaliser les tâches envisagées Identifiez le temps (durée approximative) requis pour réaliser les tâches envisagées Identifiez les risques (facteurs externes) qui peuvent impacter sur la réalisation des tâches envisagées Présentez vos résultats en plénière => Exercice

126 GTZ / GuinéeEvaluation - Modules Brainstorming en pl é ni è re Les principales idées retenues: Établissement dun groupe de pilotage et dapprentissage méthodologique Élaboration dun manuel dévaluation Création dune Association guinéenne de lévaluation... et dautres idées?

127 GTZ / GuinéeEvaluation - Modules L é valuation du s é minaire Tableau synthétique à deux colonnes: Ce qui était très bien / intéressant / satisfaisant Ce quon peut améliorer à lavenir

128 GTZ / GuinéeEvaluation - Modules Les derniers mots Documentation du séminaire Préparation du cours avancé Certificats Dautres questions à clarifier Rappel: Invitation (19h) Clôture

129 GTZ / GuinéeEvaluation - Modules Contact (1) International Policy Advising (IPA) Dr. James G. Bennett Kaesenstrasse Cologne, Germany Tel , Fax

130 GTZ / GuinéeEvaluation - Modules Contact (2)

131 GTZ / GuinéeEvaluation - Modules Fin du cours de base: Merci pour vos contributions!


Télécharger ppt "GTZ / GuinéeEvaluation - Modules 1-51 Cours de base sur l é valuation des programmes et projets de lutte contre la pauvret é GTZ / Guinée, septembre 2003."

Présentations similaires


Annonces Google