La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1- Séance introductive.

Présentations similaires


Présentation au sujet: "1- Séance introductive."— Transcription de la présentation:

1 1- Séance introductive

2 Ouverture/Introduction

3 L'évaluation Le rôle de l’évaluation est de mesurer jusqu’à quel point et avec quelle efficacité les programmes et les activités opérationnels produisent les résultats recherchés et réutiliser l’information obtenue dans la formulation de nouvelles orientations, politiques et procédures. L’évaluation constitue un instrument essentiel à l’appui d’une gestion fondée sur les résultats qui a pour objet de fournir un cadre à une planification et une gestion stratégiques reposant sur les principes de l’amélioration des connaissances et du partage des responsabilités.

4 Objectifs de l’atelier
Finalité Contribuer à l'amélioration de l'efficacité des projets et programmes publics Objectif général Préparer les coordonnateurs nationaux à la conception et mise en œuvre d’évaluations de qualité de leurs projets/programme et à la diffusion des principes et techniques d’évaluation de programme

5 Objectifs opérationnels (1)
A l'issue de ce atelier, les participants : Auront été sensibilisés à l'intérêt de l'évaluation ainsi qu'à la dynamique de développement des pratiques d'évaluation à l'œuvre actuellement; Connaîtront les principes généraux de l'évaluation des programmes, l'éventail des méthodes et techniques de l'évaluation, ainsi que la démarche à suivre et les conditions à remplir pour garantir la qualité des résultats obtenus; Connaîtront les spécificités de l'évaluation des effets des programmes en matière de lutte contre la pauvreté;

6 Objectifs opérationnels (2)
A l'issue de ce atelier, les participants : 4) Auront pratiqué individuellement et en groupe, sur des cas précis, certains aspects spécifiques de l'évaluation de programme; 5) Sauront où trouver des ressources méthodologiques et des informations sur l'évaluation; 6) Auront réfléchi sur le rôle que leur institution peut jouer dans la diffusion des pratiques de l'évaluation, en particulier en offrant des formations.

7 Des objectifs aux modules
Préparer des partenaires nationaux à la conception et mise en œuvre d’évaluations de qualité dans leurs pays et à la diffusion des principes et techniques d’évaluation de programme Sensibiliser à l'intérêt de l'évaluation et faire connaître sa dynamique de diffusion actuelle Faire comprendre : principes généraux, méthodes et techniques, démarche, déterminants de la qualité, spécificités de l'évaluation en matière de lutte contre la pauvreté (et fournir une occasion de pratique sur des cas précis) Réfléchir en commun sur le rôle que chaque institution peut jouer et simuler la concep-tion d'un stage de formation Indiquer où trouver des ressources pour aller plus loin (méthodes, cas, informations générales)

8 Le cycle d'apprentissage des participants
Nature de la formation Se référer à ses expériences, les partager, réfléchir, approfondir les compréhensions et élargir les connaissances Le cycle d'apprentissage des participants Les activités Du programme Échange d’expériences Présentations méthodologiques Discussions et réflexions en commun Exercices pratiques

9 Les valeurs à partager pendant l’atelier
• Simplicité, • Ce qui va se passer et se dire ici restera entre nous. Il n'y aura pas de compte rendu des discussions. Chacun peut exprimer ses opinions sans contrainte • Ouverture, esprit critique, tolérance • Participer activement afin que chacun soit à la fois acteur et bénéficiaire de ces quelques jours de travail en commun • Se centrer sur les expériences et les préoccupations concrètes des participants, garder les pieds sur terre

10 2 - Définition de l'évaluation et du suivi des projets / programmes
Évaluation et suivi sont deux outils de management: - Indispensables - Complémentaires

11 Le suivi et l'évaluation sont des outils qui permettent d'identifier et de mesurer les résultats des projets, programmes ou politiques.

12 A quoi servent les informations sur les résultats ?
Évaluer et ajuster les stratégies et les activités Rendre compte des progrès aux parties concernées, aux clients, aux contribuables, à l'opinion Identifier et échanger avec les autres les bonnes pratiques et les leçons apprises Mieux programmer les nouvelles actions et stratégies

13 Le suivi et l'évaluation sont des démarches distinctes mais complémentaires
Évaluation d’impact Mesure des effets Suivi (Monitoring) Mesure continue du rendement

14 Le suivi C'est le tableau de bord qui fournit des informations régulières sur le fonctionnement

15 Définition du suivi Un processus continu de collecte et d'analyse d'informations pour apprécier comment un projet (un programme ou une politique) est mis en oeuvre, en comparant avec les performances attendues

16 L’évaluation Intervient seulement après un certain délai et demande des investigations plus approfondies

17 Une définition de l’évaluation
Une mesure, aussi systématique et objective que possible, des résultats d'un projet, d'un programme ou d'une politique, en vue de déterminer sa pertinence, et sa cohérence, l'efficience de sa mise en oeuvre, son efficacité et son impact ainsi que la pérennité des effets obtenus

18 Rappel : les quatre éléments de base de tout projet, programme, politique...
Objectifs Programme d'activité (une stratégie) Budget calendrier

19 Suivi et évaluation, par rapport à la chaîne des étapes d'un projet
…doivent produire des résultats… … pour réaliser des activités.. … dont les produits et un impact sur le dévelop-pement Des moyens sont mobilisés (intrants) Cet enchaînement repose sur une suite de relations logiques (si... alors) dites "de cause à effet" Évaluation Suivi

20 La structure logique d'un projet ou d'un programme
et un impact sur le dévelop-pement doivent produire des résultats... … pour réaliser des activités... dont les produits... Des moyens sont mobilisés (intrants) Alimentation améliorée, Niveau d'éducation augmenté espérance de vie allongée, Etat de droit amélioré Bâtiments créés, personnel formé, procédures mises en place, textes de loi préparés Récoltes sauvées, services publics plus per- formants, justice plus efficace Activités : construire, former, organiser, soigner, écrire, ... Moyens humains, matériels, financiers Intrants Activités Produits Résultats Impact

21 Suivi et évaluation, par rapport à la structure logique d'un projet
Impact Résultats Produits Activités Moyens (intrants) Finalité Objectif Produits Activités Moyens (intrants) Evaluation Suivi

22 Différences et complémentarité entre suivi et évaluation
Evaluation Objectifs - Améliorer l'efficience, modifier le plan d'activité ou l'affectation des ressources - Clarifier les objectifs et leur transformation en indicateurs de performance - Comparer régulièrement les réalisations par rapport au plan - Communiquer les progrès aux responsables et les alerter sur les difficultés - Examiner les relations causales conduisant des activités aux résultats, expliquer pourquoi certains résultats attendus n'ont pas été atteints - Examiner la mise en oeuvre - Fournir des enseignements, améliorer l'efficacité, les effets, l'impact de la future programmation

23 Différences et complémentarité entre suivi et évaluation
Evaluation Principales activités - Définition des indicateurs, recueil régulier d'informations, comparaison avec le plan, comptes rendus - Appréciation, mesure systématique des effets, recherche des causalités par des méthodes rigoureuses Fréquence - Périodique : journalier, hebdomadaire, mensuel, trimestriel,... selon les variables et les programmes - Épisodique, à mi-paratelier, en fin de programme, a posteriori

24 Différences et complémentarité entre suivi et évaluation
Evaluation Source d'information - Essentiellement des informations fournies par le système de gestion - Informations de suivi complétés par des études, des enquêtes, des analyses, des entretiens Effectué par - L'équipe de réalisation du projet - Evaluateurs extérieurs au programme Destinataire principal du rapport (pour suite à donner) - Chef de projet, équipe de réalisation -Autorités ayant décidé de la réalisation du programme

25 Suivi et évaluation La suite de ce programme va approfondir le concept de l'évaluation. Ce concept doit être considéré et compris selon trois perspectives différentes

26 3 niveaux d'approche de l'évaluation
Que fait mon organisation dans ce mouvement ? Quelle est la dynamique mondiale ? La problématique générale de l'évaluation des projets, programmes, politiques Qui est leader dans ce mouvement ? Quelle est la culture d'évaluation de cette organisation (ce client) ? L'évaluation au sein de l'organisation Y-a-t-il des spécificités nationales ? La pratique individuelle Quelles définitions, vocabulaire, pratiques ? Où en est la recherche ? Comment enrichir mon expérience ? Qu’est-ce que je devrais savoir faire ? Qu’est-ce que je sais faire ?

27 OBJECTIFS ET DEFINITIONS DU SUIVI
GENERALITE Le suivi améliore l’efficacité dans l’exécution des projets/programme. Le suivi peut servir de base par la suite à affiner, réorienter et planifier les programmes. Il permet d’améliorer les actions futures..

28 A. BUT DU SUIVI le but général du suivi est de mesurer et d’évaluer la performance afin de mieux gérer les effets et produits appelés résultats du développement

29 Le suivi axé aujourd’hui sur les résultats est essentiellement pour objectif :
D’améliorer l’apprentissage au niveau de l’organisation et du développement; De permettre la prise de décisions en connaissance de cause; De renforcer les capacités des pays dans chacun de ces domaines ainsi que pour ce qui est des fonctions de suivi et d’évaluation en général.

30 A. LE SUIVI DANS LE CONTEXTE DE LA GESTION AXEE SUR LES RESULTATS
L’accent étant mis de plus en plus sur les résultats, l’attention, l’approche et l’application du suivi est en train de changer profondément dans les projets. La gestion axée sur les résultats est au centre de ces changements. La gestion axée sur les résultats (GAR) : réalisation des résultats clairement définis..

31 Suivi des effets Le suivi des effets est la collecte et l’analyse continues et systématiques de données afin de mesurer l’efficacité dans les projets/programmes le suivi des résultats doit être périodique.

32 Pour bien suivre les effets
les directeurs de programme doivent: fixer des données de référence, choisir des indicateurs de performance concevoir des mécanismes incorporant certaines activités (visites sur le terrain, réunions des parties prenantes et analyses systématiques ou rapports )

33 Caractéristiques principales du suivi de l’exécution et du suivi des effets

34 Importance des partenariats
Aux fins du suivi, les directeurs de programme peuvent faire appel aux partenaires de plusieurs manières, comme par exemple : • En faisant participer les partenaires et d’autres parties prenantes au choix des indicateurs et cibles, à la collecte et à l’analyse des données, en tant que participants à des missions sur le terrain ou en tant que membres d’une équipe d’évaluation;

35 En utilisant les sources de données et statistiques existantes d’organismes partenaires clefs, réduisant ainsi le coût de la collecte des données; En travaillant avec les partenaires à l’étude des progrès accomplis en ce qui concerne les effets et à la recherche du meilleur moyen de renforcer leur stratégie collective. Les directeurs de programme peuvent faire participer divers types de partenaires à tout un éventail d’activités liées au suivi et à l’évaluation. Les rôles de ces partenaires sont décrits ci dessous

36 Rôles des partenaires dans le suivi et l’évaluation
L’organisme public de coordination et d’autres ministères centraux Les partenaires au développement Les bénéficiaires visés Les offices nationaux de statistique Les universités, centres de recherche et bureaux d’étude La société civile Les organismes d’aide au développement

37 Rôles et responsabilités

38

39 A. PRINCIPES DE BASE DE LA PLANIFICATION
Plan de travail général Le plan de travail résume les tâches, calendriers et responsabilités pour une ou plusieurs années. Il sert : A contrôler le déroulement des activités et les progrès enregistrés dans la réalisation des effets. À décrire les activités à réaliser ainsi que les produits et effets prévus.

40 Le plan de travail du coordonnateur est composé de trois éléments interdépendants
Le plan de travail général qui contient les informations de fond et les décisions de gestion et est supervisé par l’équipe de direction du coordonnateur; Le plan de travail pour le suivi et l’évaluation qui est centré sur les produits et les objectifs et est supervisé par l’équipe du programme; Le plan de travail du projet qui est axé sur les activités et les produits et est supervisé par l’équipe du projet.

41 Planification du suivi
La planification du suivi se fait en général au stade de la conception du Programme de pays, de la conception du programme/projet Les coordonnateurs, lorsqu’ils planifient le suivi des progrès réalisés dans la réalisation des effets (suivi des effets), sont encouragés à suivre les étapes suivantes :

42 1. Identifier les besoins
2. Évaluer le suivi en cours 3. Analyser la portée, ou les instruments, du suivi 4. Adapter et/ou mettre au point des mécanismes de suivi

43 LE SUIVI DE L’EXECUTION
Le suivi de l’exécution est probablement la tâche la plus importante du responsable de programme. coordonnateur mesure les progrès réalisés dans la réalisation des activités du projet en fonction des effets prévus et choisit les différentes méthodes de suivi. Le suivi de l’exécution est basé sur une planification appropriée. Le suivi sert également de point de départ à l’évaluation.

44 A. PRINCIPES DE BASE DU SUIVI
Pour La GAR le « suivi optimal » est définit comme comme étant un suivi continu impliquant les partenaires et axé sur les progrès réalisés dans la poursuite des effets Un suivi de ce type peut servir de point de départ pour le Rapport Annuel Axé sur les Résultats (RAAR) et pour les évaluations

45 • Veiller à la bonne conception du projet.
EFFICACITE • Mettre l’accent sur les résultats et le suivi. Identifier, en fonction des progrès réalisés dans la poursuite des résultats prévus, • Veiller à la bonne conception du projet. • Prévoir des inspections régulières de l’équipe du coordonnateur • Procéder à une analyse régulière de certains rapports choisis

46 Choisir des mécanismes de contrôle participatifs pour assurer l’engagement, l’appropriation, le suivi et le retour de l’information. Trouver des méthodes pour évaluer objectivement l’exécution et l’avancement des activités en utilisant des critères et des indicateurs clairs. Évaluer la pertinence, la performance et le succès des interventions en matière de développement pour donner également plus de portée au suivi. Enfin, le coordonnateur doit activement tirer les enseignements du suivi, assurer l’apprentissage, adapter les stratégies et éviter de répéter les mêmes erreurs.

47 PORTEE Les progrès réalisés dans la poursuite des effets :
Les facteurs favorisant ou ralentissant la poursuite de l’effet : Les contributions des partenaires au développement dans la poursuite des effets : La stratégie de partenariat

48 RESPONSABILITES La portée et la responsabilité du suivi varient avec chaque niveau de programmation.

49 INSTRUMENTS Les méthodes et instruments de suivi décrits ci-après sont applicables pour les projets, les programmes, les effets ou pour toute autre activité. Les coordonnateurs travaillent dans un cadre axé sur les progrès réalisés. En respectant ce cadre, ils doivent définir un assortiment équilibré de méthodes et instruments de suivi adapté à chaque projet, programme ou effet faisant la part entre : Les rapports/analyses – collecte et analyse de la documentation sur le projet pour obtenir des informations sur les progrès réalisés; La validation – contrôle ou vérification de l’exactitude des progrès rapportés; La participation – pour obtenir un retour d’information des partenaires et des bénéficiaires sur les progrès réalisés et les actions proposées.

50 Répartition des mécanismes de suivi

51 INSTRUMENTS ET MECANISMES DE SUIVI
Un éventail d’instruments et de mécanisme de suivi, formels et informels, est à la disposition des coordonnateurs visites sur le terrain, rapports de projet annuels, groupes de discussion sur les résultats examens annuels

52 Visites sur le terrain Les visites sur le terrain comme mécanisme de suivi. Le choix de la date de l’inspection, de son objectif et des éléments à contrôler doit être fait de façon judicieuse pour pouvoir réellement mesurer les progrès réalisés Calendrier But Cible

53 Contenu du rapport de projet annuel
le rapport doit être très bref et contenir les éléments de base minimums requis pour l’évaluation des résultats, des principaux problèmes et des actions proposées. Ces éléments sont notamment L’analyse de l’exécution du projet au cours de la période sur laquelle porte le rapport, y compris les produits exécutés et, lorsque possible, des informations sur les progrès réalisés dans la poursuite de l’effet; Les obstacles à l’obtention des résultats, et les raisons sous-jacentes; Trois (maximum) grands obstacles à l’obtention des résultats; Les enseignements tirés; Des recommandations claires sur la démarche à suivre pour traiter les principaux problèmes faisant obstacle à l’obtention des résultats.

54 Groupes de discussion sur les effets
Des mécanismes de coordination réunissant les partenaires pour discuter et procéder à des analyses communes constituent un autre moyen de suivi important. Ces mécanismes sont généralement regroupés sous l’expression « groupes de discussion sur les effets ».

55 Examen annuel l’examen annuel prend la forme d’un échange de vues pour évaluer les progrès réalisés dans la poursuite des résultats (produits et effets) le coordonnateur, en particulier son équipe de direction, est impliqué, au grand complet, dans l’examen, à différents niveaux. l’Examen doit avoir une portée suffisamment large pour fournir des informations de valeur mais ne doit pas être trop complexe

56 3- L'évaluation, un outil de progrès

57 Pourquoi évaluer? Une nécessité pour un expert, une équipe, une organisation qui veut apprendre à partir de l'expérience Ce que font les autres en matière d'évaluation Les pressions sur l'aide au développement

58 Le cycle de fonctionnement d'une organisation qui apprend à partir de ses expériences
Conception Programmation Réalisation Evaluation Conception Programmation Réalisation Evaluation Conception etc...

59 Mesurer les performances est une nécessité pour tous
Gouvernements (ministères, agences, entreprises publiques) Organisations (entreprises, associations, agences internationales) Experts, managers, individus

60 Étapes de la gestion axée sur les résultats

61 Les pressions pour une aide plus efficace
Urbanisation Détérioration de croissante Pauvreté grandissante Croissance démogaphique Erosion de la volonté générale d'aide Aide au développement Incertitudes l'environnement Participation Exigences croissante aux des beneficiaires circuits de l'aide multinationale Restrictions budgetaires Extension modèle Scepticisme des anglo - saxon commanditaires (et évaluation) Concurrence entre institutionnelles les bailleurs de fonds

62 La logique du système de pilotage d’un projet
Définir le projet Mettre en oeuvre le projet Suivre les progrès en cours Détecter & analyser les écarts Ecarts faibles Ecarts importants Identifier & évaluer les actions Rendre compte aux corrective s capables de décideurs remédier aux écarts Selectionner et mettre en Redéfinir le projet, s on oeuvre les actions correctives plan d'action, ses Tous les 2 ou 3 ans les plus efficaces Tous les jours, semaines, mois perspectives, ses moyens Evaluation Suivi/contrôle (sur la base des informations de gestion complétées par les (sur la base des informations résultats d'autres de gestion) investigations de caractère exceptionnel)

63 Attitudes / stratégies

64 4- Caractéristiques générales de l'évaluation

65 - Les parties prenantes - Un exercice où tout le monde gagne
Contenu - Définitions - Finalités - Objets - Moments - Les parties prenantes - Un exercice où tout le monde gagne

66 Des définitions variées
Évaluer une politique c'est reconnaître et mesurer ses effets propres. Évaluer une politique c'est émettre un jugement sur sa valeur L'évaluation a pour objet de rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus et d'atteindre les objectifs visés.

67 Des définitions variées
L'évaluation est une fonction qui consiste à porter une appréciation, aussi systématique et objective que possible, sur un projet en atelier ou achevé, un programme ou un ensemble de lignes d'actions, sa conception, sa mise en œuvre et ses résultats. Il s'agit de déterminer la pertinence des objectifs et leur degré de réalisation, l'efficience au regard du développement, l'efficacité, l'impact et la viabilité. L'évaluation doit permettre d'améliorer les politiques, programmes et projets des années futures grâce à la prise en compte des enseignements tirés du passé et fournir les éléments en vue de la justification des actions menées, avec des informations destinées au public. Comité d'aide au développement (CAD/OCDE)

68 Quelles sont les finalités d'une évaluation ?
Discussion

69 Les finalités d'une évaluation
responsables Le gestionnaire, les opérateurs Décider 4 grandes finalités Gérer, contrôler Connaître, être informé Le chercheur Le public, les bénéficiaires, les contributeurs Savoir, comprendre et tirer des enseignements

70 L'évaluation porte sur des objets de taille variable
Projets, programmes, politiques Des objets de taille variable Action/ mesure Projet Programme Politique

71

72 Selon les "moments" de l'évaluation, les buts diffèrent
Début Avant Pendant À la fin Plus tard Programme Vérifier la conception Améliorer la mise en œuvre Rendre des comptes Déterminer l’impact

73 Types d’évaluation Évaluation formative Évaluation sommative
- Vise à améliorer le fonctionnement d'un programme existant - Effectuée pendant la mise en œuvre du programme - Associe acteurs et opérateurs qui vont se "former" durant l'évaluation pour ensuite réorienter le atelier du projet si nécessaire. Évaluation sommative - Effectuée pour évaluer les résultats du projet ou du programme (ses effets) - Faite une fois le programme terminée - Permet d'appréhender l'ensemble des résultats (la "somme").

74 Qui participe à une évaluation ?
Acteurs/bénéficiaires ? Expertise externe Instance d'évaluation Opérateur du projet Bailleur de fonds Pays partenaire Co-financeurs éventuels

75 Qui participe à une évaluation ?
Acteurs/bénéficiaires Expertise externe Auto-évaluation Instance d'évaluation Opérateur du projet Bailleur de fonds Pays partenaire Co-financeurs éventuels

76 Qui participe à une évaluation ?
Acteurs/bénéficiaires Expertise externe Evaluation interne Instance d'évaluation Opérateur du projet Bailleur de fonds Pays partenaire Co-financeurs éventuels

77 Qui participe à une évaluation ?
Acteurs/bénéficiaires Expertise externe Co-évaluation Instance d'évaluation Opérateur du projet Bailleur de fonds Pays partenaire Co-financeurs éventuels

78 Qui participe à une évaluation ?
Acteurs/bénéficiaires Evaluation externe Expertise externe Instance d'évaluation Opérateur du projet Bailleur de fonds Pays partenaire Co-financeurs éventuels

79 Qui participe à une évaluation ?
Acteurs/bénéficiaires Evaluation externe élargie aux partenaires Expertise externe Instance d'évaluation Opérateur du projet Pays partenaire Bailleur de fonds Co-financeurs éventuels

80 Qui participe à une évaluation ?
Acteurs/bénéficiaires Evaluation participative Expertise externe Instance d'évaluation Opérateur du projet Pays partenaire Bailleur de fonds Co-financeurs éventuels

81 L'évaluation, un exercice ou tout le monde gagne ?
Les méthodes thérapeutiques de l'évaluation Confrontation aux faits et aux normes, reatelier aux documents, méthodes adaptées et crédibilité des conclusions Transparence et pluralisme Thérapie de la parole et vertus du dialogue Le regard externe La logique, arme absolue A condition de respecter les standards et l'éthique

82 Evaluation: les thèmes clés à aborder
Ce qu'il faut évaluer Comment sera faite l'évaluation Questions Méthodes et et critères techniques Qualité Que vaudront les résultats ? Termes de référence, profil des évaluateurs, dispositif mis en place, argumentaires, confrontation, qualité du rapport, etc...

83 Evaluation: les thèmes clés à aborder
Ce qu'il faut évaluer Comment sera faite l'évaluation Questions Méthodes et et critères techniques Qualité Que vaudront les résultats ? Termes de référence, profil des évaluateurs, dispositif mis en place, argumentaires, confrontation, qualité du rapport, etc...

84 Module 5- Questions et critères de l'évaluation
Ce qu'il faut évaluer Questions Méthodes et et critères techniques Qualité

85 La (ou les) question(s) de l'évaluation
Exprime une préoccupation a l'état brut, un besoin que ressent le commanditaire (futur utilisateur ?) S'exprime en langage courant Est le meilleur moyen de se comprendre et de s'entendre entre commanditaire et évaluateurs Les mises au point se font par les moyens habituels de la communication interpersonnelle (écoute, re-formulation, etc.)

86 Le processus de focalisation des questions
Question de départ Méthodes et techniques utilisables Etude de faisabilité

87 Les différents niveaux d'une discussion itérative sur les questions, les méthodes, le coût, ...
Partenaires Commanditaire Bénéficiaires Equipe du projet, du programme ou de la politique Equipe d'évaluation

88 Bien classer les questions
Il existe trois types de questions: Descriptives Comment s’est déroulé le programme, le profil du personnel en poste était-il adapte, le projet au départ était-il cohérent… Normatives Les coûts unitaires sont-ils conformes a ceux des établissements de même nature, le taux d’insertion après formation est-il satisfaisant, la part des dépenses publiques… D’impact (causalité) Les revenus des groupes cibles ont-ils été améliorés durablement, dans quelle mesure l’amélioration de l’état sanitaire résulte du projet…

89 Bien classer les questions
Ces trois types de questions nécessitent des méthodes différentes: Descriptives Étude de cas, entretiens, lecture de dossiers, enquêtes statistiques Normatives Analyse comparative: données disponibles, études de cas, enquête statistique, analyse coût-bénéfice, analyse coût-efficacité D’impact (causalité) Expérimentation avec groupe de contrôle ou au moins analyse avant-après: recherche de relations causales, analyse statistique, analyse prévisionnelle.

90 Les critères d'évaluation
Structure logique Buts, Finalités Résultats Produits Activités Intrants Impact Pertinence Pérennité Efficacité Réplicabilité Cohérence Efficience

91 Les critères... Comment s’y retrouver?
cohérence efficacité efficience impact durabilité (pérennité) Percoeffidu Pertinence

92 Les critères... Quelle est leur utilité?
C'est le "politiquement correct" de l'évaluation, selon les standards du CAD Dans les discussions/réflexions sur les questions d'évaluation, les critères aident à ne rien oublier et à classer les préoccupations Une évaluation "totale" (sur tous les critères) renforce la logique des conclusions et donc leur solidité

93 Critères et Questions: la correspondance
Le programme était il bien approprié ou adéquat pour atteindre le but général poursuivi ? L'objectif est-il toujours d'actualité aujourd'hui ? Le programme correspond-il toujours aux attentes des parties prenantes? Dans la conception originelle du programme, les objectifs étaient-ils (sont-ils) cohérents entre eux, les activités prévues permettaient- elles d'atteindre les objectifs opérationnels visés, les moyens prévus permettaient-ils de réaliser les activités envisagées dans les temps impartis ? Pertinence Cohérence

94 Critères et Questions: la correspondance
Comment le projet, la politique a-t-il (elle) fonctionné ? Les ressources ont-elles été bien mobilisées ? Les coûts unitaires sont-il dans les normes ? Les résultats immédiats escomptés ont-ils été effectivement obtenus et dans quelles conditions de qualité, coût et délais ? Les résultats ont-ils été à la mesure des sommes dépensées ? Les exigences contractuelles ont-elles été respectées? Efficience

95 Critères et Questions: la correspondance
Efficacité Impact Quel est le niveau d'atteinte de l'objectif principal du projet ? Le programme a-t-il eu les effets attendus au niveau des bénéficiaires (correction des déséquilibres, renforcement institutionnel, modifications de comportement, etc.) ? Le programme a-t-il contribué a corriger le problème visé (niveau de pauvreté par exemple) ou à produire le développement escompté ? A-t-il des effets négatifs imprévus ? Les conséquences globales du programme sont-elles bénéfiques ?

96 Critères et Questions : la correspondance
Les effets du projet ou du programme seront-ils durables ? Les mécanismes mis en place sont-ils viables ? La politique peut-elle être reproduite? A quelles conditions ? Durabilité Réplicabilité

97 Un exemple : (Projet FAC d'appui à la formation professionnelle et à l'emploi, Mali, 1999)

98 Comment? Pour donner à toutes les questions un contenu concret, il faut repartir des objectifs et des indicateurs de départ (document de projet et cadre logique). Quand le cadre logique n'existe pas, l'évaluateur doit le reconstituer.

99 Module 6- Méthodes et techniques de l'évaluation
et critères Questions Qualité Comment sera faite l'évaluation Méthodes et techniques

100 Méthodes et techniques de l'évaluation Contenu:
1- Méthodes, techniques et outils 2- Méthodes d'évaluation de l'impact 3- Les techniques couramment utilisées en évaluation

101 Chaque question d'évaluation est reliée à des techniques particulières

102 Chaque question d'évaluation suppose
une démarche particulière au terme de laquelle l'évaluateur aura rassemblé les éléments nécessaires à la construction d'un raisonnement (argumentaire) lui permettant d'exprimer un jugement valide (ou convaincant).

103 Analyse documentaire, lecture des dossiers d'archive
Exemple de question : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? Comment répondre à cette question ? Analyse documentaire Entretiens avec plusieurs responsables pour m'assurer d'une bonne compréhension 1) Je vais identifier ce qui était prévu dans les documents de départ, 2) Je vais reconstituer ce qui s'est passé réellement Analyse documentaire, lecture des dossiers d'archive Entretiens avec des acteurs des différentes composantes, des différentes phases et de différentes sensibilité

104 Exemple suite : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? 3) Je vais comparer le plan et la réalité, mettre à jour les différences, vérifier que les opinions recueillies sur ce point convergent vers les mêmes conclusions 4) Il me faudra décider ce qui est un changement négligeable et ce qui est un changement notable. Je ne signalerai que les changements qui ont eu des conséquences visibles sur les coûts et les délais Etablissement d'un chronogramme rétrospectif Construction de l'argumentaire Entretiens avec plusieurs acteurs pour vérification de la validité des conclusions C'est la démarche que je me propose de suivre pour répondre à cette question

105 Exemple suite : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? Cette démarche prévoit l'utilisation de différentes techniques qui elle-mêmes supposent l'usage d'outils ou d'instruments Techniques - Analyse documentaire - Revue de dossiers - Entretiens individuels - Groupes de discussion Outils/instruments - Guides d'entretien Chronogrammes

106 Deuxième exemple : Seconde question à choisir avec le groupe, si possible sur l'efficience Dérouler ensemble le raisonnement : - Comment répondre à la question (avec éventuel retour à la formulation même de la question) ? - Quelle démarche dérouler ? - En utilisant quelles techniques et quels outils ? Comparer avec la démarche précédente

107 Ensemble de la démarche pour une évaluation
Questions et critères Ensemble de la démarche pour une évaluation démarche pour répondre à la question 1 démarche pour répondre à la question 2 démarche pour répondre à la question 3

108 L'ensemble de la démarche de l'évaluation est composé d'outils, de techniques et d'une méthode
Le terme "méthode" est en général utilisé pour désigner la démarche qui concerne l'évaluation de l'impact

109 Au coeur de l'évaluation, la mesure des effets
La raison d'être d'un programme est de produire un effet ou un impact Finalité Objectif Impact Effets Résultats directs Activités Moyens Comment mesurer l'impact (les effets) d'un programme ? C'est la principale questions méthodologique de l'évaluation

110 Méthodes d'évaluation de l'impact
Deux problèmes sont à résoudre : 1) Dans quelle mesure peut-on identifier un effet (le revenu augmente, la prévalence d'une maladie diminue, ...) 2) Dans quelle mesure cet effet est-il attribuable au programme (et non pas à une autre cause). Pour tenter de repondre, du mieux possible, à ces deux questions, des méthodes qui sont spécifiques à l'évaluation sont utilisées

111 Méthodes d'évaluation de l'impact
Question clé de l'évaluateur : Que ce serait-il passé pour les bénéficiaires si le programme n'avait pas eu lieu ? Comment refaire l'histoire ? Comment construire une base de comparaison ? L'art de l'évaluation consiste à trouver une solution pour construire une base de comparaison permettant d'aboutir à des conclusions crédibles

112 La seule solution indiscutable : l'expérimentation idéale

113 L'expérimentation idéale avec groupe de contrôle équivalent
30 Effet ou impact = 13 Niveau de revenu 17 Théoriquement, une seule observation finale est suffisante. Mais le groupe de contrôle doit être construit avec de grandes précautions pour garantir la comparabilité. 10 Temps Programme Bénéficiaires Groupe de contrôle équivalent

114 L'expérimentation idéale avec groupe de contrôle équivalent
Dans la pratique, il est extrêmement difficile de construire un groupe de contrôle strictement comparable : - problème éthique (condamner un groupe à ne pas être bénéficiaires) - difficultés de trouver un groupe équivalent hors projet - coût Cette solution n'est donc pratiquement jamais utilisée

115 Comparaison avec un groupe de contrôle non équivalent
30 Effet ou impact = 13 Niveau de revenu 21 17 Construction d'une situation de référence. Une grande quantité d'observations sur les situations avant et après est nécessaire. 14 10 Temps Programme Bénéficiaires Groupe de contrôle non équivalent

116 Comparaison avec un groupe de contrôle reconstitué a posteriori
30 Effet ou impact = 13 Niveau de revenu 21 Construction d'une situation de référence par choix, dans une large enquête sur la situation de départ, des unités hors projet ayant les caractéristiques des bénéficiaires. 17 14 10 Temps Programme Bénéficiaires Large enquête descriptive

117 Evaluation sans groupe témoin, par comparaison avant / après
30 Effet ou impact ? Niveau de revenu 21 Base Line Study 17 14 ? La conclusion sur l'impact manque de précision et de solidité. L'existence de séries temporelles permet d'améliorer la conclusion. 10 Séries temporelles Temps Programme Bénéficiaires Large enquête descriptive

118 Evaluation par simple observation après mise en oeuvre
Effet ou impact ? 30 Niveau de revenu La conclusion sur l'impact est impossible; Il est possible d'indiquer que l'objectif a été atteint (l'effet s'est produit), mais sans pouvoir attribuer ce résultat au programme Temps Programme Bénéficiaires

119 4 grandes familles de méthodes d'évaluation
Qualité

120 Evaluation par simple observation après mise en oeuvre
- Possibilités: Très simple à mettre en œuvre. Est appropriée pour des évaluations de moyens et de réalisation. Permet de : (i) constater de quelle manière la politique a été mise en œuvre ; (ii) mesurer ses résultats immédiats (outputs) (iii) améliorer la compréhension des comportements des groupes concernés et des instruments ou mécanismes. Limites: Difficulté d'isoler les effets de la politique des autres facteurs possibles d'évolution Grand risques de subjectivité. Peut difficilement être utilisée pour évaluer l'impact ou pour fournir un schéma explicatif des phénomènes observés. Des liens de causalité peuvent être suggérés, mais les conclusions tirées à ce niveau demeurent fragiles et leurs possibilités d'extension à d'autres situations sont limitées. Techniques utilisées : Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, calculs de ratios, comparaison avec des normes, ...

121 Evaluation par comparaison avant / après
+ Possibilités: Très répandue. Correspond à la démarche naturelle d'évaluation : chercher à vérifier que la période de mise en œuvre de la politique a coïncidé avec une modification de certains indicateurs. Mêmes possibilités que ci-dessus. Permet de plus une description plus fine et quantifiée des effets. Limitations: Mêmes limitations que la méthode précédente. Mais possibilité d'utiliser des indicateurs plus précis, de faire de nombreux recoupements pour éprouver la robustesse des résultats. Techniques utilisées: Suppose de pouvoir utiliser une bonne description de la situation de départ (base line) pour tous les indicateurs de résultat du projet. Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, analyse de séries temporelles, calculs de ratios, comparaison avec des normes, ...

122 Evaluation par comparaison avec un groupe témoin non équivalent
++ Possibilités: Comparaison du groupe cible concerné par la politique avec un groupe témoin dont les caractéristiques ne sont pas complètement semblables. Permet de (i) mieux cerner l'impact ou les effets externes d'une politique (sans garantir la relation causale) et (ii) révéler des mécanismes et des comportements face à des politiques incitatives. Limitations: Pertinence limitée pour pouvoir déduire sans ambiguïté des relations causales. Une multiplication des groupes témoins permet de consolider les conclusions. Lorsqu'un groupe est spécialement constitué pour l'évaluation sans être toutefois "équivalent" l'utilisation de techniques statistiques complexes permet parfois d'isoler les biais résultant de la non-équivalence (cas d'une"quasi-expérimentation"). Techniques utilisées : Étude de cas, enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation

123 Evaluation par comparaison avec un groupe témoin équivalent (véritable expérimentation)
+++ Possibilités: La seule procédure totalement rigoureuse d'évaluation, utilisée notamment dans le domaine des thérapeutiques (évaluation des effets d'un traitement médical). Elle permet d'identifier sans équivoque des relations de causalité et donc les effets propres d'une politique ou d'un projet. Limitations: La constitution d'un groupe témoin équivalent, qui doit avoir lieu avant le démarrage du projet ou de la politique et obéit à des règles particulièrement strictes, se heurte à de nombreux problèmes de faisabilité dans le domaine des politiques socio-économiques. Peut-être contraire à l'éthique. Techniques utilisées : Enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation

124 Techniques, outils, instruments ...
Pratiquement toutes les techniques des sciences économiques et sociales, en particulier les statistiques, sont utilisables en évaluation: Entretiens Groupes de discussion Recherche documentaire Revue des dossiers d'archive Enquête par questionnaire Etude de cas Tests de connaissances ou d'aptitudes Enquête d'opinion Analyse de contenu ...

125 Techniques, outils, instruments ...
Une des qualités de l'équipe d'évaluation est d'être capable d'identifier/imaginer les démarches techniques qui permettront d'aboutir à des conclusions d'évaluation convaincantes, pour chacune des questions.

126 Techniques, outils, instruments ...
Il n'est pas possible, dans le cadre de cet atelier, d'entrer dans le détail de chacune de ces techniques ou des outils et instruments utilisables. D'ailleurs un évaluateur ne maîtrise pas forcèment toutes les techniques et doit souvent faire appel à des spécialistes Nous verrons quelques-unes des techniques les plus courantes dans le atelier des exercices

127 Techniques, outils, instruments ...
Pour approfondir, il existe de nombreux manuels, guides, etc... sur les thèmes suivants: - Collecte des données - Entrevues, groupes de discussion - Observations directes, études de cas - Analyse des données - ...

128 Questions Méthodes et et critères techniques Qualité
Module 7- La qualité d'une évaluation et ses dimensions, les standards à respecter Questions Méthodes et et critères techniques Qualité Termes de référence Profil des évaluateurs Dispositif mis en place Démarche suivie Etc...

129

130 Les qualités d'une évaluation
Crédible Qualité et transparence des méthodes employées, compétence des évaluateurs Utile Pertinente Communication des résultats Présentation claire, complète et détaillée de tous les arguments, distinction nette entre observations, hypothèses, jugements Pertinence des questions initiales posées aux évaluateurs par rapport aux préoccupations du commanditaire, des services concernés et de toutes les parties prenantes au projet ou à la politique Objectivité, impartialité, pluralisme au niveau de la réalisation, indépendance par rapport aux services gestionnaires du projet ou de la politique Pour qu'une évaluation soit : Elle doit être : Accessible Qualité des mesures et des relations causales établies Caractère reproductible des conclusions (un autre évaluateur aboutirait aux mêmes conclusions) , séparation complète entre conclusions et recommandations (digne de confiance) Qualité du rapport : organisation, taille, style (clarté, concision) Ce qui suppose : Réalisation au moment opportun, en réponse à une demande des responsables du projet ou de la politique, en vue d'améliorer la conception ou la réalisation de leurs programmes

131 Les déterminants de la qualité
C'est un processus. La qualité est à assurer tout au long de la chaîne : - Qualité de la demande et des TdR - "Evaluabilité" du programme - Qualité des évaluateurs - Qualité de la préparation - Qualité de la réalisation - Qualité des debriefings et des confrontations - Qualité du rapport final

132 Qualité de la demande - Justifiée par une volonté de progrès
- Dans un climat de transparence et de partenariat - Pertinence des questions - Choix du moment - Cohérence entre question et moyens - Qualité des termes de référence (qui traduisent la demande)

133 Qualité des termes de référence
Thèmes à inclure dans les TdR: Origine du projet d'évaluation Description schématique du programme à évaluer avec identification des parties prenantes Les questions d’évaluations – les problèmes posés Les résultats attendus La démarche et le plan de travail Le dispositif d'évaluation (les intervenants et leur rôle, les qualifications requises) Le calendrier

134 Qui devrait participer à la préparation des termes de référence ?
Commanditaire (s) Ensemble des parties prenantes Termes de référence Equipe d'évaluation

135 "Evaluabilité" du programme
- Qualité de la structure logique du projet - Précision des attentes (les indicateurs) - Le cadre d'évaluation - Le système de suivi

136 Composantes d'activités
La structure logique SI les résultats directs sont produits Et SI les hypothèses de développement se vérifient, ALORS l'objectif principal du projet sera atteint Moyens de vérification Présentation Indicateurs Hypothèses Finalités Matrice du cadre logique Objectif Principal Résultats opérationnels Composantes d'activités Ressources

137 Rappel d'une phase essentielle de la préparation des programmes
Définition des indicateurs de résultats La logique horizontale

138

139 Les points clés pour l'évaluabilité d'un programme
L'objectif principal est bien un objectif de développement (il décrit un changement dans l'attitude ou les performances des bénéficiaires, pas de confusion avec les résultats opérationnels) L'objectif principal est réaliste (pas de confusion avec les finalités) Des indicateurs de performance et de résultat ont été définis. Ils sont mesurables et possèdent les trois dimensions (quantitatifs, qualitatifs, phases dans le temps)

140 Le cadre d'évaluation défini au départ
C'est désormais une exigence dans le cahier des charges pour la définition des projets et des programmes Le cadre de départ doit préciser : - Quel système de suivi - Quelles évaluations prévues - Les responsabilités et le plan d'action Quand le suivi a été bien fait, c'est un acquis énorme pour les évaluations ultérieures

141 Qualité des évaluateurs
Quelles sont les qualités requises pour une évaluation ? Discussion

142 Les qualités requises d’un évaluateur
• Capacité d'initiative et d'innovation. • Indépendance. • Connaissance du domaine. • Compétences analytiques. • Relations interpersonnelles. • Compétences dans la gestion des projets. • Qualités de synthèse et de rédaction.

143 Qualité de la préparation
Au centre de la préparation se situe le choix de la démarche retenue, qui doit être pertinent, mais aussi la qualité du programme d'activité, la bonne préparation des outils et instruments, ... La préparation suit un processus dont toutes les étapes doivent être respectées et réalisées correctement (Voir la description des étapes à suivre, ci-dessous Module 8)

144 Qualité de la réalisation
- le plan prévu a été réalisé, sans surprise ou accident. (le rapport final rendra compte de ce déroulement) - qualité des mesures réalisées, - qualité des argumentaires et des conclusions

145 Comment se faire une opinion
Les critères utilisés doivent être connus et visibles. Convenir au départ, avec les parties prenantes, des critères/éléments qui seront utilisés pour évaluer. Utiliser ensuite en toute transparence ces mêmes critères pour construire les jugements d'évaluation Normes: Rechercher des indicateurs de bonnes performances (autres organisations dans le domaine) et s’en servir comme point de référence Panel d’experts: Présenter les données à des experts reconnus et utiliser les appréciations qu'ils en retirent à partir de leur expérience

146 Chercher la sur-détermination ou des confirmations multiples ("Triangulation")
Exemple d'une conclusion d'évaluation Données des questionnaires Le prix de l'eau à la pompe est trop élevé en milieu rural et limite l'usage des ouvrages Données des groupes de discussion Données des entretiens La moindre divergence doit attirer l'attention des évaluateurs sur un risque d'erreur

147 L'argumentaire doit être construit avec soin
Exercice en groupe : réflexion sur un argumentaire simple conduisant à une conclusion Faire apparaître les différents concepts en jeu (faits, opinions, inférences, conclusions, ...) Montrer l'importance, pour la qualité de l'évaluation, d'un traitement différencié de ces différents concepts

148 Dans l'argumentaire, il est essentiel de bien séparer :
Observés, incontestables, font généralement l'objet d'un consensus Résultat intermédiaire de l'évaluateur qui déduit ou "infère". Les infèrences doivent être éprouvés Jugement personnel, à présenter clairement comme tel. A banir si pas justifiées A banir totalement Résultent de tout un argumentaire. Doivent être clairement reliées à cet argumentaire et présentées comme telles A isoler très nettement des conclusions. Tendances fortes à sauter sur les recommandations avant même d'avoir clairement tirées les conclusions Se rapport à un principe qui peut avoir des applications plus générales Faits Déductions Opinions Sentiments Conclusions Recommandations Enseignements

149 Qualité des confrontations
C'est la discipline de base de l'évaluateur Préparer les débriefing avec soin. Chacun d'eux doit améliorer la compréhension mutuelle et permettre de gagner de l'adhésion Ne pas supprimer la confrontation finale avec toutes les parties prenantes. Souvent difficile à réaliser. Doit être prévue dans le programme de l'évaluation.

150 Le rapport final Un exercice particulièrement difficile car
Pour faire partager les conclusions il faut tout expliquer Pour être lu il faut être court Pour être compris par des publics très différents, il faut des présentations différentes.

151 Plusieurs rapports Le personnel du programme pourra avoir besoin d’un rapport verbal et d’une note interne avec les points principaux Les bailleurs de fonds et les intervenants externes pourront avoir besoin d’un rapport complet. Les décideurs pourront avoir besoin d’un résumé Le public pourra avoir besoin d’un sommaire des résultats

152 Qualité du rapport final
Répond aux questions et problèmes identifiés dans les termes de référence Clair et bien organisé, utiliser graphiques, matrices, ... Certains éléments peuvent être préparés avec les parties prenantes Fourni à temps Écrit dans la langue des utilisateurs Présente une position détachée et désintéressée. Est objectif.

153 Le contenu du rapport final d'une évaluation rétrospective
Un résumé analytique de 1 à 3 pages Une description de la politique évaluée Un rappel du contexte de l'évaluation, du commanditaire, de ses objectifs (les questions auxquelles l'évaluation devait répondre) Un exposé méthodologique rappelant les choix opérés, les techniques utilisées et les étapes du travail d'évaluation  Un bref compte rendu des études réalisées Des développements informatifs à partir des données recueillies et des observations effectuées Des conclusions correspondant aux critères retenues pour l'évaluation Des recommandations qui doivent apparaître clairement comme telles Des annexes

154 Grille d'estimation de la qualité d'une évaluation (pour le commanditaire)
1- Niveau de réponse à la demande (par référence aux questions posées à l'origine dans les termes de référence) 2- Pertinence du champ couvert 3- Indépendance/pluralisme de l'équipe d'évaluation 4- Adéquation méthodologique 5- Fiabilité des données utilisées 6- Solidité des analyses 7- Crédibilité des conclusions 8- Clarté du rapport (ou de la présentation) Excellent Bon Acceptable Inacceptable Attention : la note générale n'est pas la moyenne des notes mais correspond à la plus mauvaise note obtenue pour l'un quelconque des 8 points ci-dessus.

155 Les standards à respecter
American National Standards Institute Utilité : L'évaluation doit répondre aux besoins des utilisateurs prévus Faisabilité : L'évaluation doit être réaliste et praticable, prudente et diplomatique Respectueuse : L'évaluation doit être conduite dans le respect du bien-être de ceux qui sont associés à sa réalisation et pourraient être affectés par ses résultats Appropriée : L'évaluation doit produire et utiliser les informations techniquement adéquates pour déterminer la valeur ou les mérites du programme évalué

156 Module 8- Les étapes de la démarche d'évaluation

157 4 phases et beaucoup plus d'étapes
Contenu Deux points de vue différents Les préalables La préparation La réalisation La valorisation des résultats 4 phases et beaucoup plus d'étapes

158 Deux points de vue différents sur les étapes d'une évaluation
Le commanditaire L'organisation Le réalisateur L'évaluateur Préalables Préparation Réalisation Valorisation

159 Les préalables Selon la nature de l'organisation et ses procédures, les préalables peuvent être différents. Généralement : Consulter les partenaires et les opérateurs du programme Choisir le bon moment Faire un avant projet sommaire (ébauche) Prévoir le budget Nommer un responsable et un Comité de pilotage

160 La préparation comporte 5 étapes
le projet, programme ou politique, les parties prenantes, le contexte, les hypothèses de départ, ... 1- Prendre connaissance de l'objet de l'évaluation 2- Identifier/préciser les questions et les critères 3- Recenser l'information disponible 4- Concevoir une démarche d'évaluation Etudier plusieurs options pour sélectionner la meilleure 5- Définir un dispositif d'évaluation, un programme de travail, un budget et un calendrier Matrice de l'évaluation Programme de travail La préparation demande souvent plus de temps que la réalisation de l'évaluation Entreprendre l'étude d'évaluation

161 La préparation pour une organisation
Les partenaires peuvent être consultés Un service est en charge ou un responsable a été nommé. Eventuellement un Comité de pilotage est en place 1- Prendre connaissance de l'objet de l'évaluation A ce stade, après réflexion collective sur les questions, le projet d'évaluation peut être abandonné 2- Identifier/préciser les questions 3- Recenser l'information disponible 4- Concevoir une démarche d'évaluation 5- Définir un dispositif d'évaluation, un programme de travail, un budget et un calendrier A ce stade des options sont présentées à la décision. Le projet d'évaluation peut être abandonné Etudier plusieurs options pour sélectionner la meilleure 6- Ecrire les termes de référence que devront suivre les évaluateurs Une étape de plus

162 La préparation pour un évaluateur
Une demande a été exprimée (appel d'offres ou contact direct) 1- Prendre connaissance des termes de référence Rechercher des informations complémentaires sur le programme (si nécessaire) 2- Préciser les questions la compré-hension du cadre logique du programme est essentielle Avec le commanditaire, si possible 3- Recenser l'information disponible 4- Concevoir une démarche d'évaluation 5- Définir un dispositif d'évaluation, un programme de travail, un budget et un calendrier A ce stade, l'évaluateur peut abandonner le projet d'évaluation Etudier plusieurs options pour sélectionner la meilleure 6- Faire une offre et signer un contrat

163 Concevoir la démarche d'évaluation
C'est le coeur de la phase de préparation Les questions ont été précisées et organisées selon les différents critères, l'information disponible est connue Il s'agit de définir quelle méthode, quelles techniques de collecte et d'analyse de l'information, pour chacune des questions de l'évaluation L'instrument utilisé pour faciliter cette conception est la matrice de l'évaluation

164 La matrice de l'évaluation
Quels indicateurs privilégier Quels dispositifs d'investigation Quels outils Questions Classées selon les différents critères : Pertinence Q1 Q2 Cohérence Q3 ... Comment répondre, quels indicateurs seront convaincants, pour chaque question pour chaque indicateur recherché Guide Test ...

165 Le programme de travail
Produit attendu Date début fin Pré- requis Tâches Responsable T1 T2 T3 ... Produit de T1 Produit de T2 ... En distinguant éventuel-lement qui dirige et qui participe

166 Les produits directs à attendre d'une évaluation
Description sommaire du projet (à évaluer) Problématique et questions TdR Liste des parties prenantes Matrice de l'évaluation Démarche de l'évaluation Programme de travail Différents outils ou instruments (guides d'entretien, questionnaires, itinéraire de mission, liste des personnes à interroger, choix raisonné des sites à visiter...)

167 Les produits directs à attendre d'une évaluation (suite)
Compte rendu de mission Rapports d’étapes Comptes rendus de réunion Sommaire des résultats Rapport provisoire d’évaluation Rapport final

168 La réalisation de l'évaluation
1- Exploitation des données disponibles et préparation de la collecte et de l'exploitation des informations complémentaires nécessaires 2- Enquêtes/Collectes Compléments éventuellement nécessaires 3- Analyses et interprétation 4- Argumentaires et conclusions 5- Recommandations Révisions éventuellement nécessaires 6- Restitution des travaux (rapport provisoire) 8 étapes 7 Discussion/confrontation 8- Rapport final

169 La valorisation des résultats
Diffusion/communication des résultats quelles informations ? avec qui ? sous quelle forme ? quand ? Prise en compte des recommandations et des enseignement Le temps de l'évaluation doit être bien séparé du temps de la décision.

170 Module 9- Les spécificités de l'évaluation de la contribution des projets ou programmes à la lutte contre la pauvreté

171 Discussion introductive
Quelles sont les spécificités de l'évaluation de la contribution des projets ou programmes à la lutte contre la pauvreté ?

172 Clarifier les liens de causalité entre projet/programme et pauvreté
... alors, il aura un impact sur la pauvreté si le projet atteint son objectif.

173 Les liens de causalité entre projet/programme et pauvreté
La pauvreté et l’impact sur la pauvreté (au sens large) sont parmi les critères d’évaluation de succès des programmes. La définition de la pauvreté étant très large (revenu et consommation, santé, éducation, accès aux services de base, sécurité, etc.). La plupart des politiques publiques et des programmes d’appui au développement contribuent donc à la lutte contre la pauvreté. Mais, dans chaque cas particulier d'un projet ou d'un programme il convient d'identifier sur quelle dimensions de la pauvreté il apportera une contribution et de bien identifier les groupes de population bénéficiaires

174 Nécessité d'un dispositif de mesure national
La mesure des impacts au niveau de la pauvreté requière des investigations spécifiques qui, pour une part, dépassent le niveau du projet ou du programme

175 Un dispositif de mesure national

176 Un dispositif de mesure national
Détermination des informations nécessaires à l’évaluation de l’impact – c’est-à-dire l’évaluation de l’effet global des mesures prises sur le bien-être et les niveaux de pauvreté : "l’évaluation de l’impact et le suivi des bénéficiaires nécessitent des données particulières dont la collecte exige un effort déterminé."

177 Un dispositif de mesure national
GSE = Groupe socio-économique ; EI = Enquête intégrée ; QGIBE = Questionnaire relatif aux grands indicateurs du bien-être ; EPP = Évaluation participative de la pauvreté.

178 Quelques sources d'information
Données nationales et locales: Comptes nationaux Données sur les dépenses et services publics Indice des prix Données sur la production Données sur les ménages: Recensement Enquêtes: intégrées, EDS, marché du travail, utilisation des services, etc.

179 Comment s'assurer que l'impact est dû au programme ?
Le projet contribue seulement à la lutte contre la pauvreté Impact sur la pauvreté Effets mesurés L'objectif du projet lui est spécifique Objectif Niveau d‘ incertitude La question de l'attribution est particulièrement cruciale en ce qui concerne l'impact. Il faut être capable de dire ce qui se serait passé sans le projet ou le programme au niveau de la pauvreté !

180 Comment s'assurer que l'impact est dû au programme ?
Les questions auxquelles il faut répondre : Est-ce que le programme de formation professionnelle a contribué au placement ou bien ces personnes auraient-elles trouvé du travail de toute façon ? Est-ce que la fourniture de livres scolaires a contribué à l'amélioration des niveaux d'apprentissage ou bien est-ce que cette amélioration est due à d'autres facteurs ? Est-ce que le projet de micro-finance a amélioré le niveau de vie des familles ou bien cela est-il dû à d'autres causes ?

181 Comment s'assurer que l'impact est dû au programme ?
Retour sur les méthodes quantitatives avec groupe de comparaison, leurs difficultés et les pistes suivies actuellement pour les dépasser.


Télécharger ppt "1- Séance introductive."

Présentations similaires


Annonces Google