La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques.

Présentations similaires


Présentation au sujet: "1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques."— Transcription de la présentation:

1

2 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques Atelier Professionnel de pré-conférence de lAfrEA, Accra, 10 janvier 2012 avec nos appréciations à la Foundation Rockefeller Facilité par Oumoul Ba Tall et Jim Rugh Note: Cette présentation PowerPoint et le résumé du chapitre du livre sont disponibles sur:

3 Cet atelier est lune des 12 sessions de la conférence de lAfrEA qui bénéficient de lappui financier de la Foundation Rockefeller. Elles font partie dun paquet de subventions destinées à encourager des actions de promotion de la capacité dévaluation du développement, de génération de connaissance en évaluation, ainsi que les approches innovatives, les nouvelles méthodes et nouveaux outils dévaluation. 2 Un mot de remerciements à notre sponsor: La Fondation Rockefeller

4 Introduction à L Evaluation dImpact (citant le Guide du NONIE) Dans le développement international, lévaluation dimpact concerne principalement les résultats finaux dune intervention (programme, projet, décisions politiques, réformes) sur le bien- être des communautés, des ménages et des individus. [p. 3] Aucune méthode nest meilleure en soi pour adresser la diversité de questions et daspects qui peuvent relever des évaluations dimpact. Toutefois, certaines méthodes ont des avantages comparatifs sur dautres dans lanalyse dune question ou dun objectif particuliers, du fait de la spécifité de la question ou de lobjectif. Des méthodes et perspectives particulières se complétent pour procurer une image plus complète de limpact. [p. xxii] 3

5 Introduction à L Evaluation dImpact (citant le Guide du NONIE) Les méthodes quantitatives dévaluation dimpact cherchent à résoudre les trois problémes suivants, qui sont interconnectés : Létablissement dun coutrefactuel: Que se serait-il passé sans lintervention(s)? Lélimination des effets de la sélection, menant vers les différences entre le groupe dintervention (traitement) et le groupe de contrôle. Une solution au probléme des non-observables: lomission dune ou de plusieurs variables non-observées, induisant des estimations biaisées. [p. 23] 4

6 Introduction à L Evaluation dImpact (citant le Guide du NONIE) La meilleure façon déviter les effets de la sélection est la sélection au hasard des groupes dintervention et de contrôle avant le démarrage de lexpérimentation. Dans un Contrôle Aléatoire dEssai (CAE) bien conçu et mis en oeuvre, une comparaison simple de la moyenne des Résultats dans les 2 groupes peut résoudre le probléme de lattribution, et produire des estimations précises de limpact de lintervention sur une variable à létude. La seule différence entre les deux groupes aura été lintervention, du fait de la démarche suivie. [p.24] 5

7 OK, cela est suffisant pour une introduction initiale à la théorie de lEvaluation dImpact. A présent, considérons certaines implications lorsque nous essayons de mener des Evaluations dImpact en SituationRéelle. 6

8 LEvaluation dImpact Appliquée à cet Atelier Vous qui êtes dans cette salle avez choisi de participer à cet atelier. Appelons le sujet que nous allons discuter ici lIntervention. Nous assumons que vous êtes suffisamment qualifiés pour prendre ce cours. Nous proposons ceci: faire un pré-test pour déterminer votre compréhension du sujet. Ensuite, sélectionner de façon aléatoire 50% dentre vous, qui seront considérés notre groupe de contrôle. Nous vous demanderons de quitter la salle et vous occuper à autre chose durant le reste de la journée. Ensuite vous revenez à 16H30 pour prendre le test de fin, en même temps que les autres qui sont restés et ont participé au reste de latelier (notre groupe dintervention). Ainsi nous aurons un contrefactuel qui nous servira pour mesurer tout impact mesurable de ce que nous aurons enseigné durant latelier. 7

9 LEvaluation dImpact Appliquée à cet Atelier OK, juste pour rire, à titre dillustration! 8

10 LEvaluation dImpact Appliquée à cet Atelier Pour quelles raisons essayer dutiliser une méthode dEpérimentation à Sélection Aléatoire (ESA) pour évaluer limpact de cet atelier pourrait ne pas être une bonne idée? … 9

11 Objectifs de lAtelier 1. Les bases de lapproche Evaluation en SituationRéelle (ESR) pour répondre aux questions et contraintes de lévaluateur telles que: évaluer à la fin dun projet en labsence de Référence ou de Groupe de comparaison; ou le budget est inadéquat, le temps insuffisant; ou face à des pressions politiques ou des attentes sur la manière de conduire lévaluation ou encore sur les conclusions de celle-ci. 10

12 Objectifs de lAtelier 2. Définir ce que lévaluation dimpact devrait être; 3. Identifier et évaluer différents modèles dévaluation qui pourraient être utilisés dans un contexte d'évaluation particulier; 4. Les moyens de reconstruire les données de base lorsque lévaluation démarre bien alors que le projet est bien avancé ou terminé; 5. Comment rendre compte de ce qui serait arrivé sans les interventions du projet: contrefactuels alternatifs 11

13 Objectifs de latelier Note: dans cet atelier, laccent est mis sur les évaluation dimpact au niveau projet. Bien entendu, il existe dautres catégories dévaluation, en fonction des objectifs, de létendue, de lobjet évalué, de la nature (ou type) dévaluation. Certaines des méthodes que nous allons évoquer peuvent être appliquées à ces catégories mais nos examples seront basées sur lévaluation dimpact des projets, et dans le contexte des pays en développement en général. 12

14 Programme de lAtelier 1. Introduction [10 minutes] 2. Lapproche ESR en bref [30 minutes] 3. Les participants se présentent et échangent leurs expériences de situations et contraintes dESR, en petits groupes. [30 minutes] 4. Bréve revue des méthodologies, modéles logiques, outils et techniques de lEvaluation dImpact enSituationRéelle, avec laccent sur lévaluation dimpact [75 minutes] --- petite pause [20 minutes] Que faire en labsence de Situation de Référence: Reconstruire une Situation de Référence [30 minutes] 6. Exercice en petits groupes Partie I: lire létude de cas et comencer la discussion [45 minutes] -- déjeuner [60 minutes] Comment concevoir ce qui aurait été en labsence de projet: lalternative au contrefactuel [30 minutes] 8. Discussion pleinière: Réalités pratiques dans lapplication des approches ESR: Défis et Stratégies [30 minutes] 9. Exercices en petits groupes, Partie II: 'Clients et consultants re-négotient les TDRs de lévaluation de létude de cas [60 minutes] 10. Feedback de lexercice [20 minutes] 11. Discussions en vrac, évaluation de latelier [40 minutes] (fin prévue à 17h00 )

15 14 Vue densemble de lApproche ESR Evaluation en SituationRéelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Session 2

16 15 Scénarios dÉvaluation en SituationRéelle Scénario 1: Léquipe dévaluation nentre en scène que vers la fin du projet Pour des raisons politiques, techniques ou budgétaires : Il na pas eu de plan dévaluation du projet Il ny a pas eu denquête initiale (étude de base) Les personnes chargées de la mise en œuvre nont pas collecté de données convenables sur les participants au projet au début ou en cours Il est difficile de collecter des données sur des groupes de contrôle comparables

17 16 Scénario 2: Léquipe dévaluation entre en scène au début du projet mais, pour des raisons budgétaires, politiques ou méthodologiques : Lenquête initiale était une évaluation des besoins, pas une étude de base comparable à lévaluation finale Il na pas été possible de collecter des données de base sur le groupe témoin Scénarios dÉvaluation en SituationRéelle

18 17 Appel à la Réalité – Défis de la SituationRéelle en Evaluation Trop souvent, lévaluation nentre pas en ligne de compte à la conception du projet – on ny pense quà la fin Pas de données de base, du moins comparables à lévaluation Pas de groupe de contrôle/témoin en place ou possible Temps et ressources limités pour lévaluation Attentes spécifiques des clients quant à ce quils espèrent ressortir de lévaluation Mauvaise compréhension de lévaluation, méfiance chez beaucoup de parties prenantes; beaucoup la voient comme une menace (naiment pas être jugés)

19 18 Evaluation en SituationRéelle: Buts visés par le Contrôle Qualité Parvenir à une évaluation la plus rigoureuse possible compte tenu des limites imposées par le contexte Identifier les faiblesses méthodologiques du modèle dévaluation et y remédier Négocier avec les clients des solutions tenant compte de la rigueur souhaitée et des ressources disponibles Reconnaître dans la présentation des constatations les faiblesses méthodologiques et leur effet sur la généralisation à des populations plus vastes

20 19 Le Besoin comblé par lEvaluation en SituationRéelle Du fait de ce type de contraintes, beaucoup des principes de base gouvernant la conception des évaluations dimpact (conception semblable pour les pré-tests et les post-tests, groupe témoin, conception et mise à lessai dinstruments, échantillonnage aléatoire, contrôle des biais attribuables à lévaluateur, documentation détaillée de la méthodologie dévaluation, etc.) sont souvent ignorés.

21 20 LApproche de lEvaluation en SituationRéelle Une approche intégrée pour garantir des normes acceptables de rigueur méthodologique face aux contraintes de budget, temps, dargent, de données et de situation politique en SituationRéelle. cf le livre RealWorld Evaluation ou bien le Condensed Summary pour plus de détail

22 BambergerRughMabry Evaluat° en Situation Réelle RealWorld Evaluation Working Under Budget, Time, Data, and Political Constraints Michael Bamberger Jim Rugh Linda Mabry EDITION 2 EDITIO N This book addresses the challenges of conducting program evaluations in real-world contexts where evaluators and their clients face budget and time constraints and where critical data may be missing. The book is organized around a seven-step model developed by the authors, which has been tested and refined in workshops and in practice. Vignettes and case studiesrepresenting evaluations from a variety of geographic regions and sectorsdemonstrate adaptive possibilities for small projects with budgets of a few thousand dollars to large-scale, long-term evaluations of complex programs. The text incorporates quantitative, qualitative, and mixed-method designs and this Second Edition reflects important developments in the field over the last five years. New to the Second Edition: Adds two new chapters on organizing and managing evaluations, including how to strengthen capacity and promote the institutionalization of evaluation systems Includes a new chapter on the evaluation of complex development interventions, with a number of promising new approaches presented Incorporates new material, including on ethical standards, debates over the best evaluation designs and how to assess their validity, and the importance of understanding settings Expands the discussion of program theory, incorporating theory of change, contextual and process analysis, multi-level logic models, using competing theories, and trajectory analysis Provides case studies of each of the 19 evaluation designs, showing how they have been applied in the field This book represents a significant achievement. The authors have succeeded in creating a book that can be used in a wide variety of locations and by a large community of evaluation practitioners. Michael D. Niles, Missouri Western State University This book is exceptional and unique in the way that it combines foundational knowledge from social sciences with theory and methods that are specific to evaluation. Gary Miron, Western Michigan University The book represents a very good and timely contribution worth having on an evaluators shelf, especially if you work in the international development arena. Thomaz Chianca, independent evaluation consultant, Rio de Janeiro, Brazil 2 EDITION RealWorld Evaluation

23 22 LApproche de lEvaluation en SituationRéelle Mise au point pour aider les praticiens de lévaluation et les clients Gestionnaires, organismes de financement et consultants externes Une approche encore en évolution (nous continuons à apprendre dateliers comme le vôtre) Conçue à lorigine pour les pays en développement, mais applicable aussi aux pays industrialisés.

24 23 Difficultés spécifiques à lEvaluation dans les pays en développement Absence de données secondaires nécessaires Ressources locales en évaluation restreintes Budgets dévaluation limités Contraintes institutionnelles et politiques Culture dévaluation absente (noter le rôle de palliatif des réseaux dévaluation) Les évaluations conçues en priorité par et pour la coopération internationale, reflètent rarement les priorités locales et nationales

25 24 En dépit de ces difficultés, il y a une demande grandissante pour des évaluations méthodologiquement rigoureuses pour déterminer les impacts, la durabilité et la « replicabilité » des projets et programmes de développement. (à développer plus tard) Attentes en matière dévaluations « rigoureuses »

26 25 La plupart des instruments dESR ne sont pas nouveaux – seule lapproche intégrée lest La plupart des outils de collecte et danalyse des données dans lEvaluation en SituationRéelle sont connus des évaluateurs. Ce qui est nouveau cest lapproche intégratée qui combine un large éventail dinstruments adaptés pour produire des évaluations de la meilleure qualité possible face aux contraintes de la SituationRéelle.

27 26 Quest-ce qui spécial dans lapproche ESR? Il existe une série détapes, chacune ayant une liste de contrôles pour identifier les contraintes et déterminer les moyens daction Ces étapes sont listées sur la diapo suivante suivies dun organigramme plus détaillé …

28 27 Les étapes de lApproche de lEvaluation en SituationRéelle Étape 1 : Planifier lévaluation et en cerner le champ Étape 2 : Composer avec les contraintes budgétaires Étape 3 : Composer avec les contraintes temporelles Étape 4 : Composer avec les contraintes en termes des données disponibles Étape 5 : Composer avec les contraintes politiques Étape 6 : Identifier les forces et les faiblesses du modèle dévaluation Étape 7: Aider les clients dans lutilisation de lévaluation

29 LApproche de lÉvaluation en SituationRéelle 1 e étape : Planifier lévaluation et en cerner le champ A. Cerner les besoins du client en matière dinformation et comprendre le contexte politique B. Définir le modèle de la théorie de programme C. Identifier les contraintes (temps, argent, contexte politique) dont il faudra tenir compte dans lESR D. Sélectionner lapproche qui répond le mieux aux besoins des clients compte tenu des contraintes pour lESR 2 e étape : Composer avec les contraintes budgétaires A. Modifier le modèle déval. B. Rationaliser les besoins pour les données C. Chercher des données secondaires fiables D.Réviser le plan déchantillonnage E. Trouver des méthodes abordables pour collecter les données 3 e étape : Composer avec les contraintes temporelles Tous les outils de létape 2 plus F. Commissionner des études préliminaires G. Embaucher plus de personnes ressource H. Réviser le format des documents de projet pour inclure des données essentielles pour lanalyse dimpact I. Utiliser la technologie moderne pour la collecte et lanalyse des données 4 e étape : Composer avec les contraintes en termes de données A. Reconstruire les données de base B. Recréer des groupes de contrôle C. Travailler avec des groupes de contrôle non équivalents D. Collecter des données sur les sujets délicats ou auprès des groupes difficiles à atteindre 6 ème étape : Renforcer le modèle dévaluation et la validité des conclusions A. Identifier les obstacles à la validité des modèles dévaluation quasi expérimentaux B. Déterminer dans quelle mesure les modèles qualitatifs conviennent C. Utiliser une liste de contrôle intégrée pour les modèles multi- méthodes 7 ème étape : Aider les clients à faire usage de lévaluation A. Utilisation B. Application C. Orientation D. Action 5 e étape : Composer avec les influences politiques A. Répondre aux pressions des organismes de financement en ce qui concerne la conception de lévaluation B. Tenir compte des préférences méthodologiques des parties concernées C. Reconnaître linfluence des paradigmes de recherche professionnels 28

30 29 Nous naurons pas le temps de couvrir toutes ces étapes aujourdhui Nous allons nous concentrer sur: LEtendue de lévaluation La Concecption de lEvaluation Les modéles logiques La Reconstruction des situations de référence LAlternative au countrefactuel LEvaluation dImpact Réaliste, Holistique La Négotiation des TDRs

31 30 Planifier lévaluation et en cerner le champ Comprendre les besoins du client en matière dinformation Définir le modèle de la théorie de programme Identifier, de façon préliminaire, les contraintes dont il faudra tenir compte dans lÉvaluation en SituationRéelle

32 31 Comprendre les besoins du client en matière dinformation Questions typiques pour lesquelles les clients souhaitent une réponse : Le projet atteint-il ses objectifs? Est-ce que tous les secteurs de la population cible bénéficient? Les résultats obtenus sont-ils durables? Quels sont les facteurs contextuels qui déterminent la mesure de la réussite ou de léchec?

33 32 Une bonne compréhension des besoins dinformation du client peut souvent aider à limiter les types dinformation collectés et le niveau de détail et de rigueur nécessaire Mais cette bonne compréhension peut aussi augmenter la quantité dinformation requise Comprendre les besoins du client en matière dinformation

34 1. Qui a demandé lévaluation? (Qui sont les acteurs clefs)? 2. Quelles sont les questions clefs? 3. Sagira-t-il dune évaluation dévelopmentale, formative, ou sommative? 4. Est-il prévu une prochaine phase, la conception dautres projets sur base de cette évaluation? 33 Autres questions à adresser en préparant des TDRs dévaluation

35 5. Quelles décisions seront prises en réponse aux conclusions de lévaluation? 6. Quel est le niveau de rigueur adéquat? 7. Quelle est létendue / léchelle de lévaluation / lobjet (chose sur laquelle porte) à évaluer? 8. Quel est le temps utile / disponible? 9. Quels sont les besoins financiers / les disponibilités? Autres questions à adresser en préparant des TDRs dévaluation 34

36 10. Lévaluation se basera-t-elle sur des méthodes quantitatives ou qualitatives? 11. Les méthodes participatives seront-elles utilisées? 12. Peut-il y avoir une enquête des ménages / est-ce nécessaire? 13. Qui devra être interrogé? 14. Qui devra être impliqué dans la planification / la conduite de lévaluation? 15. Quels médias préférables pour communiquer les conclusions aux différents? Autres questions à adresser en préparant des TDRs dévaluation 35

37 Tout cela aide, ou crée encore plus de confusion? Qui a dit que les évaluations (comme la vie) seraient faciles?!! Modèle dévaluation (recherche) ? Questions principales ? Quoi évaluer (evaluand ) ? Qualitative ? Quantitative ? Champ / Etendue ? Niveau de rigueur qui convient ? Ressources disponibles ? Temps disponible ? Compétences disponibles ? Une évaluation POUR qui ? Participative ? Extractive ? 36

38 Avant de retourner aux étapes de la SituationRéelle, regardons de prés les niveaux de rigueur, et à quoi peut ressembler un plan dévaluation qui couvre la vie du projet 37

39 Différent niveaux de rigueur dépend de la source de preuve; du niveau de confiance; de lutilisation de linformation Niveau 0: les impressions du décideur basées sur des anecdotes ou rumeurs entendues au cours de bréves rencontres (discussions de couloirs), généralement des intuitions; Niveau de confiance +/- 50%; Décision prise en quelques secondes Niveau 1: On demande à quelques personnes leur avis sur le projet; P= +/- 40% décision prise en quelques minutes Niveau 3: Une enquête rapide est réalisée sur un échantillon acceptable de; P= +/- 10% décideur lit le résumé de 10 pages du rapport Niveau 2: Un sélection relativement bonne de personnes diverses est interrogée sur son appréciation du projet; P= +/- 25% décideur lit au moins le résumé exécutif du rapport Niveau 4: Echantillon représentatif de la population cible utilisant les bonnes méthodes déchantillonnage et de collecte de données; P= +/- 5% décideur lit tout le rapport Niveau 5: Un projet de recherche avancée est entrepris pour conduire une analyse en profondeur de la situation; P= +/- 1% livre publié! Objectif, grande précision – mais requiert plus de temps et de ressources Rapide & bon marché – mais subjectif, peu solide 38

40 Sélection Aléatoire dEchantillon Qualité du Questionnaire Fiabilité & Validité des indicateurs Qualité de la Collecte de données Profondeur de lAnalyseRapports & Utilisation DEGRE DE RIGUEUR LA QUALITE DE LINFORMATION PRODUITE PAR UNE EVALUATION DEPEND DU DEGRE DE RIGUEUR DE TOUTES LES COMPOSANTES REALISER UNE EVALUATION EST COMME POSER UNE CANALISATION

41 Sélection Aléatoire dEchantillon Qualité du Questionnaire Fiabilité & Validité des indicateurs Qualité de la Collecte de données Profondeur de lAnalyseRapports & Utilisation NIVEAU DU FLUX (QUALITY) DE LINFORMATION IS LIMITE A LA PLUS FAIBLE COMPOSANTE DU CANAL DE LENQUETE

42 Determiner les degrés de précision appropriés pour les éléments dun plan dévaluation couvrant la Vie-du- projet Auto-évaluation annuelle Evaluation mi-parcours mi-parcours Enquête de base Analyse des Besoins Evaluation Finale Temps au cours du cycle de vie du project EtudeSpéciale Même degré de rigueur Rigueur Elevée Rigueur faible

43 TEMPS POUR DISCUSSION EN PETITS GROUPES 42 Session 3

44 43 1.Présentez-vous 2.Quelles contraintes analogues avez-vous affronté dans votre pratique dévaluation? 3.Comment avez-vous réagi?

45 44 SCHEMAS DEVALUATION Evaluation en SituationRéelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Session 4.a.

46 45 1. Une relation directe cause-effet liant un extrant (ou un nombre réduit dextrants) à un résultat qui peut être mesuré à la fin du projet de recherche? une attribution assez claire. … OU … 2. Des changements dans les indicateurs de haut-niveau mesurant lamélioration persistante de la qualité de vie des individus, ex. les OMDs (Objectifs du Millénnaire pour le Dévelopment)? Plus significatif mais beaucoup plus difficile pour établir lattribution directe. En quoi consiste alors une évaluation dimpact rigoureuse?

47 46 OECD-DAC (2002: 24) définit limpact comme Effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non. Ces effets peuvent être économiques, socioculturels, environementaux, technologiques ou autre. Lattribution directe est-elle mentionnée ou induite? Quen est-il de lutilisation de contrefactuels ou de Contrôles Aléatoires dEssai (CAE)? En quoi consiste alors une évaluation dimpact rigoureuse?

48 47 Formative: apprentisage et amélioration y compris lidentification précoce de problémes éventuels Génération de Connaissance: identifier les relations et les principes génériques de léfficacité. Redevabilité: démontrer que les ressources sont utilisées de façon efficiente pour atteindre les résultats souhaités Jugement Sommatif: déterminer la valeur et le devenir du programme Evaluation développementale: adaptation en contexte complexe, émergent et dynamique -- Michael Quinn Patton, Utilization-Focused Evaluation, 4 th edition, pages Quelques objectifs de lévaluation de programme

49 48 Determiner un modéle dévaluation qui convient (et qui est réaliste) A partir de lobjectif principal dune évaluation, de la compréhension des besoins dinformation du client, du dégré de rigueur requis, et ce qui est faisable du fait des contraintes, lévaluateur et le client peuvent déterminer le modéle dévaluation adapté aux circonstances.

50 49 Quelques considérations relatives à la conception de l'évaluation 1: Quand lévaluation se passe (référence, mi-parcours, fin) 2. Revue de différents modéles (expérimental, quasi-expérimental, autre) 3: Degré de rigueur 4: Méthodes qualitatives & quantitatives 5: Une vision du schéma dévaluation qui couvre la Vie-du-project.

51 Étude de base Évaluation en fin de projet Pour illustrer la nécessité dun modèle dévaluation chronologique et longitudinal quasi expérimental Participants au projet Groupe témoin Évaluation post projet Introduction aux différents modèles dévaluation Échelle des grands indicateurs dimpact 50

52 Daccord, on sarrête un instant pour identifier chacun des grands types de modèles dévaluation (recherche)… … un à la fois en commençant par les plus rigoureux. 51

53 First of all: the key to the traditional symbols: X = Intervention (traitement), ce.-à-d. ce que le projet fait dans la collectivité O = Observation (ce.-à-d. état des lieux, évaluation à mi-parcours, évaluation en fin de projet) P (ligne du haut) : participants au Projet C (ligne du bas) : groupe Témoin (Contrôle) 52 Note: les 7 méthodes dESR sont exposées en page 8 de la revue du livre RealWorld Evaluation

54 Étude de base Évaluation en fin de projet Groupe témoin Évaluation post-projet Modèle 1 : Longitudinal quasi expérimental P 1 X P 2 X P 3 P 4 C 1 C 2 C 3 C 4 Participants au projet Évaluation à mi-parcours 53

55 Étude de base Évaluation en fin de projet Groupe témoin Modèle 2 : Quasi expérimental (pré+post, avec témoin) P 1 X P 2 C 1 C 2 Participants au projet 54

56 Etude de base Evaluation en fin de projet Groupe controle Modéle #2+: Essais à Contrôle Aléatoire P 1 X P 2 C 1 C 2 Participants au projet 55 Sujets de récherche assignés aléatoirement au projet ou au groupe controle.

57 Évaluation en fin de projet Groupe témoin Modèle 3 : Longitudinal tronqué X P 1 X P 2 C 1 C 2 Participants au projet Évaluation à mi-parcours 56

58 Étude de base Évaluation en fin de projet Groupe témoin Modèle 4 : Pré+post projet, comparaison post seulement P 1 X P 2 C Participants au projet 57

59 58 Évaluation en fin de projet Groupe témoin Modèle 5 : post-test avec groupe de projet et groupe témoin X P C Participants au projet

60 Étude de base Évaluation en fin de projet Modèle 6 : pré+post projet, pas de comparaison P 1 X P 2 Participants au projet 59

61 end of project evaluation Design #7: post test avec juste les participants au projet X P Participants au projet 60

62 61 DesignDesign T 1 (baseline) X (intervention) T 2 (midterm) X ( intervention, cont.) T 3 (endline) T 4 (ex-post) 1 P1C1P1C1 X P2C2P2C2 X P3C3P3C3 P4C4P4C4 2 P1C1P1C1 XX P2C2P2C2 3 X P1C1P1C1 X P2C2P2C2 4 P1P1 XX P2C2P2C2 5 XX P1C1P1C1 6 P1P1 XXP2P2 7 XXP1P1 Cf. Table 2.2 en page 8 de la Revue Condensée du RWE

63 62 MODELES LOGIQUES Evaluation en SituationRéelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Session 4.b.

64 63 Définir le modéle de la théorie de programme Tous les programmes sont fondés sur un ensemble dhypothèses quant aux façons dont les interventions du projet devraient mener aux effets directs souhaités Ceci est parfois énoncé clairement dans les documents de projet Dans dautres cas, ces hypothèses sont implicites et lévaluateur doit aider les parties concernées à définir les hypothèses au moyen dun modèle logique.

65 64 Définir et tester les hypothèses clefs est un élément essentiel (mais souvent ignoré) des modèles de théorie de programmes Le modèle suivant est pour évaluer les impacts du microcrédit en termes daugmentation de lautonomie sociale et économique des femmes Définir le modéle de la théorie de programme

66 65 Pérennité Les changements structurels méneront aux impacts à long terme. Impacts à moyen et long terme Lautonomie économique et sociale des femmes a augmenté. Le bien-être social et économique des femmes et de leur famille va saméliorer. Effets directs à court terme Si les femmes obtiennent des prêts, elles se lanceront dans dautres activités génératrices de revenus Les femmes pourront contrôler lusage des prêts et rembourseront. Extrants Si le crédit leur est accessible, les femmes voudront le solliciter et lobtenir, ainsi que lAssistance Technique. Hypothéses essentielles de la Chaine Logique dans un Programme de Micro- Crédit Exclusivement-Genre

67 Example de menace à la validité interne: le modéle causal supposé Les femmes adhérent à la banque du village, Recoivent les prêts, Apprennent les compétences et acquiérent la confiance en soi CE QUI ……… Augmente le revenu des femmes Augmente le contrôle des femmes sur Les ressources du ménage CE QUI …

68 Un modéle causal alternatif Certaines femmes ont déjà pris des cours dalphabétisation qui ont augmenté leur confiance en soi et Leur compétence au travail Les femmes qui ont pris Les cours dalphabétisation sont plus susceptibles de joindre la banque du village Leur alphabétisation et confiance en soi en font des entrepreneurs plus efficaces Le revenu des femmes et leur contrôle des Resources du ménage Ont augmenté du fait de La combinaison de Lalphabétisation, la confiance en soi et des prêts

69 PROBLEME CAUSE PRIMAIRE 2 CAUSE PRIMAIRE 1 CAUSE PRIMAIRE 3 Cause secondaire 2.2 Cause secondaire 2.3 Cause secondaire 2.1 Cause tertiaire Cause tertiaire Cause tertiaire Conséquences

70 IMPACT SOUHAITE EFFET 2EFFET 1EFFET 3 EXTRANT 2.2 EXTRANT 2.3 EXTRANT 2.1 Intervention Intervention Intervention Consequences

71 Femmes Autonomisées Jeunes femmes éduquées Femmes en position de leaders Opportunités économiques des femmes Enrollment des femmes augmente Curriculae améliorés Politiques déducation améliorées Parents persuadés denvoyer les filles à lécole Ecoles construites Systéme scolaire recrute et paie les enseignants Reduction de la pauvreté

72 Projet de plaidoyer: politiques déducation améliorées mises en oeuvre But du Programme: Jeunes femmes éduquées Projet de Construction: plus de classes construites Projet de formation des enseignants : meilleure qualité des curriculae But du programme au niveau de limpact HYPOTHESE (que dautres le fairont) Le PARTNAIRE le fera NOTRE project Pour avoir une synergie et atteindre limpact tous ces besoins doivent avoir une réponse dune même population cible.

73 Que faut-il pour mesurer les indicateurs à chaque niveau? Effets Effets : Changement de comportement des participants (peut faire lobjet dune enquête annuelle) Extrant Extrant: Mesuré et rapporté par le personnel du projet (annuellement) Activités Activités: Continues (suivi des interventions) Investissements Investissements: Continues (comptes financiers) Impact Enquête de population Impact : Enquête de population (situation de référence, évaluation finale)

74 Nous avons besoin de savoir Quel type dévaluation est approprié pour mesurer à un niveau donné Impact Effets Extrants Activités Investissements SUIVI DE PERFORMANCE EVALUATION DE PROJET EVALUATION DIMPACT

75 74 ConceptionInvestissements Processus de mise en oeuvre ExtrantsEffets ImpactsDurabilité Contexte Economique dans lequel le projet opère Context Politique dans lequel le projet opère Contexte Institutionel et operationel Caractérisqtues Socio-economiques et culturelles de la population dintervention Note: les cases orange font partie des Modéles de Théorie de Programme conventionnels. Laddition des cases bleues constitue le complément danalyse recommandé Un Modéle de Théorie de Programme (Logique)

76 75

77 Education Intervention Logic Institutional Management Curricula & Teaching Materials Teacher Recruitment & Training Education Facilities Health Better Allocation of Educational Resources Increased Affordability of Education Optimal Employment Skills and Learning Enhancement Equitable Access to Education Quality of Education Greater Income Opportunities Economic Growth Social Development Poverty Reduction Output Clusters Outcomes Specific Impact Intermediate Impacts Global Impacts Improved Participation in Society Improved Family Planning & Health Awareness MDG 3 MDG 2 MDG 1 MDG 2 Source: OECE/DAC Network on Development Evaluation

78 Intrant Extrant Effets Intermédiaire Impact Donateurs (PTFs) GouvernmentAutres donateurs Crédit aux petits fermiers Routes Rurales Ecoles Services de Santé Revenu ménages ruraux augmenté Production Accrue Scolarisation accrue Utilisation accrue des services de santé Accés à lemploi hors-ferme Performance dEducation Améliorée Santé Améliorée Participation Politique Accrue Etendre la chaîne de résultats pour les programmes multi-donateurs, multi-composantes LAttribution devient trés difficile! Considérer les contributions possibles pour chacun

79 78 TEMPS POUR LA PAUSE ! 78

80 En lAbsence de Référence (etude de base) Evaluation en SituationRéelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Session 5

81 80 Moyens de reconstituer les conditions préalables A. Données secondaires B. Dossiers (archives) du project C. Recours aux souvenirs D. Répondants clefs

82 81 Moyens utilisés pour reconstituer la situation préalable E. MARP (Méthode Accélérée de Recherche Participative) et AAP (Apprentissage et Action Participatifs) et autres approches participatives tel que les échéanciers (ou lignes temporelles), les évènements critiques pour aider à établir la chronologie des changements importants dans la communauté

83 82 Déterminer lutilité des données secondaires Période de référence Couverture de la population Inclusion des indicateurs requis Exhaustivité Exactitude Absence de biais

84 83 Examples de données secondaires pour reconstituer la situation de référence Recensement Autres enquêtes par les agences du gouvernement Etudes spéciales des ONGs, Donneurs, Recherches universitaires Médias (journaux, radio, TV) Données externes éventuellement collectées par la structure de mise en oeuvre pour suivre les tendances

85 84 Utilisation de linformation interne du projet Types de données Etudes de Faisabilité/plannification Documents dApplication/denregistrement Rapports de Supervision Données du Systéme de Gestion de lInformation Les rapports et minutes des réunions Les minutes des réunions des agences et des communautés Rapports de mise en oeuvre Documentation de suivi des activités

86 85 Apprécier la validité des documents du projet Qui a collecté les données, à quelles fins? La collecte était destinée à conservation les archives, ou influencer les décideus politiques ou dautres groupes? Les données de Suivi concernent les activités seules ou les changements observés? Les données éaient-elles à usage interne seulement? Pour un groupe restreint? Ou à usage public?

87 86 Examples de Recours au Souvenir Fréquentation scolaire et durée et coût du trajet Maladie/utilisation des établissements sanitaires Revenus et Dépenses Savoir/compétences individuels et collectifs Cohésion sociale/conflits Utilisation/qualité/coût de leau Périodes de stress Habitudes de déplacement

88 87 Limites des Souvenirs Generallement peu fiable en cas de besoin de données quantitatives précises Biais de sélection de léchantillon Distorsions délibérées ou non-intentionelles Peu détudes empiriques (sauf sur les dépenses) pour aider à revoir les estimations

89 88 Sources des biais dans les souvenirs Qui fournit linformation Sous-estimation du souvenir sur les dépenses majeures Distorsion pour se conformer au comportement accepté: Intentionnel ou inconscient Romancer/Glorifier le passé Exagérer (ex.. Nous navions rien avant larrivée de ce projet) Facteurs contextuels: Les intervalles de temps utilisés en question Les répondants ont leur idée sur ce que leur interlocuteur cherche à savoir Implications du protocole dinterview

90 89 Améliorer la Fiabilité du Souvenir Faire de petites études pour comparer le souvenir aux enquêtes ou à dautres éléments dinformation. Sassurer que tous les groupes pertinents ont été interrogés Triangulation Lier le souvenir à dimportants évènements de référence Eléctions Sécheresse/Inondation/tsunami/guerre/déplacement Construction de routes, écoles, etc

91 90 Répondants clefs Pas seulement les officiels et VIPs Tout un chacun peut être informateur clef dans sa propre situation: Méres célibataires Ouvriers des usines Usagers des transports publics Travailleurs du sexe Enfants de la rue

92 91 Guides pour lanalyse des informateurs clefs Triangulation renforce sensiblement la validité et la compréhension Inclure des informateurs ayant differentes expériences et perspectives Comprendre le rôle de chaque informateur dans la structure densemble Répéter les interviews autant que nécéssaire Gestion prudente des considérations éthiques

93 92 MARP et autres techniques participatives Les techniques de MARP et AAP sont pour la collecte de données au niveau du groupe ou de la communauté [pas au niveau individue] Peut chercher à identifier un consensus ou au contraire des perspectives différentes Risque de biais: Si seulement certains groupes de la communauté participent Si certaines personnes dominent la discussion

94 93 Résumé des limites de la reconstruction de données Variations dans la fiabilité des souvenirs Distortion dans la mémoire Difficultés dans lutilisation des données secondaires Données secondaires incomplètes ou non fiables Les informateurs peuvent pervertir les récits

95 Assez de presentations: temps vous (AGENTS de la VieRéelle!) de passer laction

96 Temps pour le travail en petits groupes. Lisez vos études de cas et commencez les discussions.

97 96

98 1. Certains dentre vous vont jouer le role de consultants en évaluation, dautres celui de clients qui cherchent à engager une évaluation. 2. Convenez de ce que votre groupe propose face aux contraintes/défis indiqués. 3. Préparez-vous à négotier les TDRs avec lautre groupe (dans laprés-midi) Etudes de cas dans les petits groupes de travail

99 Lobjet de cet exercise est dacquérir une certaine touche pratique pour appliquer ce que nous avons appris sur lévaluation en SituationRéelle. Groupe A (consultants) L'équipe d'évaluation doit envisager comment ils vont proposer une conception de l'évaluation et un plan révisés qui réduisent le budget de 25% à 50%, tout en répondant aux besoins des deux clients (Services du logement de la Ville le bailleur de fonds international). Groupe B (clients) Les clients vont aussi examiner la proposition initiale à la lumière de ce qu'ils ont appris sur l'évaluation en SituationRéelle, et se préparer à renégocier les plans avec le groupe de consultants. A noter: il existe deux types de clients: le ministère du Logement (exécution du projet) et les bailleurs de fonds internationaux (fondation). Les groupes ont 45 minutes maintenant plus le temps de la pause déjeuner pour préparer leur cas. Les groupes de Consultants vont ensuite rencontrer les groupes de Clients plus tard pour négotier leurs propositions révisées dans le plan de cette évaluation. 60 minutes seront disponibles pour ces sessions de négotiation.

100 Déterminer les Countrefactuels Evaluation en SituationRéelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Session 7

101 100 Attribution et countrefactuels Comment peut-on savoir si les changements observés chez les participants au projet ou les communautés revenu, santé, attitudes, fréquentation de lécole. etc sont dues à la mise en oeuvre du projet crédit, eau, bons de transpor, construction décoles, etc ou à dautres facteurs indépendants? changements dans léconomie, flux migratoires, autres programmes de dévelopment, etc

102 101 Le Countrefactuel Quel changement aurait intervenu dans la condition de la population cible examinée en labsence de lintervention du projet?

103 102 Où se trouve le countrefactuel? Une étude a trouvé que le revenu moyen dune famille a augmenté de 50% aprés 3 années de vie dans un nouveau logement alloué par un projet Est-ce cela indique que le logement est un moyen efficace daccroître le revenu?

104 Comparer le projet avec deux groupes de comparaison possibles Le groupe du projet. 50% augmentation Scenario 2. 50% croissance dans le groupe de comparaison: Pas de preuve dimpact du projet Scenario 1. Pas daccroissement dans le revenu du groupe de comparaison. Preuve potentielle de lexistence dimpact du projet

105 104 Groupe de contrôle et Groupe de comparaison Groupe de contrôle = assignation aléatoire de la population au groupe du projet et au groupe hors-projet Groupe de comparison = procédure différente pour la sélection des groupes du projet et hors-projet; les 2 groupes restent toutefois similaires pour tout sauf lexposition au projet (traitement, intervention)

106 Les individus, communautés, écoles etc. éligibles sont assignés aléatoirement soit: au groupe du projet group (qui reçoit les services) OuOu au groupe de contrôle (qui na pas accés aux services du projet) 105 IE Designs: Experimental Designs Contrôles Aléatoires d'Essais

107 Une illustration graphique du countrefactuel ideal basé sur lavant-project et lassignation aléatoire 106 Time Primary Outcome Impact Counterfactual Intervention Trend line Sujets assignés au hasard soit au… Groupe Traité Groupe de Contrôle IMPACT

108 107 Il existe dautres méthodes pour déterminer le countrefactuel Des données secondaires fiables qui indiquent les tendances pertinentes dans la population Des données longitudinales de suivi (si couvrent la population non ciblée par le projet) Les méthodes qualitative pour collecter lavis des informants, participants, voisins, etc.

109 108 Moyens de reconstruire les groupes de comparaison Comparer le jugement des communautés Dans un projet à intégration par phases aux services du projet, les bénéficiaires de phases ultérieures peuvent servir de groupe de comparaison pipeline comparison groups Contrôles internes lorsque différents sujets reçoivent différentes combinaisons et niveaux de services.

110 109 Utiliser le score de propension et dautres outils pour renforcer les groupes de comparaison Appariement sur le score de propension pour réduire le biais de recrutement Les études dévaluation Rapide permettent de comparer les charactéristiques des projets et groupes de comparaison en utilisant : LObservation Les informateurs clefs Des groupes Foci (Focus groups) Des données secondaires Des photos aériennes ou données des SIG / GIS

111 110 Considérations dans la reconstruction des groupes de comparaison Il est difficile de répliquer (clôner) des zones de projet souvent choisies à dessein En cas de differences entre les groupes du projet et de comparaison groups – difficile de déterminer si les effets observés sont dues au project au aux différences initiales Absence de donnée de qualité pour chosir le groupe comparaison Contamination (les bonnes idées sexportent!) Les méthodes économétriques ne peuvent pas éliminer complétement les différences initiales entre groupes [non-observables]

112 111 Quelles a été votre expérience dans lidentification de données countrefactuelles?

113 Défis et Stratégies Evaluation en SituationRéelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Session 8

114 113 Quil est merveilleux et divers le monde dans lequel nous vivons! Nous avons surement besoin dune diversity dapproches en évaluation!

115 114 Discutons des défis pour réaliser des évaluations dimpact dans le monde réel.

116 115 Some recent developments in impact evaluation in development J-PAL is best understood as a network of affiliated researchers … united by their use of the randomized trial methodology… Impact Evaluation for Improving Development – 3ie and AfrEA conference in Cairo March 2009

117 116 Alors, est-ce à dire que lallocation aléatoire (CAE/RCTs) constiuent la Régle dOr et devrait être utilisé dans la plupart voire la totalité des évaluations dimpcat de programmes? Oui ou Non? Si Oui, dans quelles ciconstances utiliser ces méhodes? Pourquoi ou Pourquoi pas? Si non, dans quelles circonstances seraient-elles plus indiquées?

118 Differentes visions sont nécéssaires pour des situations différentes en SituationRéelle SimpleCompliquéComplexe Suivre une recetteEnvoyer une roquette à la lune Eudquer un enfant Les Recettes sont testés pour assurer une répétition facile Envoyer une roquette à la lune accroît lassurance que le prochain sera aussi un succés Eduquer une enfants procure de lexpérience mais nest pas une garantie de succés pour le prochain Les meilleures recettes donnent de bons résultats à chaque fois Il ya un grand degré de certitude du résultat Incertitude quant au résultat Source: Westley et al (2006) and Stacey (2007), cité in Patton 2008; également présenté par Patricia Rodgers à la conference sur levaluation dimpact au Caire en

119 Adapted from Patricia Rogers, RMIT University 118 Politique basée sur lEvidence pour des interevntion simples (ou des aspects simples): quand les essais aléatoires peuvent être utiles Question à poser pour la Politique Quest-ce qui marche? A quoi ressemblent les interventions Intervention distincte, standard Modéle Logique Comment les interventions fonctionnent Relation cause effet simple, directe Même chose partout dans une large mesure Processus nécéssaire à lémergence de l émegence de lévidence uptake Transfert de Connaissance

120 119 Les programmes compliqués, complex, avec de multiple interventions et une variété dactors Projets réalisés en contexte de turbulence (ex. conflits, désastre naturel) Projets ayant des modéls logiques à différentes strates, des relations cause-effet peu claires, des énoncés de vision de trés haut niveau (comme cest souvent le cas en SituationRéelle ou dans les projets de développement de la coopération internationale) Quand lévaluation rigoureuse des indicateurs dimpact de haut-niveau nest pas nécéssaire?)

121 120 Les évaluateurs pourraient considérer lapproche suivante: si la corrélation entre les effets intemédiaires (outcomes) et limpact de plus haut niveau ont été établis de façon adéquate par la recherche ou des évaluation antérieures, alors on pourait se limiter à évaluer les indicateurs de résultat intérmédiaire, pour autant quil soit possible de prouver que le contexte (conditions internes et externes) est suffisament similaire au context dans lequel de telles corrélarions ont été testées. Quand les évaluations rigoureuses des indicateurs impact de hau-niveau pourraient nepas être nécessaires?

122 121 Examples de corrélations cause-effect correlations généralement acceptées Vacciner les jeunes enfants utilisant les protocoles et vaccins connus aux âges prescrites entraîne la réduction de maladies infantiles (moyens de vérification comprennent examiner les diagrammes de santé des enfants, pas seulement la quantité de vaccins distribués aux cliniques.) Autres exemples … ?

123 122 Mais regardons les examples dinterventions qui ont fait lobjet de test rigoureux usant les essais aléatoires Les transferts de Cash Conditionnels Lutilisation de laide visuelle dans les écoles du Kenya Déparatisage des enfants (comme si cela était tout ce quil y avait à faire pour les rendre aptés à recevoir une bonne éducation) Points dargentÀ noter que de genre de recherche se base sur la quête de Points dargent – des solutions simples, à coûts réduits pour des problémes complexes.

124 Quoted by Patricia Rogers, RMIT University 123 Une réponse approximative à la bonne question, est souvent vague, est bien meilleure quune réponse exacte à la mauvaise question, qui peut toujours être précisée. J. W. Tukey (1962, page 13), "The future of data analysis". Annals of Mathematical Statistics 33(1), pp

125 124 Un expert est quelquun qui connaît de plus en plus sur de moins en moins jusquau moment où il connaîtra absolument tout sur rien du tout.* *Quoted by a friend; also available at

126 125 Est-ce cela ce que nous appelons Méthode scientifique? Il existe bien plus sur limpact, la rigeur et la méthode scientifique que les seuls Essais Aléatoires. Les évaluations dimpacts sérieuses requiérent une approche plus holistique.

127 IMPACT SOUHAITE OUTCOME 2 EFFET 1EFFET 3 OUTPUT 2.2 OUTPUT 2.3 OUTPUT 2.1 Intervention Intervention Intervention Consequences E Contrôles Aléatoires dEssai Un modèle plus comprehensive

128 Patricia Rogers, RMIT University 127 Il peut y avoir des problémes de validité avec les CAEs Validité Interne Problémes de quality – mauvaise mesure, faible respect de laléatoire, pouvoir statistique faible, effets différentiels ignorés, comparaisons inappropriée, pêche à la signification statistique, attrition différentielle entre groupes de traitement et de contrôle, des fuites dans le traitement, une influence non planifiée, faible qualité de la mise en oeuvre non identifiée. Autres considérations – erreurs dans laléatoire, contamination dautres sources, need dun paquet causel compley, random error, contamination from other sources, need for a complete causal package, défaut daveuglement. Validité Externe Efficacité dans la pratique en situation réelle, transférabilité à de nouvelles to situations

129 128 Utilisée limitée des modéles rigoureuses dévaluation En SituationRéelle (au moins dans les programmes de développement international) nous estimons que: Moins de 5%-10% des évaluations dimpact de projets utilisent une méthode expériementale ou quai-expérimentale solide moins de 5% dentre elles se font au moyens de contrôles aléatoires (la méthode expérimentale pure), ce qui est peu significatif,

130 Dans le contexte réel de la coopération international au développement, quels modés dévaluation sont effectivement utilisés? Conclsions de méta-evaluations portant sur 336 rapports dévaluation dune ONG Internationale Post-test seuls59% Avant-et-Aprés25% Avec-et-Sans15% Autre contrefactual 1%

131 1)Une large consultation et limplication dune diversité de parties prenantes, 2)Larticulation dun modéle logique compréhensif, qui prévoit les influences extérieures pertinentes, 3)Un accord sur le niveau dimpact souhaitable, en termes dobjetifs et dindicateurs, 4)Adapter les shémas dévaluation, tout comme la collecte de données et lanalyse méthodologique pour répondre aux questions posées, … Des évaluations dimpact rigoureuses devraient inclure (sans être limité à):

132 5) Un suivi et la documentation adéquate du processus au travers de la vie du projet objet de lévaluation, 6) lutilisation dune combinaison adéquate de méthodes pour trianguler lévidence qui est en cours de collecte, 7) Être suffisamment flexible pour intégrer un contexte évolutif, … Des évaluations dimpact rigoureuses devraient inclure (sans être limité à):

133 8) lutilisation dune variété de moyens pour déterminer le contrefactuel, 9) lestimation de la pérénnité probable des changements en observation, 10) La communication des conclusions à differents publics de façon utile, 11) etc. … Des évaluations dimpact rigoureuses devraient inclure (sans être limité à):

134 Ce quil faut retenir est que la liste de ce qui est requis pour une évaluation dimpact rigoureuse va bien au delà du hasard dans la sélection des groupes de traitement et de controle.

135 Chercher à réaliser une évaluation dimpact dun programme au moyen dun seul outil pré- déterminé est un signe de myopie, ce qui est dommage. Dun autre côté, prescrire aux donateurs et aux responsables des agences de coopération quil existe une seule méthode de prédilection pour mener toutes les évaluations dimpact peut avoir et a eu des conséquences fâcheuses pour tous ceux qui sont impliqués dans la conception, la réalisation et lévaluation des programmes internationaux de dévelopment. Chercher à réaliser une évaluation dimpact dun programme au moyen dun seul outil pré- déterminé est un signe de myopie, ce qui est dommage. Dun autre côté, prescrire aux donateurs et aux responsables des agences de coopération quil existe une seule méthode de prédilection pour mener toutes les évaluations dimpact peut avoir et a eu des conséquences fâcheuses pour tous ceux qui sont impliqués dans la conception, la réalisation et lévaluation des programmes internationaux de dévelopment.

136 Etalon dOr Nous devons être prudents en utilisant lEtalon dOr de ne pas porter atteinte à la Régle dOrRégle dOr: Ne juge pas ce en quoi tu ne souhaites pas être jugé! En dautres termes: Evaluez autrui comme tu voudrais les voir tévaluer.

137 Attention: Trop souvent ce qui est appelé Evaluation dImpact est basé sur une paradigme du genre nous texaminerons et te jugerons. Et au moment dévaluer nos propres programmes, nous préférons une approche plus holistique.

138 Pour utiliser le language du CAD/OCDE, assurons-nous que nos évaluations se font en référence à ces critères: PERTINENCE: dans quelle mesure lactivité finacée par laide est-t-elle en phase avec les priorités et les politiques du groupe cible, bénéficiaire et du donateur. EFFICACITE: Dans quelle mesure lactivité objet du financement de laide atteint ses objectifs. EFFICIENCE: LEfficience mesure les extrants – qualitatifs et quantitatifs – en relation avec les intrants. IMPACT: Les changements positifs et négatifs produits par une intervention de développement, directement ou indirectement, intentionnellement ou non intentionnellement. DURABILITE: sintéresse à mesurer si les bénéfices dune activité sont susceptibles/en de perdurer à lissue de la période du financement. Les projets ont besoin dune durabilité financière et environnementale à la fois.

139 La questions suivante définit la ligne de conduite: Est-ce que nos programmes contribuent de façon plausible à un impact positif sur la qualité de vie des bénéficiaires que nous avons défini? Ne les oublions pas!

140 139 M e r c i !

141 Dautres questions? 140

142 Temps pour les équipes de consultation de rencontrer les clients pour négocier la révision des TDRs du projet de logements. 141

143 142 En conclusion: Les évaluators doivent être préparés à: 1. Entrer dans le cycle du projet à une étape plus tardive; 2. Travailler sous la contrainte de budget et la restriction de temps; 3. Ne pas disposer de données de référence comparable; 4. De travailler sans un groupe de comparaison; 5. Travailler avec un nombre limité de chercheurs en évaluation bien qualifiés; 6. Reconcilier une diversité de paradigmes dévaluation, de besoins dinformation, et de parties prenntes.

144 143 Principaux messages de lAtelier 1. Les Evaluateurs doivent être préparés pour les défis de lévaluation en SituationRéelle. 2. Il existe une expérience trés riche pour sen inspirer 3. Un boite doutils de techniques dévaluation en SituationRéelle est accessible (cf. 4. Ne jamais invoquer les contraintes de temps et de budget comme excuse à une approche dévaluation qui ne se défend pas. 5. Une liste de contrôle sur des situations de menace à la validité vous aidera à identifier honnêtement les faiblesses potentielles dans vos choix conceptuels et lanalyse.

145 144 Nous espérons que ces idées vous seront utiles dans votre quête et pratique de lEvaluation en SituationRéelle!


Télécharger ppt "1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques."

Présentations similaires


Annonces Google