Évaluation en situation réelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Jim Rugh et Samuel Bickel (d’après des travaux réalisés en collaboration avec Michael Bamberger et Linda Mabry) AfrEA Niamey, Niger 16 Janvier 2007

Objectifs de l’atelier Rappeler quelques uns des choix fondamentaux lorsque l’on planifie et met en œuvre une évaluation de l’impact d’un projet Reconnaître certaines des contraintes avec lesquelles doivent composer les évaluateurs Comprendre en gros en quoi consiste l’approche de l’Évaluation en situation réelle (ESR) Réfléchir aux façons d’appliquer ces points de vue et ces méthodes dans notre propre pratique de l’évaluation

Programme proposé pour l’atelier Séance 1. Introduction : Programme, styles d’apprentissage Séance 2. Vue d’ensemble de l’ESR Séance 3. Étapes 1-3 : Planification, conception, et paramètres possibles de l’évaluation; Composer avec les contraintes budgétaires et temporelles Séance 4. Étapes 4 et 5 : Stratégies pour composer avec les contraintes associées à la disponibilité des données et à la situation politique Séance 5. Étapes 6 et 7 : Identifier les faiblesses dans la conception et les méthodes de l’évaluation et y remédier Séance 6. Exercices pratiques de mise en application de l’approche de l’ESR en petits groupes Séance 7. Conclusions, discussion, évaluation de l’atelier Note : La plupart des séances commenceront par un exposé, mais il y aura beaucoup de temps pour les Q&R et les discussions en plénière et en petits groupes

Vue d’ensemble de l’approche d’ESR Évaluation en situation réelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Introduction Vue d’ensemble de l’approche d’ESR

Scénarios d’Évaluation en situation réelle Scénario 1 : L’équipe d’évaluation n’entre en scène que vers la fin du projet Pour des raisons politiques, techniques ou budgétaires : Il n’y a pas eu de d’enquête initiale (étude de base) Les personnes chargées de la mise en œuvre du projet n’ont pas collecté de données convenables sur les participants aux projet au début ou pendant le projet Il est difficile de collecter des données sur des groupes de contrôle comparables

Scénarios d’Évaluation en situation réelle Scénario 2 : L’équipe d’évaluation entre en scène au début du projet mais, pour des raisons budgétaires, politiques ou méthodologiques : L’enquête initiale était une évaluation des besoins, pas une étude de base comparable à l’évaluation finale Il n’a pas été possible de collecter des données de base sur le groupe témoin

Scénarios d’Évaluation en situation réelle Résumé des scénarios typiques : Aucunes données de base (du moins de données de base convenables) ou données sur le groupe témoin n’ont été collectées Peu de temps disponible Restrictions budgétaires Attentes considérables des parties concernées

Rappel à la réalité – Les défis de l’évaluation en situation réelle Trop souvent, l’évaluation n’entre pas en ligne de compte lors de la conception des projets – on n’y pense qu’à la fin Pas de données de base, du moins aucunes qui soient comparables à l’évaluation Pas de groupe de contrôle/témoin en place ou possible Temps et ressources limités pour l’évaluation Attentes spécifiques des clients quant à ce qui ressortira de l’évaluation Mauvaise compréhension de l’évaluation, méfiance chez beaucoup de parties concernées; beaucoup la voient comme une menace (n’aiment pas être jugés)

Évaluation en situation réelle : Buts pour le contrôle de la qualité Parvenir à une évaluation le plus rigoureuse possible compte tenu des limites imposées par le contexte Identifier les faiblesses méthodologiques du modèle d’évaluation et y remédier Négocier avec les clients des solutions tenant compte de la rigueur souhaitée et des ressources disponibles Reconnaître dans la présentation des constatations les faiblesses méthodologiques et leur effet sur la généralisation à des populations plus vastes

Le besoin que comble l’Évaluation en situation réelle Du fait de ce type de contraintes, beaucoup des principes de base gouvernant la conception des évaluations d’impact (conception semblable pour les pré-tests et les post-tests, groupe témoin, conception et mise à l’essai d’instruments, échantillonnage aléatoire, contrôle des biais attribuables à l’évaluateur, documentation détaillée de la méthodologie d’évaluation, etc.) sont souvent sacrifiés.

L’approche de l’Évaluation en situation réelle L’approche de l’Évaluation en situation réelle a été mise au point pour aider les évaluateurs à faire des évaluations qui soient le plus rigoureuses possible d’un point de vue méthodologique lorsqu’ils travaillent avec des contraintes budgétaires et temporelles, en ayant accès à certains types de données et en subissant des pressions politiques pour produire des résultats spécifiques.

L’approche de l’Évaluation en situation réelle Une approche intégrée pour garantir des normes acceptables de rigueur méthodologique quand on travaille avec des contraintes en termes de temps, d’argent, de données et de situation politique Voir « L’Évaluation en situation réelle en bref » qui vous a été distribué et qui résume le livre ‘RealWorld Evaluation’

L’approche de l’Évaluation en situation réelle Mise au point pour aider les praticiens de l’évaluation et les clients Gestionnaires, organismes de financement et consultants externes Une approche encore en cours d’élaboration Conçue à l’origine pour les pays en développement, mais applicable aussi aux pays industrialisés

Évaluation : difficultés spécifiques aux pays en développement Données dont on a besoin qui ne sont pas disponibles Ressources locales restreintes en matière d’évaluation Budgets limités pour les évaluations Contraintes institutionnelles et politiques Culture d’évaluation peu développée Beaucoup d’évaluations conçues par, et pour, des organismes de financement externes, reflétant rarement les priorités des parties concernées aux niveaux local et national

Évaluation : difficultés spécifiques aux pays en développement En dépit de ces difficultés, il y a de plus en plus de demande pour des évaluations rigoureuses d’un point de vue méthodologique pour déterminer les impacts, la durabilité et l’adaptabilité des projets et programmes de développement. …………………….

La plupart des instruments d’ESR ne sont pas nouveaux – seule l’approche intégrée l’est La plupart des évaluateurs reconnaîtront la majorité des instruments de collecte de données et d’analyse de l’Évaluation en situation réelle. Ce qui est nouveau est l’approche intégrée qui combine un large éventail d’instruments pour produire des évaluations de la meilleure qualité possible compte tenu des contraintes imposées par la situation.

Scénarios pour l’Évaluation en situation réelle Un budget adapté mais des données insuffisantes Pas de données de base avec lesquelles comparer et/ou impossibilité d’inclure un groupe témoin dans le modèle d’évaluation Un budget limité mais plein de temps Des équipes d’évaluations nationales qui n’ont pas les moyens de faire venir des spécialistes étrangers ou de mener des sondages à grande échelle – mais qui ont beaucoup de temps pour utiliser des méthodes qualitatives et des études longitudinales à petite échelle Un budget adapté mais peu de temps Situation dans laquelle on embauche souvent des évaluateurs externes pour travailler dans des délais serrés, avec peu de temps sur le terrain

Qui utilise l’Évaluation en situation réelle et quand? Deux grands types d’utilisateurs : Les praticiens de l’évaluation Les gestionnaires, les organismes de financement et les consultants externes L’évaluation peut commencer : Au début du projet Une fois que le projet est bien lancé Pendant la mise en œuvre du projet, ou près de la fin Une fois le projet fini

(Voir la page 42 du document qui vous a été distribué) Qu’est-ce qui différencie l’Approche de l’Évaluation en situation réelle? Il existe une série d’étapes, avec pour chacune une liste de contrôle pour identifier les contraintes et déterminer comment composer avec Ces étapes sont résumées sur la diapositive suivante, puis dans un organigramme plus détaillé … (Voir la page 42 du document qui vous a été distribué)

Les étapes de l’Approche de l’Évaluation en situation réelle Étape 1 : Planifier l’évaluation et en cerner le champ Étape 2 : Composer avec les contraintes budgétaires Étape 3 : Composer avec les contraintes temporelles Étape 4 : Composer avec les contraintes en termes des données disponibles Étape 5 : Composer avec les contraintes politiques Étape 6 : Identifier les forces et les faiblesses du modèle d’évaluation Étape 7 : Remédier aux forces et aux faiblesses du modèle d’évaluation

21 L’Approche de l’Évaluation en situation réelle 1e étape : Planifier l’évaluation et en cerner le champ A. Cerner les besoins du client en matière d’information et comprendre le contexte politique B. Définir le modèle de la théorie de programme C. Identifier les contraintes (temps, argent, contexte politique) dont il faudra tenir compte dans l’ESR D. Sélectionner l’approche qui répond le mieux aux besoins des clients compte tenu des contraintes pour l’ESR 2e étape : Composer avec les contraintes budgétaires A. Modifier le modèle d’éval. B. Rationaliser les besoins pour les données C. Chercher des données secondaires fiables D.Réviser le plan d’échantillonnage E. Trouver des méthodes abordables pour collecter les données 3e étape : Composer avec les contraintes temporelles Tous les outils de l’étape 2 plus F. Commissionner des études préliminaires G. Embaucher plus de personnes ressource H. Réviser le format des documents de projet pour inclure des données essentielles pour l’analyse d’impact I. Utiliser la technologie moderne pour la collecte et l’analyse des données 4e étape : Composer avec les contraintes en termes de données A. Reconstruire les données de base B. Recréer des groupes de contrôle C. Travailler avec des groupes de contrôle non équivalents D. Collecter des données sur les sujets délicats ou auprès des groupes difficiles à atteindre 5e étape : Composer avec les influences politiques A. Répondre aux pressions des organismes de financement en ce qui concerne la conception de l’évaluation B.   Tenir compte des préférences méthodologiques des parties concernées C. Reconnaître l’influence des paradigmes de recherche professionnels 6ème étape : Renforcer le modèle d’évaluation et la validité des conclusions A. Identifier les obstacles à la validité des modèles d’évaluation quasi expérimentaux B. Déterminer dans quelle mesure les modèles qualitatifs conviennent C. Utiliser une liste de contrôle intégrée pour les modèles multi-méthodes 7e étape : Aider les clients à tirer parti de l’évaluation A. Faire en sorte que les clients participent activement dès la définition du champ de l’évaluation B. Définir des stratégies pour une évaluation formative C. Communiquer constamment avec toutes les parties concernées D. Renforcer la capacité d’évaluation E. Définir des stratégies appropriées pour communiquer les constatations 21

DISCUSSION 22

PLANIFIER L’ÉVALUATION ET EN CERNER LE CHAMP Évaluation en situation réelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Étape 1 PLANIFIER L’ÉVALUATION ET EN CERNER LE CHAMP

Étape 1 : Planifier l’évaluation et en cerner le champ Comprendre les besoins du client en matière d’information Définir le modèle de la théorie de programme Identifier, de façon préliminaire, les contraintes dont il faudra tenir compte dans l’Évaluation en situation réelle

A. Comprendre les besoins du client en matière d’information Questions typiques auxquelles les clients souhaitent que l’on réponde : Le projet atteint-il ses objectifs? Est-ce que tous les secteurs de la population cible bénéficient? Les résultats obtenus sont-ils durables? Quels sont les facteurs contextuels qui déterminent la mesure de la réussite ou de l’échec?

A. Comprendre les besoins du client en matière d’information Une bonne compréhension des besoins du client en matière d’information peut souvent aider à limiter les types d’information collectés et le niveau de détail et de rigueur nécessaire Mais cette bonne compréhension peut aussi augmenter la quantité d’information requise !

B. Définir le modèle de la théorie de programme Tous les programmes sont fondés sur un ensemble d’hypothèses quant aux façons dont les interventions du projet devraient mener aux effets directs souhaités Ceci est parfois énoncé clairement dans les documents de projet Dans d’autres cas, ces hypothèses sont implicites et l’évaluateur doit aider les parties concernées à définir les hypothèses au moyen d’un modèle logique

B. Définir le modèle de la théorie de programme Définir et mettre à l’essai les hypothèses est un élément essentiel (bien que souvent ignoré) des modèles de théorie de programmes Voici un exemple de modèle pour évaluer les impacts du microcrédit en termes d’augmentation de l’autonomie sociale et économique des femmes

Principales hypothèses derrière le besoin d’un programme de microcrédit pour les hommes et les femmes Vue d’ensemble Restrictions du développement économique des femmes Une cause majeure de leur peu d’accès au crédit Intrants Besoin de crédit et d’assistance technique chez les femmes Processus Systèmes de prestation adaptés aux contraintes culturelles en ce qui concerne les femmes

Principales hypothèses derrière le besoin d’un programme de microcrédit pour les hommes et les femmes Extrants Si les femmes ont accès au crédit, elles pourront obtenir des prêts et de l’assistance technique Effets directs à court terme Si les femmes obtiennent des prêts, elles se lanceront dans d’autres activités qui leur rapporteront des revenus Les femmes pourront contrôler l’usage qu’elles font des prêts et les rembourser Impacts à moyen et long termes Le bien être social et économique des femmes et de leur famille s’améliorera L’autonomie économique et sociale des femmes augmentera Durabilité Les impacts se feront sentir pendant longtemps

C. Identifier le modèle d’évaluation qui convient (et qui est réaliste) En fonction de la compréhension des besoins du client en termes d’information et de degré de rigueur et de ce qui est faisable compte tenu des contraintes, l’évaluateur et le client doivent déterminer quel modèle d’évaluation convient et est possible compte tenu des circonstances.

Penchons-nous un instant sur le modèle d’évaluation (examen rapide) 1. Passer en revue les différents modèles d’évaluation (expérimentaux/recherche) 2. Élaborer des critères pour déterminer les termes de référence qui conviennent pour évaluer le projet, compte tenu de son modèle d’évaluation (planifiée ou non) 3. Utiliser un arbre décisionnel pour choisir ce qu’il faut inclure dans les termes de référence de l’évaluation (ou ce qu’il est possible d’inclure) 4. Définir le modèle d’évaluation en pensant à toute la durée du projet 32

Introduction aux différents modèles d’évaluation Pour illustrer la nécessité d’un modèle d’évaluation chronologique et longitudinal quasi expérimental Participants au projet Échelle des grands indicateurs d’impact Here’s a very short course on Evaluation (research) Design. Let’s assume a project’s Final Goal has a quantifiable indicator. (Think of an example. The yield of a main food crop might be one.) Higher is better. Evaluation Design #1: Only end-of-project evaluation. Indicator appears to be high, but it begs the question: compared to what? Evaluation Design #2: Pre-test + post-test (baseline + evaluation). Now we see that the indicator went from low to high. Impressive. Did the project have impact? A good evaluator would ask if the change is attributable to the project’s interventions or could it be due to general trends? Evaluation Design #3: Post-test with control (comparison). In this scenario a “comparable” community was found and the indicator measured there during the evaluation. But the evaluator wonders if we purposely chose a poor comparison group. Evaluation Design #4: Quasi-Experimental Design. Pretty convincing that the project’s participants did better than the comparison group. But it only involves two photographs before and two after. Evaluation Design #5: Longitudinal monitoring (at least small sample of proxy indicator). Gives a more detailed view of trends. (E.g. yields vary with the seasonal weather.) Looks good, but evaluator asks about sustainability. Evaluation Design #6: Quasi-Experimental Longitudinal Design with Ex-Post Evaluation some time after project completion. Now we see that the CARE participants were spoiled (by some form of subsidy) and in the long-run the “comparison” community did better. Groupe témoin Étude de base Évaluation en fin de projet Évaluation post projet 33

… un à la fois … en commençant par les plus rigoureux D’accord, on s’arrête un instant pour identifier chacun des grands types de modèles d’évaluation (recherche) … … un à la fois … en commençant par les plus rigoureux 34

Tout d’abord, l’explication des symboles traditionnels X = Intervention (traitement), c’e.-à-d. ce que le projet fait dans la collectivité O = Observation (c’e.-à-d. état des lieux, évaluation à mi-parcours, évaluation en fin de projet) P (ligne du haut) : Participants au projet C (ligne du bas) : Groupe témoin (contrôle) 35

Modèle 1 : Longitudinal quasi expérimental P1 X P2 X P3 P4 C1 C2 C3 C4 Participants au projet Groupe témoin Étude de base Évaluation à mi-parcours Évaluation en fin de projet Évaluation post-projet 36

Modèle 2 : Quasi expérimental (pré+post, avec ‘témoin’) P1 X P2 C1 C2 Participants au projet Notice how much less information is available as various components of evaluation design are removed. Groupe témoin Étude de base Évaluation en fin de projet 37

Modèle 3 : Longitudinal tronqué X P1 X P2 C1 C2 Participants au projet Groupe témoin Évaluation à mi-parcours Évaluation en fin de projet 38

Modèle 4 : Pré+post projet, comparaison post seulement P1 X P2 C Participants au projet Groupe témoin Étude de base Évaluation en fin de projet 39

Modèle 5 : post-test avec groupe de projet et groupe témoin X P C Participants au projet Groupe témoin Évaluation en fin de projet

Modèle 6 : pré+post projet, pas de comparaison P1 X P2 Participants au projet Étude de base Évaluation en fin de projet 41

Modèle 7 : post test avec juste les participants au projet X P Participants au projet Évaluation en fin de projet 42

Penchons-nous maintenant sur une série de questions qui pourraient nous aider à concevoir des termes de référence sur mesure Note : les sept modèles d’évaluation d’ESR sont présentés à la page 43 du document qui vous a été distribué 43

Question : L’évaluation était-elle planifiée. C’e. -à-d Question : L’évaluation était-elle planifiée? C’e.-à-d. le modèle d’évaluation était-il inclus dans le plan de S&E du projet depuis le début? Oui Non Utiliser ce plan comme guide pour l’évaluation du projet. Il faudra d’abord déterminer si le plan de S&E est adéquat mais il faudra reconnaître l’existence de ce plan préalable et l’utiliser Il faudra que ce soit une évaluation ad hoc, isolée (modèle 5 ou 7, par exemple). Cela limite la rigueur de l’évaluation, mais il y a quand même des solutions 44

Question : Y avait-il un étude de base (pré-test)? Oui Non Très bien! Cela rendra possible une comparaison avant/après (modèle 4 ou 6), à condition cependant que les données pré-test soient comparables avec l’évaluation post-test envisagée Dommage. Il faudra vous en sortir en devinant a posteriori. en faisant une comparaison avec/sans (groupe témoin à la fin seulement) (modèle 5) ou en indiquant qu’il s’agit juste d’un « instantané » 45

Question : Y avait-il un groupe témoin pour l’étude de base? Oui Non Très bien! Recommandez les modèles 1 ou 2 (quasi expérimentaux) SI il est possible d’avoir un groupe témoin comparable pour le post-test (voir questions suivante) Dommage! Vous pourriez quand même utiliser le modèle 3 ou le 4, en espérant que le groupe témoin post-test sera similaire aux participants au début du projet 46

Question : Est-il possible d’avoir un groupe de comparaison pour le post-test (évaluation)? Oui Non Dans ce cas, il est possible d’utiliser les modèles 3, 4 ou 5. Faire son possible pour vérifier que le groupe de comparaison est similaire aux participants au début sur tous les points, sauf l’intervention Envisagez de chercher des données secondaires qui pourront montrer les tendances générales au sein de la population pour faire une comparaison avec le groupe des participants 47

Question : A-t-on collecté des données de suivi sur les indicateurs d’effet et/ou d’impact pendant la mise en œuvre du projet? Oui Non Très utile! Il est possible d’utiliser un modèle longitudinal quasi expérimental (modèle 1) avec un examen des tendances au fil du temps Pré-test + post-test n’est pas si mal (modèle 2). Vous pouvez quand même chercher des données secondaires indicatives des tendances 48

Autres questions auxquelles il faut répondre quand on adapte les termes de référence d’une évaluation Qui a demandé l’évaluation (qui sont les parties concernées)? Quelles sont les principales questions auxquelles il faut apporter une réponse? S’agira-t-il d’une évaluation formative ou sommative? Y aura-t-il une autre phase ensuite, ou d’autres projets conçus en fonction des constatations de cette évaluation? 49

Autres questions auxquelles il faut répondre quand on adapte les termes de référence d’une évaluation Quelles décisions seront prises suite aux constatations de cette évaluation? Quel est le niveau de rigueur qui convient? Quel est le champ / l’échelle de l’évaluation / de l’«evaluand» (ce sur quoi porte l’évaluation)? De combien de temps aura-t-on besoin / disposera-t-on? De quelles ressources financières aura-t-on besoin / disposera-t-on? 50

Autres questions auxquelles il faut répondre quand on adapte les termes de référence d’une évaluation Devrait-on s’appuyer surtout sur des méthodes qualitatives ou quantitatives pour l’évaluation? Devrait-on utiliser des méthodes participatives? Peut-on / devrait-on faire une enquête auprès des ménages? Qui devrait être interviewé? Qui devrait participer à la planification / la mise en œuvre de l’évaluation? Quels sont les moyens qui conviennent le mieux pour communiquer les constatations aux divers auditoires concernés? 51

Modèle d’évaluation (recherche) ? Ressources disponibles ? Temps disponible ? Questions principales ? Compétences disponibles ? Qu’évaluer (evaluand ) ? Qualitative ? Participative ? Quantitative ? Champ ? Extractive ? Niveau de rigueur qui convient ? Une évaluation POUR qui ? Tout cela aide, ou crée encore plus de confusion? Qui a dit que les évaluations (comme la vie) seraient faciles?!! 52

Avant de revenir aux étapes de l’ESR, familiarisons nous avec les niveaux de rigueur et voyons à quoi ressemblerait un plan d’évaluation sur la durée du projet 53

Différents niveaux de rigueur Dépend des sources; niveau de confiance; utilisation de l’information Objectif, grande précision, plus long et plus cher Subjectif , peu rigoureux, rapide et pas cher Niveau 5 : Un projet de recherche détaillé est entrepris pour faire une analyse approfondie de la situation; P= +/- 1% Livre publié! Niveau 4 : De bonnes méthodes d’échantillonnage et de collecte de données sont utilisées pour collecter des données représentatives de la population cible; P= +/- 5% Les décideurs lisent le rapport en entier! Niveau 3 : Un sondage rapide est effectué auprès d’un échantillon « pratique » de participants; P= +/- 15% Le décideur lit le sommaire de 10 pages du rapport Niveau 2 : On demande leur point de vue sur le projet à un assez bon éventail de gens; P= +/- 25% Le décideur lit au moins un sommaire exécutif du rapport Some are now calling this the “Rugh rigor scale.” Its purpose is simply to get us to think in terms of levels of rigor appropriate for the degree of precision required. At the low end decisions are based on “efficient” (quick and cheap) sources of information. Unfortunately these typically are based on rather subjective, sloppy sources. At the high end are systems that provide much more objective, precise information; but they take more time and resources to collect and process. Note that levels of rigor apply to qualitative as well as quantitative methods. How well the evidence/data is collected and analyzed, in addition to sample design and size. They also call for triangulation, using a diversity of methods. What’s important is to determine what level of informational precision is required to inform a particular set of decisions, and thus what level of rigor is appropriate for collecting it. If the consequences of a decision are not significant, it would probably not be justified to spend a whole lot of time and resources collecting the information. On the other hand, if the decision will affect the lives of thousands of people and involve hundreds of thousands of dollars, it had better be based on very reliable information. Niveau 1 : On demande leur point de vue sur le projet à quelques personnes; P= +/- 40% Une décision est prise en quelques minutes Niveau 0 : Impressions du décideur à partir d’anecdotes et de fragments de conversations (ragots de couloirs), surtout des intuitions; Niveau de confiance +/- 50%; Une décision est prise en quelques secondes 54

Moment du cycle de vie du projet Déterminer les niveaux de précision qui conviennent pour les activités d’évaluation du plan d’évaluation sur la durée du projet Grande rigueur Faible rigueur Même niveau de rigueur Évaluation finale Étude de base 4 Évaluation à mi-parcours Étude spéciale Diagnostic des besoins 3 Here we look a way to lay out plans for evaluation events during the life of a project, considering what level of rigor will be required for each. The initial diagnostic assessment should be rigorous enough to reveal what issues need to be addressed in the target community, but one should not spend a disproportionate amount of the budget on it. The baseline, as we will soon see, should be done with the same methodology and level of rigor as will be expected for the final evaluation. During the life of the project there may be other evaluation events, such as annual self-evaluations, a mid-term evaluation, or a special study to examine some aspect not considered earlier (e.g. gender equity). The appropriate level of rigor (and budget) for each of these needs to be determined, relative to other evaluation events. It is commonly agreed that the final evaluation should be quite rigorous and precise, to assess what was achieved by the project. However, if the baseline (the measure of how things were before the project started) was not done in a comparable way, it is difficult to prove what difference the project made. Auto-évaluation annuelle 2 Moment du cycle de vie du projet 55

DISCUSSION

Où en étions-nous? Ah oui, nous sommes prêts à passer à la deuxième étape de l’approche de l’Évaluation en situation réelle On continue …

COMPOSER AVEC LES CONTRAINTES BUDGÉTAIRES ET TEMPORELLES Évaluation en situation réelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Étapes 2 et 3 COMPOSER AVEC LES CONTRAINTES BUDGÉTAIRES ET TEMPORELLES

Étape 2 : Composer avec les contraintes budgétaires Préciser les besoins du client en matière d’information Simplifier le modèle d’évaluation Chercher des données secondaires fiables Revoir la taille de l’échantillon Réduire les coûts de la collecte et de l’analyse des données

2A : Simplifer le modèle d’évaluation Pour les évaluations quantitatives, il est possible de choisir parmi les 7 modèles les plus courants (en notant les compromis lorsque l’on utilise un modèle plus simple) Pour les évaluations qualitatives, les options varieront selon le type de modèle

2A (suite) : Modèles qualitatifs Selon le modèle, certaines des options suivantes pourront être possibles : Réduire le nombre d’unités étudiées (collectivités, familles, écoles) Réduire le nombre d’études de cas ou la durée et la complexité des cas Réduire la durée ou la fréquences des observations

2B : Rationaliser les besoins pour les données Utiliser l’information de la première étape pour identifier les besoins du client en matière de données Examiner tous les instruments de collecte de données et supprimer toutes les questions qui n’ont pas un rapport direct avec les objectifs de l’évaluation

2C : Chercher des sources de données secondaires fiables Les études de planification, les dossiers administratifs des projets, les ministères gouvernementaux, les universités / instituts de recherche, les médias de masse

2C (suite) : Chercher des sources de données secondaires fiables Déterminer la pertinence et la fiabilité des sources pour l’évaluation en termes de : Couverture de la population cible Période Pertinence de l’information collectée Fiabilité et exhaustivité des données Biais potentiels

2D : Chercher des façons de réduire la taille de l’échantillon Accepter un niveau de précision moindre réduit considérablement le nombre d’entrevues nécessaires : Pour les tests visant à montrer un changement de 5% des proportions, la taille minimum de l’échantillon est 1086 Pour les tests visant à monter un changement de 10% des proportions, la taille maximum de l’échantillon est de 270

2D (suite) : Chercher des façons de réduire la taille de l’échantillon Accepter un niveau moindre de précision statistique Utiliser un test statistique unilatéral Réduire le nombre de niveaux de désagrégation de l’analyse

2E : Réduire les coûts de collecte et d’analyse des données Utiliser des questionnaires à remplir soi-même Réduire la longueur et la complexité de l’instrument Recourir à l’observation directe Obtenir des estimations au moyen de groupes de discussion et de forums communautaires Répondants-clés Méthodes d’évaluation participative Multi-méthodes et triangulation

Étape 3 : Composer avec les contraintes temporelles En plus des méthodes de l’étape 2 : Réduire la pression exercée sur les consultants externes pour des questions de temps Commander des études préparatoires Vidéoconférences Embaucher plus de consultants/chercheurs Incorporer des indicateurs de résultats dans les systèmes et les documents de suivi de projet Utiliser les technologies disponibles pour saisir et encoder les données

Composer avec les contraintes temporelles Il est important de faire la distinction entre les approches qui réduisent : la durée en termes du temps passé pendant toute la durée du projet (par exemple depuis l’étude de base jusqu’à l’évaluation finale, sur cinq ans) la durée en termes du temps nécessaire pour effectuer l’étude ou les études d’évaluation (par exemple six semaines, qu’il s’agisse d’un effort intensif pendant six semaines consécutives, ou d’un total de six semaines réparties sur une année), et le niveau d’effort (jours-personnes, soit le nombre de personnes X par le nombre de journées nécessaires)

Composer avec les contraintes temporelles Négocier avec le clients sur certaines questions comme : Quelle information est essentielle et que peut-on laisser tomber ou réduire? Quel niveau de précision et de détail est nécessaire pour l’information essentielle? Est-il par exemple nécessaire d’avoir des estimations séparées pour chaque sous-groupe ou région géographique, ou est-il acceptable d’avoir une moyenne pour l’ensemble de la population? Est-il nécessaire d’analyser toutes les composantes et tous les services du projet, ou peut-on se limiter aux plus importants? Est-il possible d’obtenir des ressources complémentaires (argent, personnel, accès à des ordinateurs, véhicules, etc.) pour accélérer la collecte et l’analyse des données?

DISCUSSION 71

Évaluation en situation réelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Étapes 4 et 5 COMPOSER AVEC LES CONTRAINTES ASSOCIÉES À LA DISPONIBILITÉ DES DONNÉES ET DE LA SITUATION POLITIQUE

Étape 4 : Composer avec les contraintes associées à la disponibilité des données Manque de données de base sur la population du projet Absence de groupe témoin Problèmes statistiques avec des groupes témoins non équivalents Difficultés associées à la collecte de données sur des sujets délicats ou auprès de groupes inaccessibles

Façons de reconstituer les conditions de base Recours à des données secondaires Dossiers de projets Recours aux souvenirs Répondants-clés MARP (Méthode accéléere de recherche participative) ou AAP (Action et apprentissage participatifs) et autres techniques comme les lignes temporelles et les événements critiques pour déterminer la chronologie des changements importants au sein de la collectivité

Exemples du recours aux souvenirs Fréquentation scolaire et durée et coût du trajet Maladie/utilisation des établissements sanitaires Indicateurs substitutifs du revenu/des gains/des biens Savoir/compétences individuels et collectifs Cohésion sociale/conflit Utilisation/qualité/coût de l’eau Dépenses majeures ou courantes des ménages Périodes de stress Habitudes de déplacement Infrastructure matérielle (logement, routes, etc.)

Déterminer l’utilité des données secondaires Période de référence Couverture de la population Inclusion des indicateurs requis Exhaustivité Exactitude Absence de biais

Souvenirs Peu fiables en général lorsque l’on a besoin de données quantitatives précises Utiles pour les données sur de grands événements ou sur les impacts d’un nouveau service dans les situations où il n’y avait pas de services avant

Sources des biais dans les souvenirs Sous-estimation des dépenses minimes ou habituelles « Télescopage » des souvenirs concernant les dépenses majeures Distorsion pour se conformer aux comportements acceptés Facteurs contextuels : Intervalles de temps utilisés dans les questions Attentes des répondants quant à ce que l’intervieweur souhaite savoir

Sources des biais dans les souvenirs Note : Dans certains cas, les souvenirs sont en fait plus « exacts » que les points de vue des participants exprimés au moment de l’étude de base « Avec ce que nous savons maintenant, nous nous rendons compte que nous ne savions pas autant de choses sur cette question que nous le pensions à l’origine. » « Maintenant que je comprends mieux ce que c’est que l’accroissement des pouvoirs, je me rends compte combien j’avais peu de pouvoir il y a trois ans! »

Améliorer la validité des souvenirs Effectuer de petites études pour comparer les souvenirs avec un sondage ou d’autres constatations Triangulation Lier les souvenirs à d’autres événements de référence importants Définir le contexte Préciser les attentes Définir la période dont on parle

Utiliser les méthodes de MARP pour les souvenirs : calendriers saisonniers Calendrier saisonnier de la pauvreté élaboré par les villageois à Nyamira, au Kenya Jan Fév Mar Avril Mai Juin Juil Août Sept Oct Nov Déc Repas léger OOO O OO Mendicité OOOOOO OOOOO Migration Chômage Revenu OOOO Maladie Chute de pluie Source : Rietbergen-McCracken et Narayan, 1997

Reconstitution des données de base : problèmes Variations dans la fiabilité des souvenirs Distorsion par la mémoire Données secondaires qui ne sont pas faciles à utiliser Données secondaires incomplètes ou pas fiables Distorsion du passé par certains répondants-clés

Travail avec des groupes témoins : problèmes Sélection de groupes comparables pertinents (groupes de contrôle) Groupes témoins qui ne sont pas équivalents Éthique d’une enquête auprès de gens qui ne retireront aucun avantage des interventions

Reconstitution de groupes témoins Appariement discrétionnaires des collectivités Lorsque les services du projet sont introduits de façon échelonnée, les bénéficiaires suivants peuvent être utilisés comme groupe témoin (« données de base roulante ») Contrôles internes lorsque différents sujets reçoivent différentes combinaisons et niveaux de services

Reconstitution de groupes témoins : problèmes Domaines du projet qui sont souvent choisis pour des raisons précises et difficiles à apparier (ainsi, si le projet cible les collectivités les plus pauvres, les autres collectivités sont plus avantagées au départ) Biais positif ou négatif (pour montrer les progrès réalisés, les responsables du projet voudront par exemple choisir des collectivités voisines pauvres comme groupe témoin)

Problèmes de non-équivalence entre les groupes témoins Les caractéristiques différentes du groupe de projet et du groupe témoin font qu’il est difficile de déterminer si les différences d’effets directs sont attribuables au projet ou à ces différences initiales Les méthodes économétriques utilisées pour contrôler les différences entre le groupe de projet et le groupe témoin dans l’évaluation finale (modèle 5) ne peuvent être ajustées pour tenir compte des différences initiales entre les groupes

Collecter l’information difficile à obtenir Collecter de l’information sur des sujets délicats Collecter de l’information sur les groupes difficiles à atteindre

A. Sujets délicats Violence familiale Comportement sexuel/fertilité Prise de décision et contrôle des ressources au sein du ménage [Dans certaines cultures] Information provenant des femmes et des enfants

Méthodes utiles pour la collecte des données Observation-participation Groupes de discussion Entretiens libres Observation Techniques MARP Études de cas Répondants-clés

B. Groupes difficiles à atteindre Travailleurs du sexes Usagers de drogues Séropositifs et sidéens Squatteurs et autres résidents clandestins Enfants ayant fait l’objet d’un trafic Minorités ethniques [Dans certaines cultures] Femmes

Méthodes utiles Observation-participation Observation Répondants du groupe Auto-identification Études par traceurs et sondages en boule de neige Répondants-clés

Étape 5 : Composer avec les influences politiques sur le modèle d’évaluation Composer avec les pressions exercées sur le choix du modèle d’évaluation par les organismes de financement et les clients Composer avec les préférences méthodologiques des parties concernées Reconnaître l’influence des paradigmes de recherche professionnels

Enjeux politiques au début d’une évaluation Les évaluations de programme sont souvent entreprises avec des motivations politiques en tête (par exemple, le client, convaincu que l’évaluation de son programme sera positive, souhaite une évaluation qui l’aidera dans ses relations publiques) Des évaluations peuvent être voulues pour gagner du temps et retarder des modifications des politiques Des évaluateurs peuvent être choisis parce que l’on sait qu’ils partagent l’idéologie du client

Enjeux politiques pendant une évaluation Les normes d’évaluation des programmes (Program Evaluation Standards) enjoignent aux évaluateurs de respecter la dignité humaine dans leurs interactions avec les autres personnes concernées par l’évaluation, de façon à ce que les participants ne subissent aucune menace et aucun dommage Mais parfois cette notion est en conflit avec d’autres normes qui insistent sur l’objectivité et l’exactitude. Les constatations qui conduisent à des redistributions des subventions, changements de personnel ou de bénéficiaires, suppressions de programmes ou licenciements, sont en fait une menace pour les emplois, le prestige et l’accès aux services et aux avantages

Enjeux politiques associés à la communication des constatations d’une évaluation Lorsqu’on leur présente un ensemble de constatations positives et négatives, les gens peuvent avoir des idées très différentes sur ce qui constitue une réponse adéquate, ce qu’on devrait inclure dans les rapports, les façons de « présenter la vérité » tout en étant sensible aux réactions des intervenants Dans le domaine de l’évaluation, les enjeux qui persistent à travers le temps incluent la non-utilisation des résultats d’évaluation et, plus dangereux, leur utilisation à mauvais escient

Composer avec les enjeux politiques Les contraintes politiques peuvent parfois être évitées au moyen de négociations ou en étant sélectif quand au travail qu’on convient de faire Lorsqu’il prépare un contrat, I’évaluateur peut spécifier des ressources suffisantes ainsi que l’obligation du client de veiller à ce qu’il ait accès aux données essentielles ou délicates Les évaluateurs devraient considérer le bien collectif, le bien de la société – penser en termes de grands groupes de personnes concernées et d’auditoires qui ont le droit de savoir et besoin de savoir

Composer avec les enjeux politiques Les gestionnaires de programme représentant le donateur ou l’organisme d’exécution sont généralement les principaux contacts des évaluateurs, leurs clients, ce que Michael Quinn Patton appelle les principaux utilisateurs. Ce groupe de personnes concernées prend les décisions pour le programme, formalise les procédures et répartit les ressources. Pour promouvoir l’utilité de l’évaluation et son utilisation formative pour l’amélioration du programme, certaines approches donnent explicitement la priorité à l’apport de données et de constatations pour aider ces intervenants à prendre des décisions en ce qui concerne le programme

Composer avec les enjeux politiques Cependant, les évaluateurs devront parfois citer les Normes pour l’évaluation des programmes dans lesquelles il est précisé que l’ensemble complet des constatations d’une évaluation ainsi que toutes limitations pertinentes doivent être mis à la disposition des personnes concernées par l’évaluation et de tout autre personne ayant expressément le droit, de par la loi, de recevoir les résultats Les évaluateurs devraient prévoir les dimensions politiques et rester fort vigilants tout au long du projet

DISCUSSION 99

IDENTIFIER LES FAIBLESSES DANS LA CONCEPTION DE L’ÉVALUATION Évaluation en situation réelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Étape 6 IDENTIFIER LES FAIBLESSES DANS LA CONCEPTION DE L’ÉVALUATION

Étape 6 : Identifier les obstacles à la validité et à l’adéquation des conclusions de l’évaluation Obstacles à la validité statistique des conclusions (les raisons pour lesquelles les inférences quant à la causalité peuvent être erronées) Obstacles à la validité interne (les raisons pour lesquelles le projet a eu des impacts peuvent être erronées) Obstacles à la validité de contenu (les raisons pour lesquelles les indicateurs décrivant correctement le contenu dans le modèle d’évaluation ne sont pas forcément adaptés ) Obstacles à la validité externe (les raisons pour lesquelles le projet pilote pourrait être généralisé peuvent être erronées)

Ce n’est pas parce qu’une évaluation est rapide que la méthodologie doit manquer de rigueur Dans leur efforts pour que l’évaluation prenne moins de temps et coûte moins cher, les évaluateurs ignorent souvent certains principes de base de toute évaluation : Composition et sélection de l’échantillon Spécification du modèle et du contenu de l’évaluation Élaboration d’instruments Documentation du processus de collecte de données Contrôle de l’influence des chercheurs sur les sujets

Ce n’est pas parce qu’une évaluation est rapide que la méthodologie doit manquer de rigueur Il en résulte que des généralisations abusives sont souvent faites à partir des constatations Le résultat : des recherches manquant de rigueur qui ont discrédité l’évaluation qualitative rapide dans certains milieux

Cette faiblesse n’est pas spécifique à la recherche qualitative On peut aussi critiquer les chercheurs quantitatifs qui travaillent « de façon créative » avec des ensembles de données limités : Indicateurs substitutifs Non reconnaissance des limites des groupes témoins non aléatoires Pas de contrôle des effets de l’histoire quand on utilise des données transversales ex-post Ignorance des méthodes de reconstitution des données de base

Enjeux différents selon que l’on évalue des modèles quantitatifs, qualitatifs ou multi-méthodes Évaluation de modèles quantitatifs : Normes largement admises Évaluation de modèles qualitatifs : Pas de normes généralement admises Des normes différentes peuvent être nécessaires pour différents types d’évaluations Tous les évaluateurs n’admettent pas qu’il est possible ou souhaitable d’évaluer les modèles

Nous parlerons de ceci plus en détail pendant la dernière séance Enjeux différents lorsqu’on évalue des modèles quantitatifs, qualitatifs ou multi-méthodes Évaluation de modèles multi-méthodes : Nécessité de combiner différents critères Importance de la triangulation Nous parlerons de ceci plus en détail pendant la dernière séance

Buts pour le contrôle de la qualité pour l’ESR L’évaluateur doit parvenir à la plus grande rigueur méthodologique possible compte tenu des limites imposées par le contexte Les normes doivent être adaptées pour les différents types d’évaluation L’évaluateur doit identifier et contrôler les faiblesses méthodologiques du modèle d’évaluation Les faiblesses méthodologiques doivent être identifiées dans le rapport ainsi que leur effet sur la généralisation à des populations plus vastes

Problèmes courants quant à la validité statistique des conclusions des ESR Échantillon trop petit pour cerner la signification statistique Tests affaiblis par des mesures peu fiables Restriction de l’étendue : problème capital car la plupart des projets de développement ciblent les pauvres Mise en œuvre du traitement qui manque de fiabilité – problème commun

Obstacles à la validité interne On présume parfois à tort qu’il y a un rapport de cause à effet entre les interventions d’un projet et les extrants observés Séquence temporelle floue entre le projet et les effets directs observés Nécessité de contrôler le rôle de facteurs externes Effets du temps Mesures non fiables

Obstacles à la validité interne Ce qui suit est un exemple de présomption erronée quant à la direction du rapport de causalité et aux facteurs qui ont produit le changement : Les impacts de la banque du village sur le revenu des femmes et leur contrôle des ressources du ménage

Modèle causal présumé Augmente le revenu des femmes Les femmes deviennent clientes de la banque du village. Elles reçoivent des prêts, acquièrent de nouvelles compétences et prennent confiance en elles, ce qui… Augmente le contrôle que les femmes exercent sur les ressources du ménage

Autre modèle causal possible Les femmes qui ont suivi la formation en alphabétisation sont plus susceptibles d’aller à la banque du village. Leur alphabétisation et leur confiance en elles en font de meilleurs entrepreneurs Les revenus des femmes et leur contrôle sur les ressources du ménage ont augmenté sous l’effet combiné de leur alphabétisation, de leur confiance en elles et des prêts Certaines femmes avaient déjà suivi une formation en alphabétisation qui avait accru leur confiance en elles et leurs compétences professionnelles

Problèmes courants quant aux obstacles à la validité interne des ESR Sélection : de nombreux participants sont autosélectionnés ou sélectionnés au hasard Attrition : les taux sont souvent élevés et le suivi des causes est difficiles Instruments : les administrateurs des programmes changent souvent les critères d’admissibilité pour améliorer l’efficacité ou en réponse à des pressions des parties concernées Indicateurs qui ne sont pas adaptés : on présume par exemple que les extrants sont indicatifs des effets directs On s’appuie sur des indicateurs quantitatifs Mémoire peu fiable des répondants ou distorsion délibérée

Problèmes courants quant aux obstacles à la validité du contenu des ESR Mauvaise explication du contenu : définitions souvent vagues (bien être, renforcement de l’autonomie, meilleure santé, par exemple) Contenu prêtant à confusion : besoin de définir plus clairement les interventions du programme et leur administration Auto-évaluations réactives : les sujets peuvent avoir des raisons pour donner de faux rapports ou avoir des connaissances incomplètes Diffusion du traitement : les groupes témoins, ou les personnes ne participant pas du tout à l’intervention reçoivent souvent certains avantages, même indirectement

Problèmes courants quant aux obstacles à la validité externe des ESR Interaction entre les rapports de cause à effet et les unités de projet : les effets ne seront pas forcément les mêmes avec d’autres groupes culturels ou régionaux Interaction entre l’impact et la situation : difficulté à définir correctement toutes les dimensions de la situation Indifférence des responsables des politiques : les responsables des politiques ignorent parfois le projet ou le freinent. Sous-estimation des impacts potentiels Interférences politiques : peuvent augmenter ou réduire artificiellement les impacts Variations saisonnières : critiques pour beaucoup de projets de développement

Remplir une feuille pour chacun des principaux obstacles à la validité dans le modèle d’évaluation Comment l’obstacle s’est-il manifesté dans l’évaluation? Effets potentiels sur les constatations de l’étude et les généralisations? Dans quelle mesure est-ce un problème pour l’évaluation? Mesures proposées? À quel point ces mesures sont-elles adaptées?

Emergency Relief and Rehabilitation DISCUSSION 117

REMÉDIER AUX FAIBLESSES POUR RENFORCER LE MODÈLE D’ÉVALUATION Évaluation en situation réelle Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la situation politique Dernière séance : Étape 7 REMÉDIER AUX FAIBLESSES POUR RENFORCER LE MODÈLE D’ÉVALUATION

Étape 7 : Remédier aux faiblesses et renforcer le modèle d’évaluation Objectivité / preuves à l’appui Fiabilité / constance Validité interne / crédibilité / authenticité Validité externe / transférabilité / véracité dans d’autres contextes Validité externe / application / accent mis sur l’action

Critères parallèles pour les évaluations quantitatives et qualitatives Critères quantitatifs (post-positivistes) Critères qualitatifs Objectivité Preuves à l’appui Fiabilité Constance Validité interne Crédibilité Validité externe Transférabilité Utilisation

Remédier aux obstacles, complètement ou en partie Exemple 1 : Biais attribuable à la sélection Le groupe de projet et le groupe témoin ont des caractéristiques différentes Solutions possibles : Utiliser des données secondaires pour comparer les deux groupes et cerner les différences Faire un contrôle statistique pour vérifier les différences Demander à des intervenants-clés d’expliquer les différences Recourir à l’observation directe pour identifier les différences

Remédier aux obstacles, complètement ou en partie Exemple 2 : Plausibilité/fiabilité. Le compte rendu ne sonne pas juste et ne reflète pas le contexte local Solutions possibles : Organiser des atelier ou consulter des intervenants-clés pour déterminer la nature du problème : information manquante (tous les groupes n’ont pas été interviewés) problèmes factuels interprétation des constatations

A. Objectivité/preuves à l’appui Exemple : documentation inappropriée des méthodes et des procédures Demander aux chercheurs de revoir leur documentation pour donner une explication plus complète de leur méthodologie ou inclure ce qui manque

B. Fiabilité/constance Exemple : les données n’ont pas été collectées pour toute la gamme des situations, périodes, répondants, etc. concernés Si l’étude n’a pas encore été menée, réviser la composition de l’échantillon ou recourir à des méthodes qualitatives pour couvrir les situations, périodes ou répondants manquants Si la collecte de données est déjà terminée, envisager des méthodes d’évaluation rapide comme des groupes de discussion, des interviews de répondants-clés, observation-participation, etc. pour combler certaines des lacunes

C. Validité interne / crédibilité / authenticité Exemple : Le compte rendu ne sonne pas juste et ne reflète pas le contexte local Si les parties concernées considèrent que le rapport d’évaluation comporte des erreurs, chercher des répondants-clés ou des groupes qualifiés pour déterminer s’il manque des informations (si seulement des hommes sont interviewés par exemple) ou s’il y a des problèmes dans la façon dont les évaluateurs ont interprété les données Envisager d’examiner d’autres documents et/ou de retourner sur le terrain pour d’autres observations ou d’autres interviews avec un plus grand éventail de répondants

D. Validité externe / transferabilité / véracité dans d’autres contextes Exemple : L’échantillon ne permet pas de généraliser à d’autres populations Obtenir des données secondaires comparables sur d’autres collectivités ou des statistiques nationales Déterminer dans quelle mesure les collectivités cibles sont distinctes ou similaires en termes de caractéristiques socio-économiques et autres Déterminer s’il serait faisable de reproduire ailleurs le champ, l’ampleur et le type des interventions utilisées pour le projet.

E. Utilisation / application / accent mis sur l’action Exemple : Aucune indication sur les mesures à prendre à l’avenir ne ressort des constatations Si les évaluateurs ont l’information nécessaire, on leur demandera de formuler des recommandations plus explicites et plus pratiques S’ils n’ont pas l’information nécessaire, on organisera des séances de remue-méninges avec les groupes communautaires ou les organismes d’exécution pour formuler des recommandations pratiques plus spécifiques

Approches multi-méthodes Avez-vous remarqué comment, très souvent, les solutions recommandées pour composer avec les contraintes associées à l’ESR font appel à l’utilisation d’une combinaison de méthodes?

Ce ne devrait PAS être un conflit entre LE QUANTITATIF PUR (que des chiffres) LE QUALITATIF PUR (que des discours) ET Obsédé du qualitatif ! Obsédé du quantitatif ! 129

Ce qu’il faut, c’est la bonne combinaison de méthodes QUALITATIVES ET de méthodes QUANTITATIVES 130

QUALITATIF QUANTITATIF « Votre histoire est très intéressante, mais permettez-moi de vous montrer les statistiques. » QUALITATIF « Vous chiffres sont impressionnants, mais laissez-moi vous raconter l’histoire. » QUANTITATIF A good story (in the press, radio, etc.) typically begins with a human interest story. But it also quotes statistics, telling the reader how extensive or prevalent this phenomena is. Stories (qualitative information) catch our attention. But if they can’t be backed up by reliable and credible evidence, including well-collected and analyzed quantitative data, one should question their validity. On the other hand, quantitative statistics by themselves can miss out on important contextual realities. Qualitative methods can help to explain and inform quantitative ones. As illustrated here, there is a “yen” and “yang” pull involved: the qualitative checking the quantitative, and vice versa. One aspect of triangulation is to use two or more methods to examine (evaluate) something. Looking at it from different perspectives (methodologies, lenses) gets us closer to the truth. 131

Des approches participatives devraient être utilisées le plus souvent possible mais elles requièrent elles aussi de la rigueur : les points de vue de combien de personnes ont contribué à l’histoire? 132

Utiliser des méthodes qualitatives et quantitatives click Partageons notre expérience pratique personnelle : Combien d’entre vous avez déjà utilisé des méthodes d’évaluation qualitatives? Lesquelles? Combien d’entre vous avez déjà utilisé des méthodes d’évaluation quantitatives? Lesquelles?

Utiliser des méthodes qualitatives et quantitatives click Combien d’entre vous avez intentionnellement utilisé une combinaison de méthodes d’évaluation qualitatives et quantitatives? Faites nous profiter de votre expérience : Les approches multi-méthodes ont-elles aidé à composer avec les contraintes associées à l’ESR et renforcé la rigueur de l’évaluation? De quelles façons?

En conclusion : Les évaluateurs doivent être prêts à : Entrer en scène tardivement dans le cycle de projet Travailler avec des contraintes budgétaires et temporelles Ne pas avoir accès à des données de base pour comparer Ne pas avoir accès à des groupes témoins Travailler avec un nombre très restreint de chercheurs qualifiés en évaluation Réconcilier différent paradigmes d’évaluation et les besoins des différentes parties concernées en matière d’information

Messages clés de l’atelier Les évaluateurs doivent être prêts à faire face aux défis que pose la réalité Il y a une somme d’expérience considérable dans laquelle puiser Une trousse de techniques rapides et économique pour l’évaluation en situation réelle est disponible N’utilisez jamais les contraintes budgétaires et temporelles comme excuse pour une méthodologie d’évaluation manquant de rigueur Une liste de contrôle des « obstacles à la validité » vous aide à demeurer honnête en identifiant les faiblesses potentielles de votre modèle d’évaluation et de votre analyse

Y a-t-il des éléments de cette approche d’ESR qui vous sont utiles dans votre travail? 1. Avez-vous appris quelque chose de nouveau à cet atelier? 2. Y a-t-il des choses qui ne sont pas encore claires pour vous, sur lesquelles vous avez besoin de plus d’information? 3. Y a-t-il dans ce que vous avez appris quelque chose qu’il vous serait utile, vous semble-t-il de mettre en application dans votre propre travail d’évaluation?

Merci ! 138