Module 6- Méthodes et techniques de l'évaluation

Présentation au sujet: "Module 6- Méthodes et techniques de l'évaluation"— Transcription de la présentation:

1 Module 6- Méthodes et techniques de l'évaluation
et critères Questions Qualité Comment sera faite l'évaluation Méthodes et techniques

2 Méthodes et techniques de l'évaluation Contenu:
1- Méthodes, techniques et outils 2- Méthodes d'évaluation de l'impact 3- Les techniques couramment utilisées en évaluation

3 Chaque question d'évaluation est reliée à des techniques particulières

4 Chaque question d'évaluation suppose
une démarche particulière au terme de laquelle l'évaluateur aura rassemblé les éléments nécessaires à la construction d'un raisonnement (argumentaire) lui permettant d'exprimer un jugement valide (ou convaincant).

5 Analyse documentaire, lecture des dossiers d'archive
Exemple de question : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? Comment répondre à cette question ? Analyse documentaire Entretiens avec plusieurs responsables pour m'assurer d'une bonne compréhension 1) Je vais identifier ce qui était prévu dans les documents de départ, 2) Je vais reconstituer ce qui s'est passé réellement Analyse documentaire, lecture des dossiers d'archive Entretiens avec des acteurs des différentes composantes, des différentes phases et de différentes sensibilité

6 Exemple suite : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? 3) Je vais comparer le plan et la réalité, mettre à jour les différences, vérifier que les opinions recueillies sur ce point convergent vers les mêmes conclusions 4) Il me faudra décider ce qui est un changement négligeable et ce qui est un changement notable. Je ne signalerai que les changements qui ont eu des conséquences visibles sur les coûts et les délais Etablissement d'un chronogramme rétrospectif Construction de l'argumentaire Entretiens avec plusieurs acteurs pour vérification de la validité des conclusions C'est la démarche que je me propose de suivre pour répondre à cette question

7 Exemple suite : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? Cette démarche prévoit l'utilisation de différentes techniques qui elle-mêmes supposent l'usage d'outils ou d'instruments Techniques - Analyse documentaire - Revue de dossiers - Entretiens individuels - Groupes de discussion Outils/instruments - Guides d'entretien Chronogrammes

8 Deuxième exemple : Seconde question à choisir avec le groupe, si possible sur l'efficience Dérouler ensemble le raisonnement : - Comment répondre à la question (avec éventuel retour à la formulation même de la question) ? - Quelle démarche dérouler ? - En utilisant quelles techniques et quels outils ? Comparer avec la démarche précédente

9 Ensemble de la démarche pour une évaluation
Questions et critères Ensemble de la démarche pour une évaluation démarche pour répondre à la question 1 démarche pour répondre à la question 2 démarche pour répondre à la question 3

10 L'ensemble de la démarche de l'évaluation est composé d'outils, de techniques et d'une méthode
Le terme "méthode" est en général utilisé pour désigner la démarche qui concerne l'évaluation de l'impact

11 Au coeur de l'évaluation, la mesure des effets
La raison d'être d'un programme est de produire un effet ou un impact Finalité Objectif Impact Effets Résultats directs Activités Moyens Comment mesurer l'impact (les effets) d'un programme ? C'est la principale questions méthodologique de l'évaluation

12 Méthodes d'évaluation de l'impact
Deux problèmes sont à résoudre : 1) Dans quelle mesure peut-on identifier un effet (le revenu augmente, la prévalence d'une maladie diminue, ...) 2) Dans quelle mesure cet effet est-il attribuable au programme (et non pas à une autre cause). Pour tenter de responder, du mieux possible, à ces deux questions, des méthodes qui sont spécifiques à l'évaluation sont utilisées

13 Méthodes d'évaluation de l'impact
Question clé de l'évaluateur : Que ce serait-il passé pour les bénéficiaires si le programme n'avait pas eu lieu ? Comment refaire l'histoire ? Comment construire une base de comparaison ? L'art de l'évaluation consiste à trouver une solution pour construire une base de comparaison permettant d'aboutir à des conclusions crédibles

14 La seule solution indiscutable : l'expérimentation idéale

15 L'expérimentation idéale avec groupe de contrôle équivalent
30 Effet ou impact = 13 Niveau de revenu 17 Théoriquement, une seule observation finale est suffisante. Mais le groupe de contrôle doit être construit avec de grandes précautions pour garantir la comparabilité. 10 Temps Programme Bénéficiaires Groupe de contrôle équivalent

16 L'expérimentation idéale avec groupe de contrôle équivalent
Dans la pratique, il est extrêmement difficile de construire un groupe de contrôle strictement comparable : - problème éthique (condamner un groupe à ne pas être bénéficiaires) - difficultés de trouver un groupe équivalent hors projet - coût Cette solution n'est donc pratiquement jamais utilisée

17 Comparaison avec un groupe de contrôle non équivalent
30 Effet ou impact = 13 Niveau de revenu 21 17 Construction d'une situation de référence. Une grande quantité d'observations sur les situations avant et après est nécessaire. 14 10 Temps Programme Bénéficiaires Groupe de contrôle non équivalent

18 Comparaison avec un groupe de contrôle reconstitué a posteriori
30 Effet ou impact = 13 Niveau de revenu 21 Construction d'une situation de référence par choix, dans une large enquête sur la situation de départ, des unités hors projet ayant les caractéristiques des bénéficiaires. 17 14 10 Temps Programme Bénéficiaires Large enquête descriptive

19 Evaluation sans groupe témoin, par comparaison avant / après
30 Effet ou impact ? Niveau de revenu 21 Base Line Study 17 14 ? La conclusion sur l'impact manque de précision et de solidité. L'existence de séries temporelles permet d'améliorer la conclusion. 10 Séries temporelles Temps Programme Bénéficiaires Large enquête descriptive

20 Evaluation par simple observation après mise en oeuvre
Effet ou impact ? 30 Niveau de revenu La conclusion sur l'impact est impossible; Il est possible d'indiquer que l'objectif a été atteint (l'effet s'est produit), mais sans pouvoir attribuer ce résultat au programme Temps Programme Bénéficiaires

21 4 grandes familles de méthodes d'évaluation
Qualité

22 Evaluation par simple observation après mise en oeuvre
- Possibilités: Très simple à mettre en œuvre. Est appropriée pour des évaluations de moyens et de réalisation. Permet de : (i) constater de quelle manière la politique a été mise en œuvre ; (ii) mesurer ses résultats immédiats (outputs) (iii) améliorer la compréhension des comportements des groupes concernés et des instruments ou mécanismes. Limites: Difficulté d'isoler les effets de la politique des autres facteurs possibles d'évolution Grand risques de subjectivité. Peut difficilement être utilisée pour évaluer l'impact ou pour fournir un schéma explicatif des phénomènes observés. Des liens de causalité peuvent être suggérés, mais les conclusions tirées à ce niveau demeurent fragiles et leurs possibilités d'extension à d'autres situations sont limitées. Techniques utilisées : Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, calculs de ratios, comparaison avec des normes, ...

23 Evaluation par comparaison avant / après
+ Possibilités: Très répandue. Correspond à la démarche naturelle d'évaluation : chercher à vérifier que la période de mise en œuvre de la politique a coïncidé avec une modification de certains indicateurs. Mêmes possibilités que ci-dessus. Permet de plus une description plus fine et quantifiée des effets. Limitations: Mêmes limitations que la méthode précédente. Mais possibilité d'utiliser des indicateurs plus précis, de faire de nombreux recoupements pour éprouver la robustesse des résultats. Techniques utilisées: Suppose de pouvoir utiliser une bonne description de la situation de départ (base line) pour tous les indicateurs de résultat du projet. Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, analyse de séries temporelles, calculs de ratios, comparaison avec des normes, ...

24 Evaluation par comparaison avec un groupe témoin non équivalent
++ Possibilités: Comparaison du groupe cible concerné par la politique avec un groupe témoin dont les caractéristiques ne sont pas complètement semblables. Permet de (i) mieux cerner l'impact ou les effets externes d'une politique (sans garantir la relation causale) et (ii) révéler des mécanismes et des comportements face à des politiques incitatives. Limitations: Pertinence limitée pour pouvoir déduire sans ambiguïté des relations causales. Une multiplication des groupes témoins permet de consolider les conclusions. Lorsqu'un groupe est spécialement constitué pour l'évaluation sans être toutefois "équivalent" l'utilisation de techniques statistiques complexes permet parfois d'isoler les biais résultant de la non-équivalence (cas d'une"quasi-expérimentation"). Techniques utilisées : Étude de cas, enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation

25 Evaluation par comparaison avec un groupe témoin équivalent (véritable expérimentation)
+++ Possibilités: La seule procédure totalement rigoureuse d'évaluation, utilisée notamment dans le domaine des thérapeutiques (évaluation des effets d'un traitement médical). Elle permet d'identifier sans équivoque des relations de causalité et donc les effets propres d'une politique ou d'un projet. Limitations: La constitution d'un groupe témoin équivalent, qui doit avoir lieu avant le démarrage du projet ou de la politique et obéit à des règles particulièrement strictes, se heurte à de nombreux problèmes de faisabilité dans le domaine des politiques socio-économiques. Peut-être contraire à l'éthique. Techniques utilisées : Enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation

26 Techniques, outils, instruments ...
Pratiquement toutes les techniques des sciences économiques et sociales, en particulier les statistiques, sont utilisables en évaluation: Entretiens Groupes de discussion Recherche documentaire Revue des dossiers d'archive Enquête par questionnaire Etude de cas Tests de connaissances ou d'aptitudes Enquête d'opinion Analyse de contenu ...

27 Techniques, outils, instruments ...
Une des qualités de l'équipe d'évaluation est d'être capable d'identifier/imaginer les démarches techniques qui permettront d'aboutir à des conclusions d'évaluation convaincantes, pour chacune des questions.

28 Techniques, outils, instruments ...
Il n'est pas possible, dans le cadre de cet atelier, d'entrer dans le détail de chacune de ces techniques ou des outils et instruments utilisables. D'ailleurs un évaluateur ne maîtrise pas forcèment toutes les techniques et doit souvent faire appel à des spécialistes Nous verrons quelques-unes des techniques les plus courantes dans le cours des exercices

29 Techniques, outils, instruments ...
Pour approfondir, il existe de nombreux manuels, guides, etc... sur les thèmes suivants : - Collecte des données - Entrevues, groupes de discussion - Observations directes, études de cas - Analyse des données - ...