La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Module 6- Méthodes et techniques de l'évaluation et critères Questions Qualité Comment sera faite l'évaluation Méthodes et techniques.

Présentations similaires


Présentation au sujet: "Module 6- Méthodes et techniques de l'évaluation et critères Questions Qualité Comment sera faite l'évaluation Méthodes et techniques."— Transcription de la présentation:

1 Module 6- Méthodes et techniques de l'évaluation et critères Questions Qualité Comment sera faite l'évaluation Méthodes et techniques

2 2 Méthodes et techniques de l'évaluation Contenu: 1- Méthodes, techniques et outils 2- Méthodes d'évaluation de l'impact 3- Les techniques couramment utilisées en évaluation

3 3 Chaque question d'évaluation est reliée à des techniques particulières

4 4 Chaque question d'évaluation suppose une démarche particulière au terme de laquelle l'évaluateur aura rassemblé les éléments nécessaires à la construction d' un raisonnement (argumentaire) lui permettant d'exprimer un jugement valide (ou convaincant).

5 5 1) Je vais identifier ce qui était prévu dans les documents de départ, 2) Je vais reconstituer ce qui s'est passé réellement Analyse documentaire Entretiens avec plusieurs responsables pour m'assurer d'une bonne compréhension Comment répondre à cette question ? Analyse documentaire, lecture des dossiers d'archive Entretiens avec des acteurs des différentes composantes, des différentes phases et de différentes sensibilité Exemple de question : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?

6 6 3) Je vais comparer le plan et la réalité, mettre à jour les différences, vérifier que les opinions recueillies sur ce point convergent vers les mêmes conclusions 4) Il me faudra décider ce qui est un changement négligeable et ce qui est un changement notable. Je ne signalerai que les changements qui ont eu des conséquences visibles sur les coûts et les délais Etablissement d'un chronogramme rétrospectif Entretiens avec plusieurs acteurs pour vérification de la validité des conclusions Construction de l'argumentaire C'est la démarche que je me propose de suivre pour répondre à cette question Exemple suite :

7 7 Cette démarche prévoit l'utilisation de différentes techniques qui elle-mêmes supposent l'usage d'outils ou d'instruments Techniques - Analyse documentaire - Revue de dossiers - Entretiens individuels - Groupes de discussion Outils/instruments - Guides d'entretien - Chronogrammes La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? Exemple suite :

8 8 Seconde question à choisir avec le groupe, si possible sur l'efficience Dérouler ensemble le raisonnement : - Comment répondre à la question (avec éventuel retour à la formulation même de la question) ? - Quelle démarche dérouler ? - En utilisant quelles techniques et quels outils ? Comparer avec la démarche précédente Deuxième exemple :

9 9 Questions et critères démarche pour répondre à la question 1 démarche pour répondre à la question 2 démarche pour répondre à la question 3 Ensemble de la démarche pour une évaluation

10 10 L'ensemble de la démarche de l'évaluation est composé d'outils, de techniques et d'une méthode Le terme "méthode" est en général utilisé pour désigner la démarche qui concerne l'évaluation de l'impact

11 11 Comment mesurer l'impact (les effets) d'un programme ? C'est la principale questions méthodologique de l'évaluation La raison d'être d'un programme est de produire un effet ou un impact Impact Effets Résultats directs Activités Moyens Finalité Objectif Au coeur de l'évaluation, la mesure des effets

12 12 Deux problèmes sont à résoudre : 1) Dans quelle mesure peut-on identifier un effet (le revenu augmente, la prévalence d'une maladie diminue,...) 2) Dans quelle mesure cet effet est-il attribuable au programme (et non pas à une autre cause). Pour tenter de responder, du mieux possible, à ces deux questions, des méthodes qui sont spécifiques à l'évaluation sont utilisées Méthodes d'évaluation de l'impact

13 13 Question clé de l'évaluateur : Que ce serait-il passé pour les bénéficiaires si le programme n'avait pas eu lieu ? Comment refaire l'histoire ? Comment construire une base de comparaison ? L'art de l'évaluation consiste à trouver une solution pour construire une base de comparaison permettant d'aboutir à des conclusions crédibles Méthodes d'évaluation de l'impact

14 14 La seule solution indiscutable : l'expérimentation idéale

15 15 Théoriquement, une seule observation finale est suffisante. Mais le groupe de contrôle doit être construit avec de grandes précautions pour garantir la comparabilité. Temps Programme Bénéficiaires 30 Groupe de contrôle équivalent Effet ou impact = 13 Niveau de revenu L'expérimentation idéale avec groupe de contrôle équivalent

16 16 Dans la pratique, il est extrêmement difficile de construire un groupe de contrôle strictement comparable : - problème éthique (condamner un groupe à ne pas être bénéficiaires) - difficultés de trouver un groupe équivalent hors projet - coût Cette solution n'est donc pratiquement jamais utilisée L'expérimentation idéale avec groupe de contrôle équivalent

17 17 Temps Programme Bénéficiaires 30 Groupe de contrôle non équivalent Effet ou impact = 13 Niveau de revenu Construction d'une situation de référence. Une grande quantité d'observations sur les situations avant et après est nécessaire. Comparaison avec un groupe de contrôle non équivalent

18 18 Temps Programme Bénéficiaires Effet ou impact = 13 Niveau de revenu Construction d'une situation de référence par choix, dans une large enquête sur la situation de départ, des unités hors projet ayant les caractéristiques des bénéficiaires. Large enquête descriptive Comparaison avec un groupe de contrôle reconstitué a posteriori

19 19 Temps Programme Bénéficiaires Niveau de revenu La conclusion sur l'impact manque de précision et de solidité. L'existence de séries temporelles permet d'améliorer la conclusion. Large enquête descriptive Effet ou impact ? Base Line Study Séries temporelles ? Evaluation sans groupe témoin, par comparaison avant / après

20 20 Temps Programme Bénéficiaires 30 Niveau de revenu La conclusion sur l'impact est impossible; Il est possible d'indiquer que l'objectif a été atteint (l'effet s'est produit), mais sans pouvoir attribuer ce résultat au programme Effet ou impact ? Evaluation par simple observation après mise en oeuvre

21 21 Qualité 4 grandes familles de méthodes d'évaluation

22 22 - Evaluation par simple observation après mise en oeuvre Possibilités: Très simple à mettre en œuvre. Est appropriée pour des évaluations de moyens et de réalisation. Permet de : (i) constater de quelle manière la politique a été mise en œuvre ; (ii) mesurer ses résultats immédiats (outputs) (iii) améliorer la compréhension des comportements des groupes concernés et des instruments ou mécanismes. Limites: Difficulté d'isoler les effets de la politique des autres facteurs possibles d'évolution Grand risques de subjectivité. Peut difficilement être utilisée pour évaluer l'impact ou pour fournir un schéma explicatif des phénomènes observés. Des liens de causalité peuvent être suggérés, mais les conclusions tirées à ce niveau demeurent fragiles et leurs possibilités d'extension à d'autres situations sont limitées. Techniques utilisées : Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, calculs de ratios, comparaison avec des normes,...

23 23 + Evaluation par comparaison avant / après Possibilités: Très répandue. Correspond à la démarche naturelle d'évaluation : chercher à vérifier que la période de mise en œuvre de la politique a coïncidé avec une modification de certains indicateurs. Mêmes possibilités que ci-dessus. Permet de plus une description plus fine et quantifiée des effets. Limitations: Mêmes limitations que la méthode précédente. Mais possibilité d'utiliser des indicateurs plus précis, de faire de nombreux recoupements pour éprouver la robustesse des résultats. Techniques utilisées: Suppose de pouvoir utiliser une bonne description de la situation de départ (base line) pour tous les indicateurs de résultat du projet. Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, analyse de séries temporelles, calculs de ratios, comparaison avec des normes,...

24 24 ++ Evaluation par comparaison avec un groupe témoin non équivalent Possibilités: Comparaison du groupe cible concerné par la politique avec un groupe témoin dont les caractéristiques ne sont pas complètement semblables. Permet de (i) mieux cerner l'impact ou les effets externes d'une politique (sans garantir la relation causale) et (ii) révéler des mécanismes et des comportements face à des politiques incitatives. Limitations: Pertinence limitée pour pouvoir déduire sans ambiguïté des relations causales. Une multiplication des groupes témoins permet de consolider les conclusions. Lorsqu'un groupe est spécialement constitué pour l'évaluation sans être toutefois "équivalent" l'utilisation de techniques statistiques complexes permet parfois d'isoler les biais résultant de la non- équivalence (cas d'une"quasi-expérimentation"). Techniques utilisées : Étude de cas, enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation

25 Evaluation par comparaison avec un groupe témoin équivalent (véritable expérimentation) Possibilités: La seule procédure totalement rigoureuse d'évaluation, utilisée notamment dans le domaine des thérapeutiques (évaluation des effets d'un traitement médical). Elle permet d'identifier sans équivoque des relations de causalité et donc les effets propres d'une politique ou d'un projet. Limitations: La constitution d'un groupe témoin équivalent, qui doit avoir lieu avant le démarrage du projet ou de la politique et obéit à des règles particulièrement strictes, se heurte à de nombreux problèmes de faisabilité dans le domaine des politiques socio-économiques. Peut-être contraire à l'éthique. Techniques utilisées : Enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation

26 26 Techniques, outils, instruments... Pratiquement toutes les techniques des sciences économiques et sociales, en particulier les statistiques, sont utilisables en évaluation: Entretiens Groupes de discussion Recherche documentaire Revue des dossiers d'archive Enquête par questionnaire Etude de cas Tests de connaissances ou d'aptitudes Enquête d'opinion Analyse de contenu...

27 27 Techniques, outils, instruments... Une des qualités de l'équipe d'évaluation est d'être capable d'identifier/imaginer les démarches techniques qui permettront d'aboutir à des conclusions d'évaluation convaincantes, pour chacune des questions.

28 28 Techniques, outils, instruments... Il n'est pas possible, dans le cadre de cet atelier, d'entrer dans le détail de chacune de ces techniques ou des outils et instruments utilisables. D'ailleurs un évaluateur ne maîtrise pas forcèment toutes les techniques et doit souvent faire appel à des spécialistes Nous verrons quelques-unes des techniques les plus courantes dans le cours des exercices

29 29 Techniques, outils, instruments... Pour approfondir, il existe de nombreux manuels, guides, etc... sur les thèmes suivants : - Collecte des données - Entrevues, groupes de discussion - Observations directes, études de cas - Analyse des données -...


Télécharger ppt "Module 6- Méthodes et techniques de l'évaluation et critères Questions Qualité Comment sera faite l'évaluation Méthodes et techniques."

Présentations similaires


Annonces Google