Module 6- Méthodes et techniques de l'évaluation et critères Questions Qualité Comment sera faite l'évaluation Méthodes et techniques

Méthodes et techniques de l'évaluation Contenu: 1- Méthodes, techniques et outils 2- Méthodes d'évaluation de l'impact 3- Les techniques couramment utilisées en évaluation

Chaque question d'évaluation est reliée à des techniques particulières

Chaque question d'évaluation suppose une démarche particulière au terme de laquelle l'évaluateur aura rassemblé les éléments nécessaires à la construction d'un raisonnement (argumentaire) lui permettant d'exprimer un jugement valide (ou convaincant).

Analyse documentaire, lecture des dossiers d'archive Exemple de question : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? Comment répondre à cette question ? Analyse documentaire Entretiens avec plusieurs responsables pour m'assurer d'une bonne compréhension 1) Je vais identifier ce qui était prévu dans les documents de départ, 2) Je vais reconstituer ce qui s'est passé réellement Analyse documentaire, lecture des dossiers d'archive Entretiens avec des acteurs des différentes composantes, des différentes phases et de différentes sensibilité

Exemple suite : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? 3) Je vais comparer le plan et la réalité, mettre à jour les différences, vérifier que les opinions recueillies sur ce point convergent vers les mêmes conclusions 4) Il me faudra décider ce qui est un changement négligeable et ce qui est un changement notable. Je ne signalerai que les changements qui ont eu des conséquences visibles sur les coûts et les délais Etablissement d'un chronogramme rétrospectif Construction de l'argumentaire Entretiens avec plusieurs acteurs pour vérification de la validité des conclusions C'est la démarche que je me propose de suivre pour répondre à cette question

Exemple suite : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? Cette démarche prévoit l'utilisation de différentes techniques qui elle-mêmes supposent l'usage d'outils ou d'instruments Techniques - Analyse documentaire - Revue de dossiers - Entretiens individuels - Groupes de discussion Outils/instruments - Guides d'entretien Chronogrammes

Deuxième exemple : Seconde question à choisir avec le groupe, si possible sur l'efficience Dérouler ensemble le raisonnement : - Comment répondre à la question (avec éventuel retour à la formulation même de la question) ? - Quelle démarche dérouler ? - En utilisant quelles techniques et quels outils ? Comparer avec la démarche précédente

Ensemble de la démarche pour une évaluation Questions et critères Ensemble de la démarche pour une évaluation démarche pour répondre à la question 1 démarche pour répondre à la question 2 démarche pour répondre à la question 3

L'ensemble de la démarche de l'évaluation est composé d'outils, de techniques et d'une méthode Le terme "méthode" est en général utilisé pour désigner la démarche qui concerne l'évaluation de l'impact

Au coeur de l'évaluation, la mesure des effets La raison d'être d'un programme est de produire un effet ou un impact Finalité Objectif Impact Effets Résultats directs Activités Moyens Comment mesurer l'impact (les effets) d'un programme ? C'est la principale questions méthodologique de l'évaluation

Méthodes d'évaluation de l'impact Deux problèmes sont à résoudre : 1) Dans quelle mesure peut-on identifier un effet (le revenu augmente, la prévalence d'une maladie diminue, ...) 2) Dans quelle mesure cet effet est-il attribuable au programme (et non pas à une autre cause). Pour tenter de responder, du mieux possible, à ces deux questions, des méthodes qui sont spécifiques à l'évaluation sont utilisées

Méthodes d'évaluation de l'impact Question clé de l'évaluateur : Que ce serait-il passé pour les bénéficiaires si le programme n'avait pas eu lieu ? Comment refaire l'histoire ? Comment construire une base de comparaison ? L'art de l'évaluation consiste à trouver une solution pour construire une base de comparaison permettant d'aboutir à des conclusions crédibles

La seule solution indiscutable : l'expérimentation idéale

L'expérimentation idéale avec groupe de contrôle équivalent 30 Effet ou impact = 13 Niveau de revenu 17 Théoriquement, une seule observation finale est suffisante. Mais le groupe de contrôle doit être construit avec de grandes précautions pour garantir la comparabilité. 10 Temps Programme Bénéficiaires Groupe de contrôle équivalent

L'expérimentation idéale avec groupe de contrôle équivalent Dans la pratique, il est extrêmement difficile de construire un groupe de contrôle strictement comparable : - problème éthique (condamner un groupe à ne pas être bénéficiaires) - difficultés de trouver un groupe équivalent hors projet - coût Cette solution n'est donc pratiquement jamais utilisée

Comparaison avec un groupe de contrôle non équivalent 30 Effet ou impact = 13 Niveau de revenu 21 17 Construction d'une situation de référence. Une grande quantité d'observations sur les situations avant et après est nécessaire. 14 10 Temps Programme Bénéficiaires Groupe de contrôle non équivalent

Comparaison avec un groupe de contrôle reconstitué a posteriori 30 Effet ou impact = 13 Niveau de revenu 21 Construction d'une situation de référence par choix, dans une large enquête sur la situation de départ, des unités hors projet ayant les caractéristiques des bénéficiaires. 17 14 10 Temps Programme Bénéficiaires Large enquête descriptive

Evaluation sans groupe témoin, par comparaison avant / après 30 Effet ou impact ? Niveau de revenu 21 Base Line Study 17 14 ? La conclusion sur l'impact manque de précision et de solidité. L'existence de séries temporelles permet d'améliorer la conclusion. 10 Séries temporelles Temps Programme Bénéficiaires Large enquête descriptive

Evaluation par simple observation après mise en oeuvre Effet ou impact ? 30 Niveau de revenu La conclusion sur l'impact est impossible; Il est possible d'indiquer que l'objectif a été atteint (l'effet s'est produit), mais sans pouvoir attribuer ce résultat au programme Temps Programme Bénéficiaires

4 grandes familles de méthodes d'évaluation Qualité

Evaluation par simple observation après mise en oeuvre - Possibilités: Très simple à mettre en œuvre. Est appropriée pour des évaluations de moyens et de réalisation. Permet de : (i) constater de quelle manière la politique a été mise en œuvre ; (ii) mesurer ses résultats immédiats (outputs) (iii) améliorer la compréhension des comportements des groupes concernés et des instruments ou mécanismes. Limites: Difficulté d'isoler les effets de la politique des autres facteurs possibles d'évolution Grand risques de subjectivité. Peut difficilement être utilisée pour évaluer l'impact ou pour fournir un schéma explicatif des phénomènes observés. Des liens de causalité peuvent être suggérés, mais les conclusions tirées à ce niveau demeurent fragiles et leurs possibilités d'extension à d'autres situations sont limitées. Techniques utilisées : Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, calculs de ratios, comparaison avec des normes, ...

Evaluation par comparaison avant / après + Possibilités: Très répandue. Correspond à la démarche naturelle d'évaluation : chercher à vérifier que la période de mise en œuvre de la politique a coïncidé avec une modification de certains indicateurs. Mêmes possibilités que ci-dessus. Permet de plus une description plus fine et quantifiée des effets. Limitations: Mêmes limitations que la méthode précédente. Mais possibilité d'utiliser des indicateurs plus précis, de faire de nombreux recoupements pour éprouver la robustesse des résultats. Techniques utilisées: Suppose de pouvoir utiliser une bonne description de la situation de départ (base line) pour tous les indicateurs de résultat du projet. Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, analyse de séries temporelles, calculs de ratios, comparaison avec des normes, ...

Evaluation par comparaison avec un groupe témoin non équivalent ++ Possibilités: Comparaison du groupe cible concerné par la politique avec un groupe témoin dont les caractéristiques ne sont pas complètement semblables. Permet de (i) mieux cerner l'impact ou les effets externes d'une politique (sans garantir la relation causale) et (ii) révéler des mécanismes et des comportements face à des politiques incitatives. Limitations: Pertinence limitée pour pouvoir déduire sans ambiguïté des relations causales. Une multiplication des groupes témoins permet de consolider les conclusions. Lorsqu'un groupe est spécialement constitué pour l'évaluation sans être toutefois "équivalent" l'utilisation de techniques statistiques complexes permet parfois d'isoler les biais résultant de la non-équivalence (cas d'une"quasi-expérimentation"). Techniques utilisées : Étude de cas, enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation

Evaluation par comparaison avec un groupe témoin équivalent (véritable expérimentation) +++ Possibilités: La seule procédure totalement rigoureuse d'évaluation, utilisée notamment dans le domaine des thérapeutiques (évaluation des effets d'un traitement médical). Elle permet d'identifier sans équivoque des relations de causalité et donc les effets propres d'une politique ou d'un projet. Limitations: La constitution d'un groupe témoin équivalent, qui doit avoir lieu avant le démarrage du projet ou de la politique et obéit à des règles particulièrement strictes, se heurte à de nombreux problèmes de faisabilité dans le domaine des politiques socio-économiques. Peut-être contraire à l'éthique. Techniques utilisées : Enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation

Techniques, outils, instruments ... Pratiquement toutes les techniques des sciences économiques et sociales, en particulier les statistiques, sont utilisables en évaluation: Entretiens Groupes de discussion Recherche documentaire Revue des dossiers d'archive Enquête par questionnaire Etude de cas Tests de connaissances ou d'aptitudes Enquête d'opinion Analyse de contenu ...

Techniques, outils, instruments ... Une des qualités de l'équipe d'évaluation est d'être capable d'identifier/imaginer les démarches techniques qui permettront d'aboutir à des conclusions d'évaluation convaincantes, pour chacune des questions.

Techniques, outils, instruments ... Il n'est pas possible, dans le cadre de cet atelier, d'entrer dans le détail de chacune de ces techniques ou des outils et instruments utilisables. D'ailleurs un évaluateur ne maîtrise pas forcèment toutes les techniques et doit souvent faire appel à des spécialistes Nous verrons quelques-unes des techniques les plus courantes dans le cours des exercices

Techniques, outils, instruments ... Pour approfondir, il existe de nombreux manuels, guides, etc... sur les thèmes suivants : - Collecte des données - Entrevues, groupes de discussion - Observations directes, études de cas - Analyse des données - ...