Planification et suivi-évaluation participatifs (PSEP) - Gestion orientée vers l'impact (GOI) 6-16 Octobre 2014 8.2 Analyse des données, réflexion critique,

Planification et suivi-évaluation participatifs (PSEP) - Gestion orientée vers l'impact (GOI) 6-16 Octobre 2014 8.2 Analyse des données, réflexion critique, utilité et communication Mardi 14 et mercredi 15 octobre 2014

Un cadre pour le S&E 1. Etablir le diagnostic de capacité et de volonté pour le S&E 2. S’accorder sur le but et la portée du S&E 3. S’accorder sur les questions du S&E et sur les besoins d’ information 4. S’ accorder sur les méthodes et processus clés pour la collecte des données, leur traitement et leur analyse 5. S’ accorder sur les méthodes et processus pour la réflexion critique et l’interprétation 6. S’ accorder sur les méthodes et processus pour la communication et le rapportage des informations pour leur utilisation et pour influencer 7. S’ accorder sur les capacités et conditions clés pour le S&E 8. Planifier pour l’ exécution 9. Evaluer et adapter le S&E

Cheminement des données
Hiérarchie des resultats / ToC Cadre logique Plan de S & E Matrice de S & E Collecte des données de terrain Quantitative Qualitative PRA PIA Discussion informelle Rencontres et ateliers des Acteurs Analysise et Conclusions Rencontre du staff Ateliers des acteurs Evaluations annuelles du projet Rencontres au niveau du village Gestion Des données Communicating Results Decisions Sur le Changement

Cette session porte sur:
1. Les données quantitatives et qualitatives 2. L’analyse des données descriptive and causale Validité 3. Aborde l’analyse qualitative des données 4. Comment donner du sens aux données / réflexion critique 5. L’utilité des résultats 6. La communication des résultats This is what will be discussed today.

Données de suivi et d’évaluation ...
Comment allons-nous analyser les données? Comment apprenons-nous des résultats? Comment cela va-t-il influencer notre prise de décision, notre réflexion, nos actions? Quoi, et à qui et comment allons-nous communiquer les résultats? We have M&E data and what happens then? We ask...

Données Kind of data: what they are and where come from (and) > how they generally look like

Approches quantitative et qualitative
Quoi, Qui, Quand Pourquoi et Comment Test d’hypothèses Plus ouverte à l’exploration Instruments plus structurés Instruments moins structurés Plus difficile à élaborer Moins difficile à élaborer Tente de produire des mesures précises Peut produire des résultats plus « riches » Généralement un plus grand nombre de répondants/enquêtés Généralement un nombre plus petit de répondants/enquêtés Recours à des tests statistiques pour l’analyse Techniques qualitatives – analyse de contenu, discours dominants, discours atypiques Tendance à la généralisation des conclusions Plus difficile à généraliser, mise en évidence de la diversité, des discours dominants, normes … This is what will be discussed today.

Données quantitatives
Définition: une mesure exprimée en termes de nombres. Données existantes dans des rapports de progrès, autres types d’enregistrement, fichiers de données > Scores dans des tests d’apprentissage > scores à des tests saisis dans des fichiers de données Réponses à des questions structurées (enquêtes par questionnaires) > réponses saisies dans des fichiers de données Scores dans un protocole d’observation > scores saisis dans u fichier de données Kind of data: what they are and where come from (and) > how they generally look like

Données qualitatives Définition: données non numériques sur des attributs ou la nature d’une entité; expériences et perceptions des gens, etc. Données dans les comptes rendus de réunions, rapports de progrès, photographies, documentaires, articles de quotidiens > texte, vidéo, photographies, etc. Descriptions des observations (externe  participant) > notes écrites, audio-visuelles Réponses dans des interviews (semi-structurées, non- structurées) > notes écrites, audio-visuelles Réponses à des questions ouvertes dans des questionnaires > (non-numériques /texte) réponses dans un fichier de données Kind of data: what they are and where come from (and) > how they generally look like

Analyse des données

Analyse en vue de répondre à des questions
Implique de trouver des réponses à des questions de S&E, comme par exemple comparer les résultats planifiés à ceux observés, en vue de comprendre les raisons des écarts, comparer les différences spatiales ou entre groupes, ou simplement pour suivre les changements dans le temps. Reminder: questions are leading – not the data; what do we want to know?

Analyse descriptive (1/2)
Analyse descriptive: vise à présenter la situation ou le statut de différents groupes, à différentes périodes et / ou lieux. Quelle est la situation actuellement et comment était-elle avant? Les résultats ont-ils été atteints, les objectifs ont-ils été atteints? Y a-t-il une corrélation entre l’intervention et le résultat/impact? What is a descriptive analysis and what kind of data do we use?

Analyse descriptive (2/2)
Quantitative: Situation en termes d’accès (mode, médiane, moyenne) et tests statistiques des différences Qualitative: Situation en termes d’accès (descriptions qualitatives) et test à travers des approches itératives What is a descriptive analysis and what kind of data do we use?

Exercice sur l’analyse quantitative des données (application à partir des données de l’enquête de base du projet SEP-ISSP)

Analyse des données (suite)

Analyse causale Analyse causale vise à identifier les causes des résultats/impacts Evaluation d’impact- Le résultat/impact peut-il être attribué à l’intervention? L’intervention a-t-elle contribué au résultat/ impact? Factuel: Compare les résultats observés à ceux attendus si la théorie du changement se vérifiait Contrefactuel: Que se serait-il passé en l’absence de l’intervention? Rechercher et vérifier d’autres explications alternatives : Quoi d’autre aurait pu causer le résultat/impact? Voir INTRODUCTION TO IMPACT EVALUATION Patricia J. Rogers, RMIT University (Australia) and BetterEvaluation - Impact Evaluation Notes No. 1. March 2012 What is causal analysis and what data do we use for this (see next slides)?

Analyse causale – le factuel (1)
Etude de cas comparative – l’intervention a-t-elle produit des résultats uniquement dans les cas où d’autres éléments nécessaires étaient en place? Qualitatif et quantitatif Réponse-dose - y a-t-il eu de meilleurs résultats/effets pour les participants qui ont reçu davantage de l’intervention? Quantitatif Attribution bénéficiaires/experts – les participants /informateurs clé croient-ils que l’intervention a fait une différence, et pourraient-ils donner une explication plausible de pourquoi cela a été le cas? Qualitatif

Analyse causale – le factuel (2)
Prédictions – les participants ou sites supposés avoir les meilleurs impacts (du fait de la qualité de l’intervention et/ou d’un contexte favorable) l’ont-ils fait? Comment les anomalies peuvent-elles être expliquées? Quantitatif et qualitatif Temporalité – les impacts ont-ils eu lieu au moment prévu par la théorie du changement – pas avant que l’intervention ne soit mise en œuvre? Quantitatif

Analyse causale – le contrefactuel
Tests de différences entre: “avant et après” l’intervention entre groupes “avec ou pas” l’intervention combinaisons de ces comparaisons Et recours à diverses techniques statistiques pour sélectionner ou créer les groupes Quantitatif Elaborer un contrefactuel crédible peut être difficile dans la pratique. Il est difficile de relier les individus ou les communautés sur les variables qui font vraiment la différence.

Analyse causale – l’exclusion des alternatives
Méthodologie générale de l’élimination – des alternatives d’explication possibles sont identifiées et ensuite examinées pour voir si elles peuvent être écartées. Quantitatif et qualitatif Recherche des preuves d’infirmation/ Suivi des attentes Qualitatif

Analyse des données – controle de validité: Exercice
Discuter en paire comment les données (qualitatives et quantitatives) qui sont pertinentes pour votre cas et les résultats provenant d’analyses utilisant ces données, pourraient être biaisées ou fausses. Discuter des moyens de s’assurer que vos données et résultats sont valides. Overall, how do we asses vailidity of our findings?

Analyse des données – tester la validité
Considérer des explications concurrentes Considérer les données aberrantes (qui diffèrent substantiellement des autres informations) Triangulation – tester la consistance des schémas/tendances à travers diverses sources Demander aux informateurs / enquêtés si vos données et leurs interprétations sont justes Tester vos résultats finaux – discuter les résultats préliminaires avec un groupe de parties prenantes sélectionnées (une sélection judicieuse) Considérer votre propre biais – vérifier votre propre sélection et interprétation des données et la manière dont vous les avez analysées Overall, how do we asses vailidity of our findings?

Analyse des données – logiciels
Quantitative: Excel, SPSS, Stata, SAS, R, Système d’Information Géographique (SIG),.. Qualitative: NVivo, Atlas.Ti, Many Eyes, Sensemaker, ..

Analyse qualitative des données
Now we elaborate a bit on qualitative analysis.

Analyse qualitative des données (1)
Processus itératif: Réexamine les données et cherche du sens. Un processus répété de lecture critique, d’interprétation et de recherche d’une compréhension partagée de vos données. Lecture critique Interprétation Connaissances/compréhensions renforcées Now we elaborate a bit on qualitative analysis.

Analyse qualitative des données (2)
Réduction des données: mettre les données dans une forme générale en les regroupant ou les catégorisant en des codes = codification Perspective d’initiés– comment les parties prenantes catégorisent ou labellisent les préoccupations, les événements ou les gens, etc.? Se livrer à un examen intensif– redéfinition de la codification Préparer un index des codes et noter où est-ce qu’ils apparaissent dans les notes (prépare un index des sujets) Définir les thèmes – points communs des codes Identifier et tester les schémas et les relations

Etapes dans l’analyse qualitative
1. Enregistrer les données et préparer un mémo 2. Mettre les labels et conserver les données 3. Examiner les objectifs du suivi- évaluation 4. Analyse contextuelle et démographique des données 8. Trianguler avec les sources de données 7. Interpréter les résultats, évaluer la contribution à l'impact et résumer 6. Identifier et résumer des thèmes 5. Soigneusement examiner les données et procéder à la codification 9. Tirer des conclusions et recommandations, préparer un draft du rapport 10. Chercher des feedback/Apports et valider 11. Communiquer les résultats 12. Mettre en œuvre les recommandations et améliorer le système de SE

Réflexion critique et interprétation, c’est:
Questionner et analyser les expériences, observations, théories, croyances et / ou hypothèses, aussi ce qui n'a pas fonctionné et pourquoi; Interpréter les expériences et données pour créer de nouvelles idées et s’accorder sur les actions; Aller au-delà de la collecte, du traitement et de la revue des données. Cela devrait conduire à l'apprentissage, en documentant et en partageant des décisions et s'assurer que ces décisions sont mises en œuvre. Sans réflexion critique, vos données de S & E ne vous appuieront pas à gérer vers l'impact, mais seulement à répondre aux exigences bureaucratiques de S & E.

Les questions clés pour la réflexion critique et l’interprétation:
Qu’est-ce qui a réussi et qu’est-ce qui a échoué? Pourquoi avons-nous réussi ou échoué? Et donc quelles sont les implications pour le projet? Quelle action allons-nous prendre à présent pour faire des améliorations? Quoi Pourquoi Et donc quoi Quoi maintenant Ces questions sont à se poser avec les acteurs.

Peut être fait à des niveaux différents:
Commencer au niveau individuel. Puis capter les leçons apprises au niveau du projet ou programme avec le staff et avec les acteurs; puis planifier une séquence intégrée d’évènements de réflexion.

Rencontres d’apprentissage- Evénements clés
(Illustration uniquement) Planning Revue à mi-parcours Rencontres hebdommentaires sur le terrain Evaluation finale Année 1 Année 2 Année 3 3 T1 T2 T3 T4 T1 T2 T3 T4 T1 T2 T3 T4 Plan de Revue Annuelle avec la participation des communautés Rencontres trimestrielles Revue annuelle et atelier de planification Rencontres mensuelles Rencontres semestrielles Revue annuelle et atelier de planification

Leçons apprises L’identification régulière des leçons apprises permet de systématiser les expériences du projet Aider les autres à apprendre de vos défis et de vos succès Capter les ‘leçons apprises’: Quelle est notre compréhension initiale et quelles sont nos hypothèses de départ? Quelles est notre compréhension révisée et quelles sont nos nouvelles hypothèses? Un ou deux exemples qui justifie la nouvelle compréhension Comment le projet en est-il arrivé à cette compréhension?

Réflexion critique aux niveaux individuels et de groupe
Si les individus ne font pas cette réflexion seuls au cours de leur travail, ils trouveront probablement difficile de le faire au cours des événements de groupe, comme les examens annuels des projets ou des réunions mensuelles avec les partenaires d'exécution. Le style de management peut influer sur cela (par exemple un rôle du facilitateur). Assurer la réflexion critique dans les groupes peut vous aider à: découvrir de nouvelles informations; limiter les biais; construire une image claire de la situation / événement / processus et parvenir à un consensus; assurer des actions motivées et significatives; et faciliter l'action qui possède une appropriation importante.

Faire un S&E plus réfléchi grâce à:
Une planification plus consciente quant au moment et au moyen pour traiter l’information de manière plus critique; Faire des équipes de projet plus réfléchies; Réfléchir avec les groupes de parties prenantes; Utilisation des groupes de pilotage pour la réflexion; Apprendre à partir de votre revue annuelle du projet.

Lien étroit entre rapportage et communication (1/2)
Assurer la communication des résultats et organiser l’interprétation et le feed-back des résultats à différents niveaux (utilisation des boucles de feed-back). Qu'est-ce que les résultats signifient pour nous? Comment pouvons-nous les utiliser? Comment m'ont-ils influencé, influencé nos relations et notre organisation? Également utile pour étayer les conclusions avec des données adéquates et minimiser les généralisations.

Lien étroit entre rapportage et communication (2/2)
Différencier les résultats des interprétations et des jugements de valeur pour prendre des décisions éclairées. S'assurer que les résultats d'un seul procédé ou événement de S & E (par exemple, une évaluation à mi- terme) ne sont pas la seule base pour l’interprétation, mais que des résultats d’auto-évaluation et d'autres processus de S & E sont aussi intégrés.

Discuter par paires Dans quelle mesure les réunions dans votre projet / programme / organisation utilisent-elles la réflexion critique et se portent-elles sur l’interprétation? Quelles sont les principales possibilités de réflexion critique et d’interprétation des résultats? Par exemple réunions du personnel, revue avec les parties prenantes....

Communication et rapportage des résultats
La communication fait partie intégrale du S&E et de la GOI. Utilisation et influence sont des points de départ essentiels dans la communication des résultats de S&E: qui a besoin de quelle information et pourquoi? Qui voulons-nous influencer et pourquoi? S’accorder avec les principaux utilisateurs de l’évaluation, quels résultats et quand, quand et où cela devra leur être communiqué et comment ont-ils l’intention d’utiliser ces résultats Étroitement liée à la réflexion critique et l’interprétation des conclusions présentées, car elles doivent être révisées avant une diffusion finale. Cela permettra également d'améliorer l'utilisation.

Etapes clés pour appuyer une communication et un rapportage vers une utilisation et influence des résultats Identifier les problèmes de communication Identifier les exigences de communication et de rapportage des différentes parties prenantes Développer des méthodes et des processus de communication et de rapportage Assurer l'accessibilité Appuyer l'utilisation et l'influence Adapté de:

1. Identifier les problèmes de communication et de rapportage (1/3) (source: Anxiété générale vis-à-vis du S&E: Juste le mot «évaluation» peut provoquer de l'anxiété chez le personnel et causer de l'anxiété et une résistance, parce que les résultats peuvent influer sur les décisions en matière de dotation ou l'affectation des ressources. Les évaluateurs externes, qui ont besoin de temps pour établir des relations de confiance, peuvent augmenter l'anxiété.

1. Identifier les problèmes de communication et de rapportage (2/3) (source: Défaut de planification au début: Ne pas communiquer régulièrement avec les parties prenantes peut provoquer le désengagement, le désintérêt, et, finalement, la non-utilisation des résultats. Trouver trop tard que peu/aucune ressources financières n’a été allouées pour la production de rapports, présentations orales, ou diffusion..

1. Identifier les problèmes de communication et de rapportage (3/3) (source: Structure organisationnelle: Idées préconçues sont tenues sur les projets. Le personnel peut considérer les résultats négatifs ou sensibles de S & E comme une critique honteuse et donc résister d’en discuter ouvertement. La communication peut être inefficace en raison d’une perte de mémoire institutionnelle due à une rotation rapide du personnel ou à d'autres raisons. Les leaders qui ne veulent pas partager ouvertement les informations sur les performances empêchent la diffusion des résultats. La communication continue du S & E est inhibée par le dysfonctionnement des systèmes de partage de l'information de l'organisation.

Réduire cette anxiété Par une approche de S&E participative, axée sur l'utilisation et par l'accent mis sur un S & E de dialogue et d'apprentissage, plutôt que de jugement et de reddition de comptes. Traiter les acteurs du S & E avec respect et d'une manière qui protège leur dignité, contribuera également à réduire l'anxiété.

Etape 2. Identifier exigences de communication et de rapportage
Différents utilisateurs, des exigences différentes: ex notes d'orientation pour les décideurs; rapport complet pour le gestionnaire de programme; résumé pour le bailleur de fonds Principales questions à poser: Ont-ils besoin d'être informés sur les décisions de S & E? Si oui, quand et pour quelle raison? Ont-ils besoin d'examiner les résultats provisoires ou définitifs? Si oui, quand et pour quelle raison? Ont-ils besoin d'être impliqués dans la prise de décision? Si oui, quand et pour quelle raison? Source: During the initial stages of the design of the monitoring and evaluation system agreements should have been made with the key stakeholders/primary users of the monitoring and evaluation about what they want to know and how they intend to use, process and findings from monitoring and evaluation. So whilst each stakeholder has to own particular information needs, they may also have particular needs in terms of how this information is communicated. For example, a funder may want for reports, boats will be mainly interested in the executive summary. Partner agencies may be more interested in details about the services that they have provided in a particular development initiative. In addition, one may also want to use the findings to influence policy-making. Here elaborate reports may not be appropriate but rather policy briefs or even policy events may be more appropriate. It is important to develop communication plan to deal with these specific requirements and think through the implications in terms of communication materials as well as timing. Communicating and Reporting on an Evaluation Page 3 Questions About Stakeholders/Audiences Answers 1. Do they need to be informed about evaluation decisions? If so, when and for what reason? To build awareness To gain support To show respect 2. Do they need to review interim or final findings? If so, when and for what reason? To review evaluation progress To learn and improve To promote dialogue and understanding among partners 3. Do they need to be involved in decision making? If so, when and for what reason? To assess the likelihood of future support To help develop recommendations To ensure use of the recommendations

Etape 3. Développer des méthodes et des processus de communication et de rapportage
« Une communication et un rapportage effectifs facilitent l'apprentissage entre les parties prenantes et les autres auditoires» (Torres, 2005) Adapter une variété de formats, y compris des rapports et des résumés courts aux besoins de l'auditoire. Rapports et résumés écrits dans un langage clair, sans jargon, et contenant des graphiques et tableaux; résultats positifs et négatifs; données contextuelles qualitatives ainsi que des données quantitatives; des recommandations spécifiques. Importance des processus de communication de collaboration associant les parties prenantes dans la conduite du S & E, mais surtout dans l'interprétation des résultats. Importance des techniques et des stratégies qui aident le public à assimiler et utiliser les informations de S & E

Conseils pour une communication axée sur l’apprentissage et l’utilisation
Prendre en compte le contexte spécifique du S & E. Identifier les auditoires de S & E, et les impliquer (les principales parties prenantes, en particulier) dans la conception du s & E. Maintenir des contacts fréquents et étroits et rendre compte des résultats provisoires tout au long du processus de S & E. Rapports sur mesure en utilisant une variété de formats qui comprennent courts rapports et résumés, présentations orales, et possibilités d'interaction. Présentez des illustrations concrètes des résultats. Rendre compte des résultats en temps opportun à des publics variés. Utilisez un langage clair et simple.

Etape 4. Assurer l'accessibilité
L'information est accessible, par exemple sur internet, numérique, ou aux personnes handicapées auditives, daltonisme ou d'autres handicaps visuels. Avoir des rapports stockés dans la salle de l'agent de S&E ou du directeur n'est pas accessible. Le principe est également utile: présenter les résultats d'une manière logique et cohérente, en utilisant 1 page de résumé, 3 pages de résumé exécutif et 25 pages pour présenter les résultats et la méthodologie. Simplifiez la mise en page de votre rapport en éliminant les extras des tableaux, en soulignant les têtes de chapitres, en faisant une synthèse et en utilisant des sous titres descriptifs.

Etape 5. Appuyer l'utilisation et l'influence (1/2)
Depuis la conception des processus de S&E penser à l'utilisation et à l'influence pour les différents acteurs. Une participation active des parties prenantes dans la conception, mise en œuvre et évaluation de ces processus de S & E permettront d'améliorer l'utilisation et l'influence. Impliquer les parties prenantes dans un processus d'apprentissage, dès le début, avec la communication et des boucles de feed-back adéquates tout au long de ce processus. Assurer un soutien pertinent pour l'utilisation et l'influence. Penser comment les changements en termes d'attitude, connaissances, comportement, pensée, aspirations aux niveaux individuel, interpersonnel et collectif peuvent être influencés.

Etape 5. Appuyer l'utilisation et l'influence (2/2)
Développer des mesures concrètes, une fois les résultats clairs: Développer des réponses de management et suivre leur mise en œuvre; Fournir un espace de dialogue sur les résultats et réfléchir à leurs conséquences et les mesures nécessaires, par exemple, une revue annuelle par les parties prenantes; Développer des notes d'orientation, avec des recommandations claires pour l'action; Elaborer des recommandations claires pour des changements stratégiques et opérationnels et comment ces changements peuvent être gérés.

Travail de groupe (cas)
Développer un plan pour communiquer les résultats pour leur utilisation par les différents acteurs de votre cas: Quelles méthodes et processus clés allez-vous utiliser?

PSEP - GOI 2014 Merci de votre attention!

Planification et suivi-évaluation participatifs (PSEP) - Gestion orientée vers l'impact (GOI) 6-16 Octobre 2014 8.2 Analyse des données, réflexion critique,

Présentations similaires

Présentation au sujet: "Planification et suivi-évaluation participatifs (PSEP) - Gestion orientée vers l'impact (GOI) 6-16 Octobre 2014 8.2 Analyse des données, réflexion critique,"— Transcription de la présentation:

Présentations similaires

Notre projet

Feed-back

Entrer

S'autoriser via un réseau social:

Planification et suivi-évaluation participatifs (PSEP) - Gestion orientée vers l'impact (GOI) 6-16 Octobre 2014 8.2 Analyse des données, réflexion critique,

Présentations similaires

Présentation au sujet: "Planification et suivi-évaluation participatifs (PSEP) - Gestion orientée vers l'impact (GOI) 6-16 Octobre 2014 8.2 Analyse des données, réflexion critique,"— Transcription de la présentation:

Présentations similaires

Notre projet

Feed-back