Choisir ce qu’il faut suivre et évaluer 31/03/2017 Choisir ce qu’il faut suivre et évaluer Session 9

Choisir ce qu’il faut suivre et évaluer

Objectifs A la fin de la session, vous êtes capable de : Comprendre que différents acteurs ont besoin de différentes informations pour contribuer à l’impact Formuler de commun accord avec les autres acteurs les questions relatives à la performance de manière à orienter l’analyse des données Formuler des indicateurs de performance D’identifier les besoins d’information et des informations de référence

Question d’ouverture Comment et avec qui choisir et décider ce qu’il faut suivre et évaluer ?

Comment et avec qui choisir et décider ce qu’il faut suivre et évaluer ? Déterminez les besoins d’info avec les acteurs Chaque niveau de l’hiérarchie des objectifs Cinq questions de base de l’évaluation Questions transversales (genre, participation etc) Recherchez des infos qui expliquent les résultats obtenus Effets imprévus Trop d’info tue l’info.

Besoins d’info de différents acteurs Requiert Analyse et la prise de décision avec acteurs concernés sur l’information qui est pertinente pour eux S&E axé sur des domaines d’intérêt spécifiques Unité de S&E du projet qui Coordonne le cheminement des informations Assure que l’information est plutôt complémentaire que double Organise l’accès mutuel de tous les acteurs aux informations et à l’analyse

Besoins d’info selon le niveau hiérarchique de l’objectif Activités Activités programmées menées à bien et dans les délais et les limites du budget ? Quelles activités non programmées mises en oeuvre? Réalisations Quels sont les produits et services concrets directement obtenus comme résultat des activités menées?

Besoins d’info selon le niveau hiérarchique de l’objectif Objectif spécifique et – ou composante Quels changements induits par les réalisations ? Dans quelle mesure susceptibles de contribuer à la réalisation de l’objectif spécifique et à l’impact ? durée du projet, a-t-il permis de réaliser les changements que l’on puisse lui imputer de façon réaliste?

Besoins d’info selon le niveau hiérarchique de l’objectif Objectif général Dans quelle mesure le projet a-t-il contribué aux finalités de long terme ? Quelles conséquences imprévues – positives ou négatives et pourquoi ?

L’hiérarchie des objectifs d’un projet Hiérarchie objectifs Indicateurs Méchanismes de faire le suivi Hypothèses et risques Objectif générale Objectif spécifique Réalisations Activités Inputs Coûts Pré- conditions

Cinq questions clés Pertinence Efficacité Le projet était-il une bonne idée étant donné la situation à améliorer ? Et par rapport aux priorités des acteurs ? Efficacité L’objectif spécifique atteint ? Réalisations et activités prévues, ont-elles abouti ? Pourquoi ? La logique d’intervention est-elle correcte ? Pourquoi ?

Cinq questions clés Efficience Les moyens utilisés de manière optimale pour obtenir des résultats ? Pourquoi ? Que pouvait-on faire autrement pour améliorer la mise en oeuvre du projet ? (coût-bénéfices/impact)

Cinq questions clés Impact Durabilité Contribution à la réalisation des finalités du projet ? Pourquoi ? Quelles conséquences imprévues – positives ou négatives ? Pourquoi ? Durabilité Une fois achevé, le projet aura-t-il des impacts positifs persistants ? Pourquoi ?

moyens Activités Réalisations Questions d’évaluation et la logique d’intervention Situation amélioreé Impact Situation à améliorer Problèmes et Visions Pertinence Durabilité Plannification pour améliorer (Cadre logique) Efficacité Mise en oeuvre moyens Activités Réalisations Efficience

Questions transversales Relations et positions hommes-femmes Participation Pauvreté Environnement

Contenu de la matrice de S&E Questions de performance Besoins d’informations indicateurs Information de référence Exigences, nature et responsabilités Collecte données méthodes, fréquences et responsabilités Formulaires, planification, formation, gestion des données, compétences, ressources et responsabilités Analyse, rapports, restitution, adaptation, responsabilités

Utilité de la matrice de S&E Pour faire un plan de S&E opérationnel et détaillé Cadre logique N’a pas suffisamment de place pour monter un système de S&E détaillé Ne suffit pas pour rendre le S&E opérationnel (seulement des indicateurs et des sources de vérification

Reste du programme d’aujourd’hui Formuler des questions relatives à la performance Identifier les besoins d’information et les indicateurs Savoir de quelle information de référence vous avez besoin  avec plusieurs acteurs

C’est quoi, une question de performance ? Question d’évaluation ou d’appréciation Aide à concentrer la recherche et l’analyse de l’information sur ce qui est nécessaire pour savoir si le projet donne les résultats escomptés ou, sinon, pourquoi. Aide à choisir l’information dont vous avez besoin Faire l’économie

Question de performance : exemples Quels types d’amélioration ont été obtenus suite à la diversité des revenus résultant du projet? Comment le pouvoir d’achat des groupes-cible a-t-il changé en comparaison avec les populations non-ciblés ? Quels types de compétences ont été améliorés et combien de ménages ont été concernés ?

Activités – qu’avons-nous fait réellement ? Principales questions de performance pour chaque niveau de la hiérarchie des objectifs Activités – qu’avons-nous fait réellement ? Réalisation – qu’avons-nous fourni grâce aux activités du projet ? Effets – qu’est-ce qui a été obtenu grâce aux réalisations Impacts – qu’ont apporté les effets ? Leçons tirées – Quels enseignements ont-ils été tirés du projet ? Comment peuvent-ils contribuer à l’amélioration du projet ?

Identifier des bonnes questions relatives à la performance – critères Quoi ? Pourquoi ? Conséquences ? Actions à mener Qu’est-ce qu’il a été un succès ou un échec ? Ce succès ou échec, il a été due à quoi ? Conséquences pour la réussite du projet ? Quelles actions pour augmenter le succès du projet ?

+ suivi de l’avancement Lier différentes questions de performance + suivi de l’avancement Pertinence Efficacité Efficience Durabilité Quoi ? Pourquoi ? Conséquences Impact Effets Actions Réalisations Activités

Questions de performance pour l’analyse des imprévus Planifiez comment vous suivez les situations imprévues Inserez du temps de réflexion pour la question : “par rapport à cette activité, ces réalisations, ces effets et ces relations, qu’est-ce que nous n’avions pas prévu?” Questions clés Qu’est-ce qu’il s’est passé d’inattendu depuis notre dernière réunion, évaluation ? Comment c’était différent par rapport à nos attentes ? Quelles implications de ces imprévus pour notre travail ?

Exercice – en binômes - questions de performance Formulez des questions de performance pour évaluer ce cours Les autres participants jugent Carte verte : question approuvée + pourquoi Carte rouge : question rejeté + pourquoi

Identification de l’information clé et les indicateurs appropriés Quelles informations nécessaires pour répondre aux questions de performance ? 1. Vérifiez si la question peut être répondue par un indicateur simple et direct (niveau d’activités et de réalisations). 2. Reflechissez consciensieusement sur les différents types d’information dont vous avez besoin pour répondre aux questions de performance (niveau d’effet et d’impact)

Question Un indicateur c’est quoi ? Pourquoi les indicateurs seuls ne suffissent pas? Quels types d’indicateurs existent ?

Définition indicateur Variable simple ou complexe, quantitative ou qualitative dont le suivi et/ou la comparaison dans le temps (ou dans l’espace) permet d’apprécier des changements intervenus Unité d’information mesurée au fil du temps pour enregrister des changements

Pourquoi les indicateurs seuls ne suffisent pas ? Parfois trop difficils ou coûteux pour mesurer Ce qui est simple à mesurer, parfois ne donne pas suffisament de sens pour agir Choses importantes ne peuvent pas toujours être comptées Indicateurs seuls n’expliquent pas les raisons de succès ou d’échec

Types d’informations nécessaires Indicateurs Informations qualitatives ciblées Informations qualitatives ouvertes Informations générales Observations générales sur les interactions avec et entre acteurs

Types d’indicateurs Indicateurs quantitatifs simples Indicateurs quantitatifs complexes Indicateurs composites Indices Indicateurs indirects Indicateurs qualtitatifs ouverts Indicateurs qualitatifs ciblés  (Guide FIDA , 5-22)

Formuler un indicateur quantitatif et clair Groupe cible spécifié Unités de mesure spécifiques Période spécifique d’observation Mention des informations de référence à utiliser aux fins de comparaison Critères de qualité Aire géographique spécifique Nombre de nouvelles entreprises formelles et informelles créées chaque année par les femmes dans la province de X rapporté au nombre initial

Formuler un indicateur qualitatif Domaine d’intérêt – question de performance Type de changement à comprendre et l’unité d’analyse Periode spécifique d’observation du changement Aire géographique Opinions de 25 % des participants à chaque programme de formation sur le thème Y, pour savoir si le programme les a aidés à mieux s’acquitter de leurs responsabilités dans leur travail.

Identification participative des indicateurs Décidez quel aspect su S&E sera participatif Consensus avec intéressés sur qui devrait être associé Organisez une réunion selon les modalités appropriées S’il y a plusieurs acteurs  2 options Etablissez avec chaque acteur une liste d’indicateurs et priorisez-les En tant que projet, faites une liste initiale et priorisez-les avec les acteurs concernés Définissez les unités d’analyse (groupes, ménages, femmes) Choississez méthodes de collecte, de traitement et d’analyse Essais préalables des indicateurs, des méthodes de collecte et d’analyse

Vérifier la qualité des indicateurs Evitez double emplois ! Quelles organisations disposent déjà des informations dont vous avez besoin Indicateurs quantitatifs et qualitatifs Mesurable (clair) Representatif (couvre l’aspect de la question de performance à répondre) Fiable (méthodes normalisée de collecte) Réaliste (coût et capacités ressources humaines)

Exercise sous-groupes 3 sous-groupes sur un même projet (d’un participant) Chaque membre représente un autre acteur avec ces propre besoins d’information. Uilisez cartes couleurs Colonne 1 – montez la logique d’intervention du CL Colonne 2 – identifiez questions de performance (Réalisations, OS et OG) Colonne 3 – identifiez besoins d’information et indicateurs Vérifiez la qualité des indicateurs

Question Pourquoi est-il important de actualiser les indicateurs et les besoins en informations ? Comment faire ? Qui utilise l’information Quelles lacunes importantes détectées  comment les combler  quels nouveaux besoins d’information

Nécessité d’une base de comparaison : Méthodes d’analyse comparative Avant/après projet + Moments de collecte bien déterminés - Attribution des changements Avec/sans projet + Explique plus facilement les causes du changement - Identification des zones géographiques comparables

Nécessité d’une base de comparaison : Méthodes d’analyse comparative Echantillon témoin/groupe cible + Répond bien à l’aspect impact sur le groupe cible + Explique plus facilement les causes du changement + Même zone  moins de disparité entre groupe témoin et cible - Problème moral d’inclusion – d’exclusion de groupes - Groupes sont vraiment comparables? - Changement mi-parcours du projet fausseront les constatations

Préparer et utiliser votre information de référence Concevez l’enquête de référence après révision du cadre logique Planifiez votre enquête de référence comme n’importe quelle autre enquête Limitez la collecte à ce que vous allez utiliser  questions de performance Veillez à ce que l’information de référence reste réaliste Faites preuve de l‘imagination dans le choix des méthodes de collecte : Méthodes quantitatives et qualitatives Veillez à ce que les questions transversales soient comprises dans l’enquête de référence

Planifiez votre enquête de référence comme n’importe quelle autre enquête Quelles informations déjà disponibles ? Où trouver l’information ? Quelles méthodes de collecte ? Quelles ressources nécessaires ? Qui est chargé de la collecte, de l’analyse et de l’utilisation des données et quand l’exécutér ? Quel moment et quelles modalités pour réviser l’information de référence au cours de la durée du projet ?

31/03/2017 Fin de session © Wageningen UR