Suivi & Evaluation des progrès de la réponse au VIH/SIDA Atelier organisé par l’IAS à ICASA 2008 Par Laetitia Lienart IAS Coordinatrice Evaluation

le Suivi & l’Evaluation Quelques mots sur le Suivi & l’Evaluation Pourquoi le S&E est-il important? C’est une partie essentielle de votre travail quotidien qui vous aide à identifier les développements indésirables et améliorer sans cesse votre travail. Qu’est-ce-que l’évaluation? C’est l’analyse objective de l’information afin de répondre à des questions spécifiques et d’évaluer la réussite d’un projet en fonction d’indicateurs préalablement déterminés. Les critères d’évaluation potentiels pour des projets sont : Pertinence: Les objectifs du projet correspondent-ils aux besoins du groupe cible? Efficience: Les ressources sont-elles employées de manière adéquate? Efficacité: Les objectifs du projet ont-ils été atteints? Impact: Quels sont les effets positifs et négatifs, directs et indirects, intentionnels et non intentionnels induits par le projet? Durabilité: Les bénéfices du projet peuvent-ils perdurer? 2

le Suivi &l’Evaluation (suite) Quelques mots sur le Suivi &l’Evaluation (suite) Qu’est-ce-que le suivi? Contrairement à l’évaluation, le suivi est une analyse continue de l’information, qui indique si le projet est exécuté, ou non, conformément au plan. Sur cette base, un projet peut-être adapté et les processus optimisés en fonction des besoins. Qu’est-ce qui est essentiel pour le processus de suivi&évaluation? Bien que ce ne soit pas la seule exigence, il est essentiel d’avoir un projet bien structuré guidé par un cadre logique. 3

Introduction au cadre logique Qu’est-ce-que le cadre logique? Il s‘agit d’un tableau présentant une image claire et synthétique des objectifs globaux et spécifiques, des résultats et des activités d’un projet, ses indicateurs objectivement vérifiables et sources de vérification ainsi que les risques susceptibles d’affecter la mise en œuvre du projet. Pourquoi un cadre logique est-il utile ? essentiel pour le processus de suivi&évaluation mais aussi outil de référence durant le cycle du projet en vue d’une Gestion axée sur les Résultats (GR), c.-à-d. une stratégie de gestion qui se concentre sur la performance et la réalisation des objectifs. outil de référence pour rendre compte et communiquer constamment entre partenaires.   4

Introduction au cadre logique (suite) La méthode du cadre logique aide à guider la planification d’un voyage du point où nous sommes, ICI, au point où nous voulons aller, LA-BAS. 1 – Qui sommes “nous”? Qui a un intérêt et est un acteur important devant être impliqué? 2 – Où sommes-nous maintenant? Quels sont les problèmes et les besoins associés à ceux-ci? 3 – Où voulons-nous arriver? Quelles sont les options? Quels sont nos objectifs et les résultats attendus? 4 – Comment arriverons-nous là-bas? Quelle est la stratégie résultante? Quelles activités devons-nous entreprendre? 5 – Quels obstacles pourraient nous empêcher d’arriver là-bas? Quels sont les risques et comment pouvons-nous les gérer? Quelles hypothèses formulons-nous? 6 – Comment saurons-nous que nous sommes arrivés là-bas? Quels sont les indicateurs et les cibles? De quelles preuves avons-nous besoin? 7 – De quoi avons-nous besoin pour arriver là-bas? Quelles sont les ressources précises et le budget requis? ICI LA-BAS 5

ETAPE 1 – DEFINIR “L’OBJECTIF DE DEVELOPPEMENT” OU L’OBJECTIF PRINCIPAL L’objectif principal est l’objectif de premier ordre, l’impact à plus long terme, auquel le projet va contribuer. Ne formuler qu’un seul objectif principal. Des progrès contribuant à l’objectif principal doivent être mesurables au cours du projet. L’objectif principal fournit une « vue d’ensemble » du besoin ou du problème traité. Il exprime la justification de ce qui est planifié. Utiliser un verbe: ex. Accélérer la réponse au VIH/SIDA dans la région de Nbiya. 6

ETAPE 2 – DEFINIR “L’OBJECTIF IMMEDIAT” OU L’OBJECTIF SPECIFIQUE L’objectif spécifique décrit les résultats spécifiques et immédiats du projet. L’objectif spécifique doit être Simple, Mesurable, Réalisable, Pertinent & avoir une Echéance N’ayez qu’un seul objectif spécifique. Si vous pensez en avoir plusieurs, alors vous devez avoir plusieurs cadres logiques; sinon vos objectifs (spécifiques) multiples sont en fait des indicateurs d’un seul objectif spécifique ou des résultats attendus. 7

ETAPE 2 – DEFINIR “L’OBJECTIF IMMEDIAT” OU L’OBJECTIF SPECIFIQUE (suite) L’objectif spécifique ne doit pas être entièrement réalisable, c.-à-d. qu’il n’est pas totalement sous le contrôle du responsable du projet. S‘il est atteint, il s’agit alors d’un résultat. Ex. ‘Vous pouvez emmener un patient à l’hôpital mais vous ne pouvez pas être sûr(e) qu’il/elle suivra les prescriptions du médecin’. Le projet peut consister à « fournir » l’accès à l’hôpital mais il ne peut pas contrôler le comportement du patient. Le responsable du projet peut, au mieux, exercer une influence sur la réalisation de l’objectif spécifique en maximisant l’accomplissement des résultats et en atténuant les risques. Utiliser un verbe: ex. Améliorer l’accès au traitement du VIH/SIDA dans la région de Nbiya. 8

ETAPE 3 – DECRIRE LES RESULTATS OU PRODUITS Les résultats décrivent ce que le projet livrera/produira afin d’atteindre l’objectif spécifique. Ils doivent être entièrement sous le contrôle du responsable de projet. Utiliser des noms+adjectifs Ex.: a) Infrastructures médicales réhabilitées/renforcées dans la région de Nbiya; b) Sensibilisation au VIH/SIDA des habitants de la région de Nbiya renforcée; c) Personnel médical de la région de Nbiya formé correctement sur le VIH/SIDA; d) Partenariats initiés entre le gouvernement de Nbiya et un(des) fournisseur(s) de médicaments; etc. En général, il y a de 2 à 8 résultats; le cadre logique devient trop complexe s’il y en a plus. 9

ETAPE 4 – DEFINIR LES ACTIVITES Les activités décrivent les actions qui seront entreprises pour réaliser chaque résultat/produit. Les activités sont généralement des actions (sous forme de noms). Ex: évaluation des besoins, recrutement d’experts/consultants, conception de documents/matériel didactique, développement de programme de formation, sélection de participants/formateurs/fournisseurs, organisation de réunions de coordination, distribution de posters/affiches de sensibilisation, mise en œuvre de travaux, achat d’équipement et de fournitures, etc… 10

ETAPE 5 – TESTER LE CADRE LOGIQUE DU BAS VERS LE HAUT Lorsque les 4 lignes de la colonne 1 ont été remplies, la logique doit être testée: utilisez la méthode « SI/ALORS » pour vérifier les causes et les effets, en lisant le tableau du bas vers le haut: Si nous réalisons ces activités, alors ce résultat sera livré. Si nous livrons ces résultats, alors cet objectif spécifique sera atteint. Si cet objectif spécifique est atteint, alors il contribuera à l’objectif principal. 11

ETAPE 6 – ENTREPRENDRE UNE ANALYSE DES RISQUES IDENTIFIER LES RISQUES Considérant toutes les activités requises pour le résultat 1, posez-vous la question: « Si nous réalisons ces activités avec succès, alors qu’est-ce-qui peut nous empêcher de livrer le résultat 1? » Répétez cela pour tous les autres résultats, en prenant chaque résultat et les activités qui y sont associées. Considérant l’ensemble des résultats, posez-vous la question: « Si nous livrons tous ces résultats avec succès, alors qu’est-ce-qui peut nous empêcher d’atteindre cet objectif spécifique? » Maintenant posez-vous la question: « Si nous atteignons cet objectif spécifique avec succès, alors qu’est-ce-qui peut nous empêcher de contribuer à cet objectif principal? » 12

ETAPE 6 – ENTREPRENDRE L’ANALYSE DES RISQUES ANALYSER ET GERER CHAQUE RISQUE Quel est son impact probable? fort, moyen, faible. Quelle est sa probabilité? forte, moyenne, faible. A ce stade, vous pouvez décider d’ignorer les risques négligeables. Discutez et accordez-vous sur les possibles mesures d’atténuation, transférez les dans la colonne 1 (comme activités supplémentaires) de votre cadre logique. Exemple: Risque: diminution du personnel médical affecté dans la région de Nbiya. Mesure d’atténuation/nouvelle activité: plaidoyer/lobbying auprès des autorités et parties prenantes engagées dans la gestion du personnel médical. 13

ETAPE 7 – FORMULER LES HYPOTHESES Les hypothèses sont ce qu’il reste après que les mesures d’atténuation aient été mises en place (même si les mesures d’atténuation sont menées avec succès, il est peu probable que le risque soit complètement éliminé). Les hypothèses sont des facteurs extérieurs qui peuvent affecter la réussite du projet mais que le responsable de projet ne contrôle pas directement. Exemple: « Un engagement fort et un soutien continu des autorités de Nbiya en faveur de la lutte contre le VIH/SIDA ». Test de logique: une fois que les activités ont été exécutées, et si les hypothèses sont vérifiées, les résultats seront produits/livrés. Répétez cette même logique pour les niveaux supérieurs. 14

ETAPE 8 – IDENTIFIER LES INDICATEURS OBJECTIVEMENT VERIFIABLES (IOV) L’un des principaux points forts du cadre logique est qu’il oblige l’équipe de planification à déterminer dès la conception du projet comment celui-ci sera suivi et évalué. Les indicateurs et leur moyen de vérification sont nécessaires pour montrer quelles sont les données que nous envisageons d’utiliser pour mesurer les progrès et comment elles seront collectées. La plupart du temps, lors de la conception du projet, il n’y a pas assez de données de base disponibles (situation au démarrage du projet) qu’on puisse utiliser comme référence pour mesurer les progrès effectués; dans ce cas, le cadre logique aide à identifier les lacunes et déterminer ce qui doit être fait. 15

Utiliser la maxime QQT – Quantité, Qualité, Temps. ETAPE 8 – FORMULER LES IOV Utiliser la maxime QQT – Quantité, Qualité, Temps. Etape 1: Déterminer l’indicateur de base. Etape 2: Ajouter le facteur Quantité – un montant ou un pourcentage qui sera atteint. Etape 3: Ajouter le facteur Qualité – une mesure qualitative pour préciser l’indicateur. Etape 4: Ajouter le facteur Temps– date à laquelle cela doit être accompli. Eviter l’utilisation de phrases générales telles que ‘Dès que possible.’ Il est important d’équilibrer les indicateurs de fin de projet (CIBLE) avec les indicateurs intermédiaires (JALON). 16

ETAPE 8 – FORMULER UN IOV (exemple) Etape 1: Augmentation de l’accès au traitement HIV/SIDA Etape 2 (Quantité): Augmentation de [%], par rapport à la norme de référence, du nombre de personnes atteintes du VIH/SIDA (dans la région de Nbiya) recevant des médicaments ou au moins [X] % des personnes infectées par le VIH/SIDA (dans la région de Nbiya) reçoivent des médicaments. Etape 3 (Qualité): Augmentation de [%], par rapport à la norme de référence, du nombre de personnes atteintes du VIH/SIDA (dans la région de Nbiya) recevant des médicaments de manière durable. Etape 4 (Durée): Augmentation de [%], par rapport à la norme de référence, du nombre de personnes atteintes du VIH/SIDA (dans la région de Nbiya) recevant des médicaments de manière durable en [année/mois] ou d’ici [durée]. 17

ETAPE 8 – EVOLUTION D’UN INDICATEUR EN JALON/CIBLE Les indicateurs sont un moyen par lequel le changement sera mesuré alors que jalons et cibles sont respectivement des objectifs à moyen terme et finaux. Vu qu’au stade préliminaire d’un projet, il se peut qu’il n’y ait pas l’information de référence nécessaire pour fixer les cibles, il y aura donc principalement des indicateurs. Des réunions ultérieures entre parties prenantes et des collectes d’information conduiront à la conception de ces cibles. Exemple (pour un projet d’une durée de 4 ans ): Augmentation de [%], p/r à la référence, du nombre de personnes atteintes du VIH/SIDA recevant des médicaments de manière durable d’ici [X] années est un indicateur Augmentation de 10%, p/r à la référence, du nombre de personnes atteintes du VIH/SIDA recevant des médicaments de manière durable d’ici 2 ans est un jalon Augmentation de 25%, p/r à la référence, du nombre de personnes atteintes du VIH/SIDA recevant des médicaments de manière durable fin 2012 est une cible 18

ETAPE 9 – IDENTIFIER LES MOYENS DE VERIFICATION/PREUVES Le dernier élément de la réalisation d’un cadre logique est de décider comment les indicateurs seront mesurés – quelles preuves utiliserons-nous. Il s’agit d’une étape cruciale dans la planification initiale qui est souvent négligée. Identifier les moyens de vérification dès la planification rendra bien plus facile le suivi et l’évaluation du projet. Les moyens de vérification seront presque invariablement des documents (ou parfois des interviews, films, DVD, vidéo ou cassette audio). La vérification des indicateurs doit se faire simultanément à leur formulation; vous compléterez ainsi en même temps les colonnes 2 et 3 du cadre logique. 19

ETAPE 9 – IDENTIFIER LES MOYENS DE VERIFICATION/PREUVES (suite) Quelques sources typiques de vérification Compte rendu de réunions et liste de participation Opinion des parties prenantes & groupes cibles Questionnaires/sondages et rapports Journaux, radio, enregistrements TV, photographies, images satellites Statistiques nationales et internationales Progrès enregistrés lors de projets, révision et rapports intermédiaires/finaux de projets Rapport d’évaluation externe, questionnaire d’évaluation de formation, etc. 20

ETAPE 10 – ET FINALEMENT, UNE 5EME LIGNE? Pour simplifier, nous schématisons le cadre logique au moyen d’un tableau 4x4, mais 4 cases sont souvent rajoutées en-dessous des 16 cases du cadre logique pour indiquer les coûts et les ressources nécessaires au financement des activités du projet, ainsi que les pré-conditions qui doivent être arrêtées. Intrants/Ressources Résumé du Budget Personnel/mois Catégories & codes budgétaires Pré-conditions; Hypothèses formulées pour mener à bien les activités 21

EXEMPLE DE CADRE LOGIQUE COMPLET Toujours dater un cadre logique! Logique d’intervention Indicateurs / Jalons / Cibles Vérification Hypothèses Objectif principal : Accélérer la réponse au VIH/SIDA dans la Nbiya La proportion d’infections du VIH/SIDA a diminué de [X]% en 2012 (I) Rapports, statistiques, enquêtes, etc. Objectif spécifique: Améliorer l’accès au traitement du VIH/SIDA dans la Nbiya Augmentation de 25%, par rapport à la norme de référence, du nombre de personnes atteintes du VIH/SIDA (dans la Nbiya) recevant des médicaments de manière durable d’ici 2012 (C) enquêtes, liste de présence des patients, reçus de livraison des médicaments, etc. Engagement durable des autorités et des partenaires Résultats: R1. Infrastructures médicales réhabilitées/renforcées dans la Nbiya R2. Sensibilisation au VIH/SIDA des habitants de la Nbiya renforcée R3. Personnel médical de la Nbiya formé correctement sur le VIH/SIDA R4. Partenariats initiés entre le gouvernement de Nbiya et un(des) fournisseur(s) de médicaments 1. Au moins un hôpital fonctionne de manière indépendante dans la Nbiya d’ici 2 ans (J) 2. [Nombre] de campagnes de sensibilisation organisées d’ici 2010 (I) 3. Au moins 50 travailleurs médicaux de la Nbiya formés d’ici 2012/4 ans (C) 4.1 [Nombre] de partenariats initiés d’ici 2010/2 ans (I) 4.2 Au moins 2 contrats de partenariats signés d’ici 2012/4 ans (C) 1. Rapports des visites de contrôle régulier dans les hôpitaux 2. Affiches/brochures et autres matériels de sensibilisation 3. Rapports de formation & évaluation des compétences post-formation 4. MoU/accord/compte rendu de réunions Infrastructures médicales régulièrement entretenues. Pas de restriction sécuritaire qui puisse empêcher l’accès à certaines populations. Activités: à développer avec la même méthode 22

LE CADRE LOGIQUE COMME OUTIL DE COMMUNICATION Le cadre logique peut aider à informer/rendre comptes aux partenaires, sponsors et autres parties prenantes de ce que nous faisons et pourquoi. Cela peut être réalisé en adoptant une présentation étape par étape: 1. Objectif principal: “L’objectif principal est de ............." 2. Objectif spécifique: “Afin de contribuer à l’objectif principal, dans ce projet, nous............" 3. Résultats: “Nous atteindrons cet objectif spécifique en prenant la responsabilité directe de............" 4. Activités: “Laissez-moi décrire plus en détails notre stratégie. Nous pensons que si nous.............." 5. Hypothèse au niveau des activités: “Et si .........." 6. Indicateurs de résultat: “Nous atteindrons nos cibles de............." 23

LE CADRE LOGIQUE COMME OUTIL DE COMMUNICATION (suite) 7. Objectif spécifique: “En plus d’atteindre ces différentes cibles, plusieurs conditions doivent être remplies si nous voulons réaliser notre objectif (spécifique) de............" 8. Hypothèse au niveau des résultats: “Ces conditions/hypothèses, échappant à notre contrôle, incluent........." 9. Hypothèse au niveau de l’objectif spécifique: “Nous pensons que si nous pouvons atteindre notre objectif spécifique, nous contribuerons à notre objectif principal. Cependant, cette contribution dépend de facteurs extérieurs à ce projet. Ils incluent........ Toutes ces facteurs réunis seront suffisants pour réaliser cet objectif. La stratégie que nous proposons est une étape importante et rentable pour parvenir à cette fin." 10. Vérification: “Nous proposons que notre performance soit suivie/mesurée et évaluée de la manière suivante..........." 24

RAPPORT SOUS FORME DE CADRE LOGIQUE Complétez le tableau pour chaque niveau d’intervention, à différentes périodes du cycle du projet. RAPPORT DE SUIVI DES PROGRÈS PAYS…………TITRE DU PROJET……………… PERIODE COUVERTE………… CODE…………… DATE …………….. PREPARE PAR……………… Structure du projet Indicateurs de réalisation Progrès/Etat d’avancement Commentaires & recommandations Estimation Insérer les activités et les intrants du cadre logique Insérer les indicateurs du cadre logique Fournir un rapport sur chaque activité et sur l’utilisation des intrants Fournir un rapport sur chaque activité et ses intrants (ex. dans quelle mesure les hypothèses sont vérifiées) & formuler des recommandations si nécessaire 1. Probable qu’il soit totalement réalisé 2. Probable qu’il soit partiellement réalisé 3. Improbable qu’il soit réalisé x Trop tôt pour juger du niveau de réalisation 25

OÙ TROUVER DE PLUS AMPLES INFORMATIONS http://www.parcinfo.org http://ec.europa.eu/europeaid/evaluation/methodology/egeval/methods/mth_cyc_en.htm http://www.worldbank.org/evaluation/ http://www.oecd.org/pages/0,2966,en_35038640_35039563_1_1_1_1_1,00.html http://www.undp.org/eo/ http://www.uneval.org/ http://www.unaids.org/en/PolicyAndPractice/MonitoringAndEvaluation/default.asp http://www.ideas-int.org/

EXERCICE POUR PRATIQUER LE CADRE LOGIQUE Sujet: La région de Nbiya est gravement affectée par le VIH/SIDA, comptant enfants et femmes parmi les populations les plus infectées. Vous souhaitez répondre à un appel d’offre lancé par un bailleur de fonds pour répondre aux problèmes de santé dans la région. Méthodologie: chaque groupe est supposé suivre les étapes présentées ci-dessus pour concevoir et présenter au final un cadre logique complet avec au moins 3 résultats et 3 activités par résultat. Utilisez la fiche d’information pour connaître le contexte d’intervention. 27

EVALUATION Votre opinion étant extrêmement importante pour évaluer le succès d’ICASA 2008, vous serez sollicités peu après la conférence pour remplir un questionnaire en ligne (disponible en anglais & français); toutes vos données resteront confidentielles. Pour participer à cette évaluation, nous vous remercions de bien vouloir compléter la fiche d’information en cours de circulation.

MERCI DE VOTRE ATTENTION. QUESTIONS? 29