14 juin – 02 juillet 2010, Dakar/Sénégal Synthèse générale Séminaire sur le Suivi et l’Evaluation des programmes de santé au niveau du district: Applications pratiques. 14 juin – 02 juillet 2010, Dakar/Sénégal

Semaine 1 Introduction aux théories S & E Elaboration d’un Plan S & E; Présentation des Tdr des travaux de groupes sur les plans de S & E; Rôle de l’information stratégique; Les cadres de S & E;

Semaine 1 Les indicateurs de S & E; Les sources d’information en S & E; Elaboration d’un plan de S & E; Méthodes Quantitatives d’analyse des données sanitaires;

Semaine 2 Suivi des projets et programmes; Méthodes Qualititatives d’analyse des données sanitaires; Méthodologie d’évaluation de l’impact; Evaluation de la rentabilité et de l’efficience d’un projet/programme; Programme de Communication pour le Changement de Comportement; Suivi des projets et programmes;

Semaine 2 Gestion de la logistique des médicaments; Programme de santé de l’enfant : PCIME; Programme Elargi de Vaccination: PEV; Programme SR; Programme de santé de l’enfant : Nutrition Elaboration d’un plan de S & E : Etat d’avancement.

Semaine 3 : Elaboration d’un plan de S&E; Programme IST/sida/TB; Programme Paludisme; Préparation des TP sur le terrain; TP sur le terrain; Analyse et interprétation des résultats des travaux de terrain; Finalisation des travaux sur le terrain; Présentation des divers travaux et clôture.

Différences SUIVI et EVALUATION?

Suivi ET Evaluation Suivi : Que faisons-nous ? Suivi des intrants, processus et extrants pour déterminer si les programmes s’exécutent comme prévu (formations, distribution de préservatifs, etc.) Évaluation : Qu’avons-nous accompli ? Évaluation de l’impact des programmes sur les comportements ou la santé (usage du préservatif lors des derniers rapports sexuels risqués, incidence du VIH, etc.)

Définitions Le SUIVI est une fonction L’EVALUATION est un exercice continue qui vise à fournir aux limité dans le temps qui vise à gestionnaires du programme et mesurer objectivement l’impact aux principales parties prenantes, (résultats) observé au niveau de des indications sur le progrès de la population, attribuable aux réalisés ou des difficultés interventions du projet/program- rencontrées au cours de la mise me. en œuvre du programme.

Définitions : suivi La collecte routinière des informations sur les activités d’un programme/projet, ses produits, résultats attendus La mesure des progrès réalisés dans le sens de la l’atteinte des objectifs d’un programme/projet ; c’est le comptage des extrants Surveillance routinière de l’utilisation des ressources financières et le fonctionnement d’un programme/projet. Constitue la base de l’évaluation d’un programme/projet lorsqu’il est lié à un programme/projet spécifique.

Définitions : évaluation L’analyse rigoureuse, à caractère scientifique des informations relatives aux ressources, activités, et résultats du projet/programmes pour déterminer le mérite ou la valeur dudit programme Requière la conception d’études ; parfois un groupe de contrôle ou témoin; souvent la mesure dans le temps. L’analyse des données de suivi pour améliorer les projets/programmes et informer les décisions concernant les futures allocations de ressources.

Intrants Ce sont les Ressources utilisées dans le cadre d’un projet/programme, telles que les ressources financières, humaines, matérielles : - ressources financières provenant du gouvernement, des partenaires et bailleurs; - personnel; - protocoles et directives; - supports de formation; - etc

Processus/Activités Ce sont les Activités que le projet/programme mènent pour atteindre ses objectifs, telles que la sensibilisation, la distribution de supports, les séances de counseling, les ateliers et formations, la supervision…. * Assurer le counseling pré-test, le test du VIH, la distribution des moustiquaires

Extrants/Résultats au niveau du programme Ce sont les Produits directs ou produits livrables du projet/programme tels que les séances d’interventions réalisées, les personnes atteintes ou les supports éducatifs distribués: * Nombre d’agents formés; * nbre de clients recevant un counseling pré-test,se faisant dépister du VIH et bénéficiant de counseling post-test.

Effets Ce sont les Résultats du programme qui se produisent aussi bien immédiatement qu’un certain temps après l’achèvement des activités tels que les changements au niveau des connaissances, des attitudes, des croyances,des compétences,comportements,de l’accès au services, des politiques.

Impacts Ce sont les Résultats à long terme d’un ou de plusieurs programmes, dans le temps tels que les changements au niveau de l’infection, de la morbidité: - taux de transmission; - taux d’incidence; - morbidité et mortalité.

Quelle est la fonction d’un Plan S/E?

Plan S&E: Fonctions Résume comment le programme mesurera ses résultats: Imputabilité Résume le processus de consensus: Transparence Responsabilité Guide la mise en œuvre du système S&E Standardisation Coordination Archive la mémoire institutionnelle Un plan S&E est un document vivant qui aura besoin d’être ajusté quand le programme est modifié La fonction et la forme d’un plan S&E sera différent aux différents niveaux du système Speaker Notes In addition to stating how the program is going to measure what it has achieved, an M&E plan functions to document consensus, guide implementation, and preserve institutional memory. Remember that an M&E plan is a living document and needs to be adjusted when a program is modified or new information is needed.

Quels sont les éléments clés d’un Plan S/E?

Eléments clés d’un plan de S&E(1/2) Introduction/Description du problème de santé Description du programme- buts, objectifs, cadre conceptuel, activités, cadre des résultats Description des indicateurs avec sources de données, etc. (matrice et feuilles de référence) Description des mécanismes de collecte des données Suivi Evaluation 1,2Several examples of public health programs that could be implemented to solve public health problems will be provided for students to work on during the afternoon.

Eléments clés d’un plan de S&E(2/2) 5. Plan de démonstration de l’impact; 6. Plan de dissémination et utilisation des données/résultats 7. Analyse des obstacles à la qualité des données et solutions potentielles; 8. Plan de mise en œuvre du Plan S/E avec calendrier et budget

Barrières à l’utilisation des données?

COMPORTEMENT INDIVIDUEL Déterminants de la Demande et Utilisation des données et des Informations CULTURE APPROCHE SYSTEMES APPROCHE TECHNIQUE POLITIQUE SOCIETE COMPORTEMENT INDIVIDUEL Be sure to note that the political, cultural and social context is an important determinant of data demand and information use also, because decision-making, sharing of information, and data collection and reporting all occur within these contexts. This framework of three main determinants of data demand and information use is taken from the PRISM framework. La prise de décisions intervient dans des contextes sociopolitiques et culturel définis

Dans la présentation qui suit, je vous parle de l ’intégration des SISR...

Quels sont les 3 types de cadres qui peuvent être utiles pour les gestionnaires de programmes et staff de S/E quand ils ont besoin de décrire leur programme??

Synthèse Cadres de S/E: Type de cadre Description Gestion de Programme Utilité dans le S/E Conceptuel Interaction entre différents facteurs Détermine quels sont les facteurs qui vont influencer les résultats/impacts du programme Explique les résultats, surtout dans Evaluation d’Impact Logique Montre les liens logiques entre les intrants, les activités, produits/ résultats du programme Montre les relations causales entre les activités et les résultats Suivi/évaluation du processus et du résultat Résultat Montre les liens logiques entre les objectifs du programme Montre les relations causales entre les objectifs du programme Suivi/évaluation des résultats Speaker Notes: We have covered four types of frameworks.  These four frameworks are used to inform programming and for monitoring and evaluation of the program that is implemented.  The conceptual framework puts the health problem in to context and either a results or logical framework is used to understand the interrelationships between factors relevant the program. USAID funded programs tend to use results  frameworks but many others, such as DFID and UN programs, use logical frameworks. Programs should use the type of frameworks that best suit them.  Logic models help to show the logical connections between the inputs and processes and outputs of an activity and its link to the programs objectives (outcomes) and goals (impact).

Qu'est ce que c’est, un indicateur?

Qu’est-ce qu’un indicateur ? une variable qui mesure un aspect du programme ou projet

Quelle est l’utilité des indicateurs standardisés au niveau international?

Ces indicateurs : aident chaque pays à évaluer l’efficacité de sa riposte nationale; permettent de fournir des informations majeures sur l’efficacité de la riposte aux plans régional et mondial; améliorer la comparabilité des données et/ou réponses entre pays ou entre régions; mesurer les progrès dans le secteur de la mobilisation des ressources, de la politique générale et de la défense de la cause en matière de santé.

Quelles sont les différentes sources des données ?

Enquêtes de Population Système d’information sanitaire: données pour la planification, le suivi et l’évaluation dans le secteur de population, santé et nutrition Non-Routine Routine TYPE UTILISATION Niveau National Aggreg. Statist. de Service Aggreg. Données de gestion Aggreg. Données Surveill Données financières Etat civil Décision de politique Planification stratégique Suivi de programme Surveillance de maladie Soutien Technique & Logistique Enquêtes de Population EDS Enquêtes de services De santé Niveau District Aggreg. Stat. Services Aggreg. Données gestion Sites Sentinelles Liste Observation Auto-Évaluation Planification) Management (Qualité/Efficience) Supervision (Performance) Surveillance de maladie Méthodes Évaluation Rapide Études Spéciales FS Client Dossier Client Dossiers Financiers Logistiques FSy registres, dossiers Données Commun. Gestion et suivi client Gestion unité de santé Planning travail/ de fin. Priorités Recensement Naissances et décès Dossiers Scolaires Registres ASC Recouvrement des coûts Gestion et suivi client Gestion logistiques Sensibilisation Communauté Commun.i Special

Quelles sont les six dimensions de la qualité des données? Exactitude ou validité; Fiabilité; Précision; Exhaustivité; Promptitude; Intégrité.

Quel est le rôle particulier des méthodes qualitatives et quantitatives d’analyse des données dans un bon système de suivi et évaluation?

Différences entre enquêtes qualitatives et quantitatives (1/3) Permet d ’explorer les attitudes, les motivations, les pratiques etc. Mesure les évolutions, les niveaux, etc. Détermine “pourquoi” Décrit: Combien, combien de fois Les modèles, les processus et les interactions sont plus faciles à observer Relations entre variables sont indiquées avant l’étude Le questionnaire est ouvert – l’information provient des interviewés A un objectif défini: tous les termes et les questions importantes sont limités aux questions posées Permet d’explorer les sujets sensibles Plus difficile de prendre en compte les questions sensibles N’a pas besoin d’échantillons de grande taille Exige des échantillons importants

Différences entre études qualitatives et quantitatives(2/3) Relativement moins cher à réaliser et les résultats sont faciles à obtenir Coûteux et prend du temps Les résultats ne peuvent pas être généralisés à des populations plus larges Les résultats peuvent être généralisés à des populations plus larges Il y a beaucoup de données et l’analyse est ardue Le traitement et l’analyse de données importantes est relativement facile Pas besoin d’expert en statistiques pour l’analyse des données Connaissance statistique indispensable pour l’analyse Les agents de santé peuvent participer à l ’étude Enquêteurs et agents de santé peuvent participer à l ’enquête

Différences entre études qualitatives et quantitatives(3/3) interprétation peut être biaisée par le chercheur Possibilité de maîtriser le biais Qualitative Quantitative

Quels sont les différents avantages des approches d’évaluation d’impact?

Récapitulatif des approches préférées Observations Méthode expérimentale Généralement peu pratique suite aux difficultés à établir et à maintenir des conditions expérimentales contrôlées dans les études nationales. Méthode quasi-expérimentale Plus pratique car la répartition aléatoire n'est pas nécessaire. Mais plus vulnérable au biais de sélection et autres risques de validité que les expériences aléatoires. Méthodes de régression à niveaux multiples La moins exigeante des approches non expérimentales préférées. Evaluation de la relation entre les variables mesurant les activités du programme et des effets en fonction des données transversales de ménages et/ou d'établissements sanitaires recueillis dans les mêmes régions géographiques (par exemple, grappes EDS). Limitation-clé : risque d'estimations biaisées lorsque les programmes ne sont pas exécutés de manière uniforme ou aléatoire entre les régions géographiques.

Programmes de santé : Description des cadres de S/E (Conceptuel, Logique et Résultats) ; Identification des interventions/approches majeures permettant d’améliorer le programme ; Discussion de l’impact principal et des indicateurs de résultat et identification des forces et faiblesses de ces indicateurs ; Exemples spécifiques sur la manière dont les indicateurs de S&E sont utilisés pour l’amélioration du programme et la prise de décision ; Développement d’ un cadre conceptuel et identification des indicateurs de S&E d’une des interventions identifiées; discussion également des sources de données, des forces et faiblesses des indicateurs ( but des études de cas).

MERCI