Suivi et Evaluation des programmes VIH - Séminaire régional Rôle de l’information stratégique dans la prise de décision / Utilisation des données Suivi et Evaluation des programmes VIH - Séminaire régional CESAG- Dakar, Sénégal  Du 07 au 18 Fév 2011

Introduction 1/2 L’utilisation des données pour la prise de décisions est l’objectif final du S&E Elle permet d’être critique, d’opérer des choix judicieux et de planifier sur des bases factuelles;

Introduction 2/2 Dans nos régions où les besoins sont importants et les ressources limitées, les décisions de politique et de programmes doivent produire le meilleur résultat possible. Malheureusement la prise de décisions complètement fondée sur des preuves est rare;

Objectif général L’objectif général du module « Rôle de l’information stratégique dans la prise de décision » est d’améliorer le niveau d’utilisation des données.

Objectifs spécifiques A la fin de ce module, les participants doivent être capables de: Définir les concepts et les objectifs de la communication et de l’utilisation des données; Analyser l’environnement de la prise de décisions et le rôle des données dans la prise de décisions; Identifier les barrières à l’utilisation des données et des informations; Proposer des stratégies pour améliorer l’utilisation des données; Communiquer les données. Revoir chaque objectif et demader aux participants de lever le doigt s’ils estiment qu’ils sont incapables de repondre a ces objectifs a la fin de la séance

Plan de la séance Concepts clés; Barrières à l’utilisation des données; Environnement de la prise de décision; Stratégies pour améliorer l’utilisation des données. Communication des données; Les concepts et questions clés dans le domaine de l’utilisation des données et des informations Lien entre le S/E et l’utilisation des données Pourquoi disséminer et utiliser les données de S/E Qui peut utiliser les données et informations de S/E Dans que but les parties prenantes utilisent les données et informations? Cadre conceptuel et définition de DDUI Barrières/déterminants de l’utilisation des données/informations Comprendre le processus de prise de décisions et le rôle de l’information dans ce processus DDUI en action Evaluation de la situation de DDUI Etapes dans la conduite de DDUI Outils pour évaluer la DDUI Approches pour améliorer la demande de données et l’utilisation des informations Communication et extension de l’utilisation de données

Définition des concepts

Définition des concepts Décider, c'est choisir, parmi plusieurs actes possibles, celui qui apparaît comme le plus pertinent pour atteindre un résultat envisagé, dans un délai jugé souhaitable et possible, en utilisant au mieux les informations et les ressources disponibles.

Donnée vs Information Une donnée est un élément fondamental sur lequel se bâtit un raisonnement, une recherche ou une étude, Les données se réfèrent souvent aux données brutes ou informations non traitées, Une information est un ensemble de données traitées portant sur un sujet précis et présentées dans un contexte particulier; par ex. un contexte de prise de décisions. Nous utilisons souvent les termes donnees et informations de la meme maniere mais il y a une difference entre les 2.

Information stratégique Englobe les données de suivi-évaluation, de la surveillance biologique en matière de VIH/sida, et des systèmes d’information sanitaire et/ou communautaires; Reflète le caractère stratégique de la prise de décision concernant les programmes et les financements; Stratégie= art d'organiser et de coordonner un ensemble d'opérations pour parvenir à un but (Microsoft Encarta 2007).

Définition de la Demande de Données et Utilisation des Informations(DDU) Une approche systématique qui utilise les meilleures pratiques et outils appropriés pour aider à augmenter la demande des données sanitaires de haute qualité et s’assurer que les informations provenant de ces données sont utilisées dans le processus de prise de décisions guidées par l’évidence (preuves concrètes). Key points… Tout simplement, DDUI est un processus qui permet de s’assurer que les informations sanitaires qui sont produites sont utilisees et comme resultat de cette utilisation, il y a une demande acrue pour ce type d’information Engages stakeholders, decision makers and researchers Strengthens linkages between these groups Works to improve information production (quality and analysis) Based on existing best practices Builds capacity of counterparts Three new elements Consolidated approach Systematic Identifies problems, analyzes causes, develops solutions, monitoring and evaluating Relies on the use of innovative tools

Cadre Conceptuel de DDUI Data demand involves Stakeholders actively and openly requesting quality, health-related data and information The decisionmaker understands information is needed to inform the decision; and The decisionmaker proactively seeks out that information. data demand could include managerial or policy directives to collect specific data, new or increased resource allocation for data collection and analysis (e.g., budget line items, establishing or strengthening statistical units inside ministries or programs, modifying job descriptions), and requests for special analyses. Demand for data helps to improve the quality of data collection and interpretation. Information Use is steps beyond dissemination. It is the process by which stakeholders use information in an evidence-based process to: Reach decisions, Make changes, or Take other specific actions designed to improve outcomes. Information can and should be used in practical applications: Program administration/management Delivery of services Planning and/or policy making this framework outlines a continuum of M&E efforts needed to support improved health outcomes In order to achieve improved health outcomes, and in this case- in the area of HIV/AIDS, this framework outlines a continuum of M&E efforts needed to support improved health outcomes The over-arching principle of the MEASURE Evaluation Project is that evidence-based decision-making will promote the achievement of improved health outcomes. The conceptual framework for the MEASURE Evaluation project posits that evidence-based decision making results from generating demand for information, collecting and analyzing data, making information available, and finally, from using the information to improve health systems. Figure 1 presents the MEASURE Evaluation conceptual framework as a cycle from demand to utilization; embedded in the cycle is the decision-making process. 12

Environnement de la prise de décisions

Environnement de la prise de décisions CULTURE APPROCHE SYSTEMES APPROCHE TECHNIQUE POLITIQUE SOCIETE COMPORTEMENT INDIVIDUEL Be sure to note that the political, cultural and social context is an important determinant of data demand and information use also, because decision-making, sharing of information, and data collection and reporting all occur within these contexts. This framework of three main determinants of data demand and information use is taken from the PRISM framework. La prise de decisions intervient dans des contextes socio-politique et culturel définis

Pourquoi disséminer et utiliser des informations du S/E? Pour renforcer les programmes et améliorer les résultats; Donner un feed-back aux parties prenantes; Engager toutes les parties prenantes; Responsabiliser chaque partie prenante et la nécessité de fournir des rapports et de rendre des comptes ; Plaider pour des ressources si nécessaire; Éclairer les décideurs politiques; Contribuer à la collecte des leçons apprises sur le plan national et mondial; Data should be collected, analyzed and disseminated to respond to policy and program-related issues. Contribute to decisions about change in program implementation Improve program interventions

Barrières à l’utilisation des données Avez-vous déjà utilisé des données du S/E? Quelles barrières avez-vous rencontrées dans l’utilisation des données? Data should be collected, analyzed and disseminated to respond to policy and program-related issues. Contribute to decisions about change in program implementation Improve program interventions

Déterminants de l’utilisation de l’information Aspects techniques Compétences techniques (capacité de collecte et analyse de données), disponibilité des ordinateurs, existence des systèmes d’information; Aspects organisationnels Organisationnel – clarté des rôles, soutien à la collecte de données, circulation de l’ information, culture organisationnelle; Aspects individuels: attitudes/motivations des décideurs, motivation du personnel de collecte; Aspects structurels: routes, télécommunications In the DDIU approach, there are three main determinants of use. The first, and possibly most important determinant, are the behavioral aspects of those who produce and use the information. If health system information is to be used, the decision maker must be open to the idea of using the information to make decisions - and see value in using it. The other determinants of information use are: the technical aspects of data processes and tools the system/organizational context that supports data collection, availability and use, and DDIU is a strategy to address these three components, and can be used to identify opportunities for and constraints to use.

Processus de prise de décisions La prise de décisions fondée sur des preuves est un processus par lequel les décisions en santé publique sont prises à partir de données utilisées de manière transparente et informées; et qui incluent la consultation des parties prenantes à chaque fois que cela est possible.

Le processus de prise de décisions La prise de décisions est un processus de choix parmi plusieurs alternatives à partir d’informations pertinentes Quelles décisions avez-vous eu à prendre dans votre travail? Quelles informations vous ont permis de prendre ces décisions?

Le processus de prise de décisions Qui prend les décisions? Quand et comment les décisions sont prises? Quelles informations sont nécessaires et disponibles? Quel est mon rôle dans la prise des décisions? Sur quoi prendre la décision? Quel est le niveau et l’étendue de la décision ?

Qu’est-ce qui influence la prise de décision? L’influence personnelle; La période/moment de la prise de décisions; La corruption; L’idéologie politique; L’ arbitraire; L’opinion publique Les priorités concurrentes Les relations de pouvoir La culture locale entourant la prise de décision Anecdote Autres sources d'information

Les parties prenantes peuvent inclure… Les bailleurs; Les agences d’exécution des projets; Les bénéficiaires; Les gestionnaires des programmes Les décideurs de politiques; Journalistes/Médias; Votre superviseur ou vos collègues; Le Secteur privé;

Les parties prenantes (suite) Trois types de parties prenantes: Bénéficiaires (PVVIH, jeunes, OEV……) Agents d’exécution des programmes (infirmières/sage femmes, médecins, personnel des ONG, gestionnaires des programmes) Décideurs de politiques (ministères gouvernementaux, bailleurs ou groupe de bailleurs, administration hospitalière)

Différences entre parties prenantes Les parties prenantes diffèrent selon: Ce qu’ils veulent atteindre (buts/motivations), comportements, compétences, ressources; Les informations disponibles pour appuyer leurs décisions; Les parties prenantes peuvent considérer le même type de données et informations … et arriver à des conclusions et décisions différentes; Stakeholders will differ on what they want to achieve, their goals and information they use to support their decisions People can look at the same figure and extrapolate different messages and decisions!!! Provide an example…

Types de décisions Conception de politiques, planification et plaidoyer; Conception et renforcement des Programmes; Gestion et opérations des programmes. Decisions are categorized into three types. These three types are not always mutually exclusive however, they are divided this way based on the following criteria: Who is involved in making the decision The type of data required to make this decision and how it is presented The process by which decisions of this type of made.. The reason it can be useful to categorize decisions is because doing this can help operationalize integrating use of information into the decision making process- If you have a decision to make and the data that informs that decision what is the plan for entering for entering it into the process?

Cadre Conceptuel de DDUI Data demand involves Stakeholders actively and openly requesting quality, health-related data and information The decisionmaker understands information is needed to inform the decision; and The decisionmaker proactively seeks out that information. data demand could include managerial or policy directives to collect specific data, new or increased resource allocation for data collection and analysis (e.g., budget line items, establishing or strengthening statistical units inside ministries or programs, modifying job descriptions), and requests for special analyses. Demand for data helps to improve the quality of data collection and interpretation. Information Use is steps beyond dissemination. It is the process by which stakeholders use information in an evidence-based process to: Reach decisions, Make changes, or Take other specific actions designed to improve outcomes. Information can and should be used in practical applications: Program administration/management Delivery of services Planning and/or policy making this framework outlines a continuum of M&E efforts needed to support improved health outcomes In order to achieve improved health outcomes, and in this case- in the area of HIV/AIDS, this framework outlines a continuum of M&E efforts needed to support improved health outcomes The over-arching principle of the MEASURE Evaluation Project is that evidence-based decision-making will promote the achievement of improved health outcomes. The conceptual framework for the MEASURE Evaluation project posits that evidence-based decision making results from generating demand for information, collecting and analyzing data, making information available, and finally, from using the information to improve health systems. Figure 1 presents the MEASURE Evaluation conceptual framework as a cycle from demand to utilization; embedded in the cycle is the decision-making process. 26

Le processus de DDUI 5 grandes étapes: Identification du problème; Evaluation de la situation (demande et offre); Identification des opportunités stratégiques (circuit de l’information, parties prenantes); Elaboration d’une stratégie; Application et évaluation de la stratégie.

Evaluation de la Situation de DDUI DDUI = Une approche systémique Les outils pour évaluer la situation en DDUI identifient les opportunités pour accroître la demande et l’utilisation des données Simply put, DDIU is a process to help ensure that the health information that is produced is used, and as a result of using the information, there is an increased demand for this type of information. Engages stakeholders, decision makers and researchers Strengthens linkages between these groups Works to improve information production (quality and analysis) Based on existing best practices Builds capacity of counterparts MEASURE Evaluation has brought a couple of new and important elements to helping facilitate data use: --Consolidated, systematic approach, which identifies problems, analyzes causes, develops solutions, monitoring and evaluating --Relies on the use of innovative tools This presentation focuses on approaches to identifying problems and analyzing causes.

1.Diagnostic de la demande et disponibilité des données Faible Plus fort I. Les données sont peu disponibles et les décideurs ne les utilisent pas II. Les données sont plus disponibles mais les décideurs n’ont pas la capacité et ils ne sont pas disposées à les utiliser III. Les données sont peu disponibles mais elles sont utilisées de plus en plus par les décideurs IV. Les données sont plus disponibles et elles sont utilisées de plus en plus par les décideurs Faible In cell I. Statistics are weak and policy-makers make little use of them. Evidence-based policy-making is not practiced. II. The quantity and quality of statistics are improving, but they are not used for decision-making because policymakers lack the incentives and/or the capacity to utilize them. This results in poor policy design. III. Statistics are weak but are increasingly used by policy-makers for a variety of purposes. Data deficiencies reduce the quality of decision-making IV. Statistics are improving and are being increasingly used for decision-making. This results in better policy design. This matrix should be seen as situation-specific; even within a country, different programs will have different technical quality of data and tools and different patterns of decision-making. For example, a well-established family planning program may have reliable service statistics collection and experience in interpreting unmet need from the DHS, while a newly-emerging infectious disease area may have well-trained epidemiologists but weak notification systems. Demande / Utilisation Plus fort

2. Fiche d’évaluation préliminaire de la situation de DDU Technique: Est-ce que les utilisateurs savent les données qu’ils veulent? Y a-t-il des contraintes de traitement de données? Organisationnel: Est-ce que toutes les parties prenantes ont accès aux données? Est-ce que les canaux de circulation des données sont clairs et suivis? Individuel: Est-ce que les parties prenantes donnent une importance aux données quand ils prennent des décisions? Est-ce que le personnel de santé public est formé dans l’analyse des données

3.Identification d’opportunités stratégiques Ce sont des portes d’entrée en DDUI: Calendrier des décisions ou plan d’utilisation des données; Cartographie de l’utilisation de l’information;

Considérer les portes d’entrée Source de données Décideurs Décisions Having completed the first step of a data use assessment, one must consider possible entry points or opportunities and determine how best to go about enhancing data demand and information use. By entry points, we mean decision makers, data source or decisions. This means that our intervention to improve the use of data would be implemented through and on the basis of one or more of these entry points. For example, if a country has a DHS dataset with compelling findings, the entry point might be the data source and the data use intervention would be to identify stakeholders/decisionmakers that could use the data and decisions that could be informed by the data. If a country is preparing to develop a national strategy on HIV/AIDS, then the decisions to prepare a plan and the decisions involved in drafting it would be the entry point.

Déterminer les “Portes d’entrée” Quelles décisions, données, ou parties prenantes sont impliquées? Y a-t-il un SISR ou des types de données spécifiques de S/E ou des résultats saillants de recherche disponibles? Y a-t-il un problème ou question particuliers ou un ensemble de décisions qui doivent être prises? A quels niveaux? Y a-t-il un besoin de compétences en DDUI ou des informations particulières pour prendre des décisions spécifiques? A quel niveau? Here are some questions involved in identifying the entry points for data use activities

Discussion Dans les 4 situations décrites dans la matrice de l’offre et de la demande, quelles stratégies préconisez-vous pour améliorer l’utilisation de l’information?

Diagnostic de la demande et disponibilité des données Faible Plus fort I. Les données sont peu disponibles et les décideurs ne les utilisent pas II. Les données sont plus disponibles mais les décideurs n’ont pas la capacité et ils ne sont pas disposées à les utiliser III. Les données sont peu disponibles mais elles sont utilisées de plus en plus par les décideurs IV. Les données sont plus disponibles et elles sont utilisées de plus en plus par les décideurs Faible In cell I. Statistics are weak and policy-makers make little use of them. Evidence-based policy-making is not practiced. II. The quantity and quality of statistics are improving, but they are not used for decision-making because policymakers lack the incentives and/or the capacity to utilize them. This results in poor policy design. III. Statistics are weak but are increasingly used by policy-makers for a variety of purposes. Data deficiencies reduce the quality of decision-making IV. Statistics are improving and are being increasingly used for decision-making. This results in better policy design. This matrix should be seen as situation-specific; even within a country, different programs will have different technical quality of data and tools and different patterns of decision-making. For example, a well-established family planning program may have reliable service statistics collection and experience in interpreting unmet need from the DHS, while a newly-emerging infectious disease area may have well-trained epidemiologists but weak notification systems. Demande / Utilisation Plus fort

4.Développement d’une stratégie Situation Activités/Solutions I. Les données sont peu disponibles et les décideurs ne les utilisent pas. Étude sur les facteurs de non utilisation Consultations pour le renforcement des capacités et de la qualité des données 36

Développement d’une stratégie Situation Activités/Solutions II. Les données sont plus disponibles mais les décideurs manquent de capacité pour les utiliser et ils ne sont pas disposés à les utiliser Étude sur les facteurs de non utilisation Consultations pour le renforcement des capacités Assistance avec l’analyse des données Sensibilisation des décideurs en matière des méthodes de prise de décisions avec l’aide des données 37

Développement d’une stratégie Situation Activités/Solutions III. Les données sont peu disponibles mais elles sont utilisées de plus en plus par les décideurs. Renforcement des capacités Plaidoyer pour les investissements pour l’amélioration de la qualité des données 38

Développement d’une stratégie Situation Activités/Solutions IV. Les données sont plus disponibles et elles sont utilisées de plus en plus par les décideurs. Assistance pour améliorer l’efficacité de la collecte et l’analyse des données Études spéciales As 39

Stratégie d’Intervention DDU- Matrice de l’Offre et de la Demande Offre de données Demande de données et Utilisation de l’ Information Renforcée Faible Nigéria, secteur éducation: Les données sur les écoles et les étudiants sont pauvres ou non existantes et le Ministère Fédéral de l’Éducation n’utilise pas le peu d’information qui existe. Mozambique, VIH/SIDA: Les estimations de la prévalence et projections d’impact du VIH sont régulièrement collectées et largement diffusées mais pas utilisées pour guider l’allocation des ressources Nigeria, VIH/SIDA: Les données de surveillance sentinelle existent mais les informations de routine sur la santé et les patients manquent. La demande d’ informations est grande et le Comité d’Action Nationale sur le HIV/SIDA utilise n’importe quelles données à sa disposition pour faire le plaidoyer et suivre les activités. Afrique du Sud: Le Système d’Information Sanitaire est établi dans tous les districts et adapté pour répondre aux différents besoins en information au niveau local Egypte: Les données sont collectées régulièrement à travers des enquêtes et le système d’information sanitaire de routine et sont utilisées par le MPS. The DDIU process begins by developing a DDIU strategy and identifying supporting interventions. The specific strategy used in a situation is, in large part, dependent on where the country falls in terms of data supply and data demand. This data supply and demand matrix demonstrates one technique for assessing the situation. In the education sector in Nigeria, for example, …. The focus needs to be placed on improving both data demand and supply. In Mozambique, …. The data supply is improving, but data demand is not. Therefore, the DDIU intervention would focus on increasing data demand. In the Nigeria HIV/AIDS program,…. In this case, the DDIU strategy would focus on increasing the supply of data and information. The final quadrant shows example where both data supply and demand are improving. Once the current situation has been assessed, the next step is to identify the specific point of entry for DDIU. Adapted from C. Scott, “Measuring Up to the Measurement Problem: The role of statistics in evidence based policy-making”. Prepared for Paris 21, 2005. 40

Plan d’Utilisation des données Action décision Questions Politique ou programmatiques Décideurs et parties prenantes concernés Indicateurs / Données nécessaires Source de données Date proposée pour l’action/ Echéancier 41

Communication des données

La communication de données comprend le « Feedback » Pourquoi insister sur un système de feedback? Maintenir l’intérêt et le sentiment d’inclusion des parties prenantes en S&E; Valider le budget et les résultats en S&E; Motiver les partenaires et agents de collecte pour un recueil de données amélioré; Augmenter l’ensemble des connaissances collectives; Le feedback doit être systématique pour être efficace

Pourquoi les données sont-elles difficiles à communiquer?(1) Les questions techniques sont importantes mais parfois ennuyeuses; Les preneurs de décisions sont très occupés et parfois distraits…. Les administrateurs de programmes semblent avoir une vision étroite des choses;

Pourquoi les données sont-elles difficiles à communiquer? (2) Les personnes chargées de la mise en place des programmes sont trop occupées; Les aptitudes de communication des techniciens des données peuvent laisser à désirer; Les aptitudes en analyse des données des communicateurs peuvent laisser à désirer;

Communiquer les données Le personnel de S&E doit pouvoir communiquer avec les administrateurs et réalisateurs des programmes afin de: Expliquer les indicateurs conception interprétation signification des changements de valeurs Expliquer les données processus de rassemblement processus de calcul Qualité Formuler des conclusions et recommandations

Principaux éléments à considérer pour une communication efficace Connaissance de l’audience: parties prenantes (attentes et exigences); Données pertinentes et fiables (assurance qualité); Données bien organisées; Objectifs de communication clairs; Stratégie de communication adaptée à l’audience.

Connaissance de l’audience Trois cibles possibles dans l’audience: Primaire: qui peut influencer directement les politiques Secondaire: qui peut influencer les décideurs Opposition: qui peut être un obstacle

Données pertinentes et fiables: assurance qualité Les données sont actuelles et valides; Les sources sont adéquates; elles sont larges et complétées si nécessaires. Les échantillons, protocoles et méthodologies utilisés sont établis de façon standard.

Données bien organisées Présenter les données selon l’audience en tenant compte : Intérêt, motivation, besoins en information Capacité de compréhension et d’analyse Temps d’écoute Etre orientées vers les centres d’intérêts: intrants, processus, extrants, résultats et impact Etre orientées vers l’action; Présentation des données (graphiques, figure, photo…)

Stratégie de communication adaptée à l’audience Choisir le format: écrit, oral Selon le contexte; Canaux de communication appropriés: rapport technique détaillé, revue, séminaire, publication, débat public…

Étapes vers des Solutions Connaître son public; Identifier des données qui sont pertinentes et fiables; Utilisez des stratégies adaptées pour communiquer les données aux décideurs.

Conclusion La prise de décision doit s’inscrire dans le cadre d’un processus organisationnel collectif en utilisant au mieux l’information stratégique.

M E R C I