Study Design and EvaLuatIon of Performance-based Financing (PBF) in The Republic of the Congo Donald Shepard, Wu Zeng, Jean Rusatira, Aaron Beaston-Blaakman Workshop on PBF, Brazzaville, The Republic of the Congo December 20, 2011, Updated Dec. 30, 2011

Two arms (variable & fixed) design Dessin avec deux bras Two arms (variable & fixed) design Dessin avec deux bras (payement variable & fixe) Three departments Pool, Plateaux, Niari Operational health centers within the three departments randomized to be one of two PBF arms Implementing variable RBF (Arm 1: PBF arm) Implementing fixed RBF. Receiving the same funding as average RBF facilities (Arm 2: resource arm) Trois départements Pool, Plateaux, Niari Les centres des santé opérationnels seront attribués de façon aléatoire a l’une des 2 catégories suivantes: Intervention n°1 : payement variable. Structures avec subventions liées aux performances (catégorie 1) Intervention n°2 : payement fixe. Structures avec subventions non liées aux performances (catégorie 2)

Pre-post evaluation Health facility and household survey conducted before and after the implementation of RBF Health facility survey Randomly draw health facilities for evaluation Household survey Women of reproductive age (15- 44 years) Children under five Enquête des structures de santé et des ménages a mener avant et après la mise en place du RBF Structures de Santé Structures de sante choisies de façon aléatoire pour l’évaluation Ménages Femmes a l’age de reproduction (15- 44 ans) Enfants de moins de 5 ans

Health Facility Survey Enquêtes des structures de santé

Sample Size/Taille de l’échantillon There are approx 114 health facilities in the districts in the three departments On average, 57 health facilities per arm Randomly draw 28 health facilities/arm +114 structures sanitaires dans les 3 départements En moyenne , 57 structures de santé par catégorie (bras) De façon aléatoire 28 structures/catégorie

Evaluation indicators, 1 Incentivized services Preventive care Vaccinations Maternal health services Pre-post natal care Institutional delivery Family planning Prevention of HIV/AIDS (e.g. PMTCT and VCT) Health care of illnesses with great public health concerns HIV/AIDS services (e.g. ART) Testing and treatment of fever Treatment of respiratory infection (infections respiratoires superieures) Treatment of diarrhea Quality and management Timely reporting required indicators Accurate documentation and reporting Results-based financing (RBF) services Soins préventifs Vaccinations Santé maternelle Consultation Pré/Post natale Accouchements assistes Planification familiale Prévention VIH/SIDA (ex PTME and VCT) Soins de sante des maladies de grande envergure de sante publique: VIH/SIDA services (ex. ARV) Test et traitement de la fièvre Traitement des infections respiratoires (infections respiratoires supérieures) Traitement de la diarrhée Qualité et gestion Préparation et production a temps des rapport sur les indicateurs demandes Exactitude dans la documentation et rapportage.

Evaluation indicators, 2 Non-incentivized services Quality of curative care for adults (excluding pregnant women) Abdominal pain (douleurs abdominales) Utilization of curative care for adults Number of visits/capita Services sans RBF Qualité des soins curatives des adultes (exclus les femmes enceintes) douleurs abdominales Utilisation des soins de sante curatives des adultes Nombre des visites/capita

Data collection strategies/Strategies de la collection des données Abstracted from monthly facility report to the district CSS Obtained from district hospitals, complemented with health facility survey if data missing From 2011 Jan to date (Pre measurement) Données Exploitation des rapports mensuels des CSI soumis au CSS Obtenus des CSS et complétées des info 's de l’enquête des structures de santé en cas de besoin De Jan 2011 a ce jour (Pré-mesurage)

Household Survey/Equête des ménages

Evaluation indicators Preventive care Vaccinations Ownership and use of bed net Maternal health services Pre- and post-natal care Institutional delivery Family planning Prevention of HIV/AIDS (e.g. PMTCT and VCT) Health care of illnesses of public health importance Testing and treatment of fever (Tem) Treatment of respiratory infection (infections respiratoires superieures) Treatment of diarrhea Soins préventifs Vaccinations Possession et utilisation des moustiquaires Santé maternelle Consultation Pré/Post natale Accouchements assistes Planification familiale Prévention VIH/SIDA (ex PTME and VCT) Soins de sante pour les maladies de grande envergure de santé publique: VIH/SIDA services (ex. ARV) Test et traitement de la fièvre Traitement des infections respiratoires (infections respiratoires supérieures) Traitement de la diarrhée

Sample size/Taille de l’echantillon Simple random sample Number of pregnant women: 123/arm Number of children 24-59 months: 200/arm Number of children under 24 months: 250/arm Cluster sample (assuming design effect is 2) Number of pregnant women: 268/arm Number of children 24-59 months: 400/arm (643 households/arm) Number of children under 24 months: 500/arm (households/arm) Combining all three categories together, we would like to have household of 650 for the evaluation, using number of children < 2 Simple échantillonnage aléatoire Nombre de femmes enceintes: 123/catégorie (bras) Nombre d’enfants (24-59 mois): 200/catégorie Nombre d’enfants de < 24 mois: 250/catégorie Echantillonnage par grappe (supposant un effet de plan de 2) Nombre de femmes enceintes: 268/catégorie Nombre d’enfants de 24-59 mois: 400/catégorie (643 ménages/catégorie) Nombre d’enfants < 24 mois: 500/catégorie (ménage/arm) Combine toutes les 3 populations, nous voudrions avoir 650 ménages pour l’évaluation en utilisant le nombre d’enfants < 2 ans par catégorie

Sampling objectives/Objective de l’échantillonnage Every household in study area with young child should have approximately equal probability of selection Every sampled household can be linked to a study health center and its arm Relatively large number of clusters minimizes the design effect (effet du plan), improving the accuracy of the sample Chaque ménage ayant un enfant dans la zone d’ étude devrait avoir approximativement une probabilité égale de sélection Chaque ménage sélectionné pourrait être lié a un centre de sante faisant l’objet de l’étude et a sa catégorie Un nombre relativement grand de l’échantillon par grappe minimise l’effet du plan et ainsi assure l’exactitude de l’échantillon

Sampling strategy, 1 Data collected with questionnaire of short, objective questions based on World Bank survey for PBF in Rwanda Multi-level sampling: health centers, villages, households Department team leader asks the health center staff to list the villages in its catchment area. Department team leaders and field coordinator work with census and Planning Department to enumerate all villages under each health center with their estimated current populations.. Field coordinator determines number of villages to be sampled based on the average population per village, and randomly selects the villages. Données collectées avec un court questionnaire, questions objectives basées sur l’enquête de la Banque Mondiale pour le PBF au Rwanda Echantillonnage a multiple-niveaux: structures de sante, villages, ménages Les chefs de l'équipe demanderont aux responsables des CSI de dresser une liste des villages dans l’aire de sante Les chefs de l'équipe au niveau des départements et le coordonnateur travaillent avec le Département du Plan pour énumérer tous les villages sous chaque centre de sante. Le coordonnateur et les chefs de l'équipe détermineront le nombre des villages a sélectionner sur base de la moyenne de la population par village, et de façon aléatoire ils sélectionneront les villages

Sampling strategy, 2 Relais or head asked to make a list of households in their village with children under 2 Relais or head asked randomly sample 5 households with children under 2 using systematic sampling following specified procedures. Relais or head asked to alert mothers that an interviewer will come on specified date and requests their cooperation. Relais or village head each given small monetary incentive (e.g. 2000 F CFA) to cover travel and incidental expenses Interviewer surveys selected households on specified date. Relais/chef de village établira une liste des ménages ayant des enfants <2 ans dans leur villages Relais/Chef de village demandera de façon aléatoire 5 ménages ayant des enfants <2 ans en utilisant un échantillonnage systématique suivant les procédures spécifiées. Relai/Chef de village informera les mères de la date de la visite d’un enquêteur et demandera leur coopération Relai/Chef de village recevra un montant pour couvrir ses dépenses de transport et autres (ex 2.000 FCFA) La personne chargée de l’interview enquêtera les ménages sélectionnes a une date déterminée.

Post-measurement/Post mesurage If funding available, Same indicators will be collected one year after the implementation of RBF S’il y a disponibilité des fonds, Les mêmes indicateurs seront collectes une année après la mise en œuvre du RBF

Statistical analysis/Analyse statistique Baseline evaluation to assess the comparability of the three arms Difference-in-difference approach to examine the effect of PBF Adjusts for design effect and control for key covariates Evaluation de base pour déterminer la comparabilité des trois catégories Approche de différence des différence pour examiner l’effet du RBF Ajuster l’effet du plan et contrôler les covariantes clés

Monitoring of implementation

Indicators for monitoring implementation, 1 Item Sample of 10 Indicators to be examined in evaluating ANSS (Purchasing Agent, CORDAID) Rusatira (activities in Brazzaville) Team leaders (activities in field) 1 Timeliness of Implementation of PBF Is the planned schedule of activities of ANSS appropriate 100% 0% Has the implementation of ANSS activities followed the plan How often and regularly are PBF payments made? 2 Method and Efficiency of Operation Has ANSS helped incentive health facilities to set up bank accounts to receive incentive payments? Do all intervention health facilities have bank accounts? How consistent is payment related to activity or PBF study arm for intervention groups? 50% 3 Verification and relability checking of data Has ANSS implented a thorough to verify the accuracy and appropriateness of supervisors' ratings? 25% 75% Has ANSS implented a thorough to train supervisors and peers to judge the quality of services? Has ANSS implented a thorough validation plan to ensure the accuracy of all quantitative data received? How reliable are reports from ANSS (Agence d'Achats de Services de Sante)? 4 Relationship with health facility managers How strong is the communication and regular communication between ANSS and facility managers?

Indicators for monitoring implementation, 2

Proposed EPOS Staffing Central level staff (3) Field supervisor (1) Department team leaders (3) Interviewers (3) Data entry staff (3) Personnel Niveau Central (3) Coordinateur base a Brazza (1) Chefs de l'équipe au niveau des départements (3) Enquêteurs (3) Personnel charges de la saisie des données (3)

Thank you / Merci Aaron Beaston-Blaakman [aaron.beaston-blaakman@epos.de] Donald Shepard [shepard@brandeis.edu] Wu Zeng [wuzengcn@brandeis.edu] Jean de Dieu Rusatira [Jean.Rusatira@epos.de]