SUIVI ET EVALUATION DES RESULTATS MODULE 7

Plan du module Considérations générales Evaluation de la quantité Evaluation de la qualité

Objectifs d’apprentissage Objectif général du module: Orienter les participants dans le suivi et l’évaluation des activités dans un contexte de financement basé sur les résultats  Objectifs spécifiques : A la fin de la présentation les participants seront en mesure de: Maitriser la méthodologie de suivi des activités des structures de santé bénéficiaires du FBR Apprécier le niveau de performance des structures de santé et du personnel de santé dans un contexte FBR

Considérations générales 1/3 Tout dispositif FBR a besoin de recourir à des instruments pour mesurer la performance des services de santé La mesure de cette performance est complexe car doit prendre en compte les multiples facettes de l'action des prestataires de services de santé Ne pas multiplier le nombre d’indicateurs car collecte trop lourde et coûteuse, grande difficulté d'interprétation

Considérations générales 2/3 Ecart entre la performance réelle et attendue, mesurée avec des indicateurs Etat attendu Stratégies d’amélioration de la performance Etat actuel

Considérations générales 3/3 La mesure et le contrôle de la performance porte sur : les résultats réalisés par les prestataires de services de santé (aspect quantitatif) et sur les caractéristiques du produit ou le processus de production (aspect qualitatif); les aspects de planification, d’organisation, de gestion dans un contexte de ressources limitées.

Vérification de la quantité Objectif : s’assurer que les prestations à subventionner ont été réellement effectuées. Contenu : consiste à vérifier tous les registres d’utilisation des services (des indicateurs subventionnés) de la FS contractante, ce qui permet la réduction des risques de falsification des données. Le responsable de la FS a l’obligation de remplir et de transmettre à l’acheteur une copie de leur facture mensuelle.

Vérification de la quantité Mesure Contrôle Quand ? Par qui ? Indicateurs quantitatifs (18) 1X/mois Equipes des formations sanitaires Contrôle de cohérence : EEZS et “contrôleurs de zone” 1X/trimestre Contre-vérification : organisations à base communautaire.

Vérification de la quantité 1° Méthode de mesure des indicateurs quantitatifs: Rapports mensuels des formations sanitaires produits par leurs propres équipes 2° Méthode de contrôle et de contre-vérification des indicateurs quantitatifs: -Contrôle par EEZS et les contrôleurs de zone : contrôle de cohérence entre les résultats reportés et les registres des établissements. 9

Vérification de la quantité Contrôle par les organisations communautaires : Enquête à domicile des patients (ces patients auront été sélectionnés aléatoirement à partir de la liste des patients mentionnés dans les registres de l’établissement) -Contrôle de la carte biométrique des patientes pauvres Une fois le nouveau processus d’identification des pauvres en place, à travers la composante 2 10

FICHE DE VERIFICATION DES HOPITAUX Indicateurs Q Déclarée Q validée Barème Unitaire Montant Observations* *: expliciter les écarts Nom, Prénoms et signature des évaluateurs Nom, Prénoms et signature du MCH ou du Directeur Points forts Points à améliorer Recommandations

Vérification de la quantité Exemple de résultats quantitatifs trimestriels (centre de santé primaire) Vérification de la quantité Exemple de résultats quantitatifs trimestriels (centre de santé primaire) Résultat FBR Nombre produit par trimestre Subvention FBR (en FCFA) Crédit FBR avant ajustement par la qualité (en FCFA SERVICES DE SANTE MATERNELLE 1. Consultation prénatale quatrième visite standard 70 3 000 210 000 2. Consultation prénatale quatrième visite standard femme indigente (prime additionnelle) 15 45 000 3. Accouchement eutocique assisté 65 7 500 487 500 4. Accouchement eutocique assisté femme indigente (prime additionnelle) 12 6 000 72 000 5. Consultation postnatale 63 1 500 94 500 6. PF: Tot. Nouveaux + Anciennes Acceptantes à la fin du mois 120 180 000 TOTAL  

Evaluation de la qualité Mesure Contrôle Quand ? Par qui ? Indicateurs qualitatifs (check-lists) 1X/trimestre Pour les CS : EEZS et « contrôleurs de zone » Pour les hôpitaux : revue par les pairs et « contrôleurs de zone » 1X/semestre (échantillon aléatoire et enquête surprise) Contre-vérification ; organisations à base communautaire et « contrôleurs de zone »

Vérification de la qualité 1° Méthode de mesure des indicateurs qualitatifs: Observation Contrôle de la fonctionnalité Vérification documentaire Analyse documentaire avec tirage aléatoire Contrôle des stocks et registres Vérification des qualifications sur déclaration du responsable du service. 14

Vérification de la qualité 2° Méthode de contrôle et de contre-vérification des indicateurs qualitatifs: Observation et contrôle de la fonctionnalité par visite surprise Vérification documentaire par visite surprise Analyse documentaire avec tirage aléatoire Enquête des patientes sortantes Contrôle des stocks par visite surprise Contrôle de connaissances et compétences 15

Evaluation de la qualité Exemple de l’évaluation de la qualité au niveau CS au Tchad Composantes Nbre de critères Points max Activités générales 5 70 Suivi-évaluation /SIS 4 80 Hygiène, environnement et stérilisation 7 60 Consultation externe et observation 3 Maternité 100 Consultation prénatale 10 Bien être familial 6 Vaccination et suivi du nourrisson 12 Lutte contre la tuberculose et la lèpre 50 Petite chirurgie Gestion des médicaments 8 120 Gestion financière 9 TOTAL 77 1.000

Evaluation de la qualité Exemple de l’évaluation de la qualité au niveau CS au Benin ACTIVITÉ EVALUEE Points Disponibles Points obtenus 1. Activités générales 300 2. Suivi évaluation/SIS 195 3. Hygiène, Environnement et Stérilisation 220 4. Consultation externe et Hospitalisation 350 5. Maternité 235 6. Consultation Prénatale 150 7. Planning familial 110 8. Vaccination et suivi des nourrissons 130 9. Lutte contre le VIH/SIDA 270 10. Tuberculose et Lèpre 11. Laboratoire 71 12. Petite chirurgie 53 13. Gestion des Médicaments 205 14. Gestion financière 200 TOTAL 2 639 Note Qualité   17 17

Presentation et discussion de la grille de qualite des CS et hôpitaux ..\..\..\grilles qualité CS et hôpital Benin.doc

Conclusion La mise en œuvre des expériences FBR doit être considérée comme un processus évolutif et il n’existe pas de modèle idéal ou immuable La survenue d’imprévus, d’effets pervers ou un nouvel apprentissage peuvent induire une recomposition du modèle existant (changements indicateurs, cibles, scores, primes) Cela justifie la nécessité de suivre et d’évaluer l’évolution des expériences FBR en cours de mise en œuvre Le suivi et évaluation dans le processus FBR devra aussi s’appesantir sur les conséquences négatives induites, les effets pervers de même que les prestations non subventionnées.