Outils pour le Suivi et la Supervision des Systèmes Logistiques Welcome participants to this session. Séminaire Technique de Préparation des Consultants pour les Programmes VIH, TB et Paludisme Dakar 6-9 Mars 2006 Aoua Diarra

Objectifs et Outils d’Evaluation Fournir aux différents intervenants les informations sur les caractéristiques et la performance des systèmes logistiques Outils d’évaluation et de suivi préparés par JSI/DELIVER: Outil d’Evaluation du Système Logistique (OESL) Outil d’Evaluation des Indicateurs Logistiques (OEIL ) Outil d’Evaluation des Services de Laboratoire (ATLAS) Objectives of the assessment This assessment will provide the FHA project and other stakeholders in the above mentioned four countries with information on the characteristics and the performance (strengths and weaknesses) of the system, and its ability to contribute to the availability of information and STI commodities at all levels of the system. The results will provide information for planning interventions that address problem areas and will provide baseline data, allowing FHA project to monitor progress over time in order to adjust strategies as appropriate

OUTIL D’EVALUATION DU SYSTÈME LOGISTIQUE (OESL)

OESL qu’est ce que c’est? Un des outils d’évaluation du projet DELIVER de John Snow, Inc. Utilisé pour l’évaluation qualitative périodique du système logistique à inclure dans le processus de planification des programmes. Permet de mesurer la performance du système logistique d’un programme sanitaire donné Instrument de diagnostic et de suivi L’information collectée est analysée pour identifier les forces et les faiblesses du système et partant de là proposer les interventions appropriées.

BUT de l’OESL Contrôler les performances du système Diagnostiquer les domaines qui nécessitent des améliorations Sensibiliser l’ensemble des partenaires aux performances du système Aider à la planification du travail grâce aux résultats de l’analyse

Méthodologie de l’évaluation (OESL) Discussions de groupes Ministères, Agences de coopération, Intervenants, participants Interviews des partenaires-clés (programme national SIDA, Centrale d’achat, Directeurs des services de santé, Médecins-chefs des structures sanitaires, gérants des magasins) Critères de sélection des sites à visiter: emplacement, niveau, distance Three methods were used to carry out these assessments: Group discussion: Took place the first and last days. All levels of the system were represented. Participants included Director of pharmacy and drugs,, Dierctor of Health Services, Director of Infectious Diseases; CPU Directors, CA s ??, District and Health centers representatives were also present. Key Informant interview:(some in the capital/some in the field) Key people in STI and drug management were interviewed. National AIDS Commission Managers, CPU and Warehouses Managers, Districts Management Committee members, FHA consultants The criteria we used to selelct sites included: -the location: because we wanted to have urban and rural sites -the level: because we wanted to visit facilities at each level;(central, intermediate, lower) -FHA sites: the FHA project is technically assisting some sites in Infections prevention, we decided to included those sites; -and finally the distance: because of the limited time, it was not practical to visit sites for which we had to travel for more than a day, considering USAID ’s policy not recommending travelling at night

Eléments de l’OESL Voir Manuel ou CD

Feuille de Score QUESTIONS PAR ELEMENTS DE L’OUTIL REPONSES AUX QUESTIONS SCORE SCORE MAXIMUM Organizational context Does the national level have a logistics management unit? xYes qNo qN/A 1 Is the logistics management unit fully responsible for the following activities: a. managing and using the logistics management information system? 0.22 b. forecasting quantities needed? qYes xNo qN/A c. procurement? d. inventory management, storage, and distribution? TOTAL 1.44 1.88 SCORE FOR THE SECTION 77% 100% Score for the section = total score/maximum total score* × 100

OUTIL D’EVALUATION DES INDICATEURS LOGISTIQUE (OEIL)

But de l’OEIL L’OEIL est: Un instrument de collecte de données quantitatives, développé par DELIVER, est utilisé au niveau des structures sanitaires évaluer la performance du système logistique des produits de santé et leur disponibilité peut être utilisé pour contrôler la performance, dans le temps, de certains procédés utilisés dans la gestion logistique des produits de santé et pour évaluer certains résultats de programmes peut être aussi utilisé pour la supervision, le contrôle de performance et le suivi de la disponibilité des produits.

Indicateurs mesurés avec l’O.E.I.L Pourcentage de centres dont les niveaux de stock garantissent une disponibilité des produits à court terme (état du stock). Pourcentage de centres ayant connu une rupture de stock, à n’importe quel moment pendant une période de temps donnée ou lors de la visite. Pertinence des données logistiques pour la gestion de stock. Différence, exprimée en pourcentage, entre les prévisions de consommation et la consommation effective (précision de la prévision). Pourcentage de commandes passées et satisfaites comme requis (taux de satisfaction de commande). Pourcentage de centres maintenant des conditions de stockage acceptables. Durée des ruptures de stock Pourcentage de centres connaissant actuellement des ruptures de stocks

Méthodologie de l’évaluation Identifier les objectifs de l’évaluation et développer un cadre de travail Recruter les membres de l’équipe d’évaluation Déterminer la taille de l’échantillon et sélectionner les centres à visiter Préparer les équipes d’évaluation Préparer, tester et finaliser l’outil Collecter les données Procéder à l’analyse des données. Présenter les résultats préliminaires, les conclusions et les recommandations de l’évaluation à tous les partenaires. Rédiger le rapport d’évaluation et le distribuer aux principaux partenaires

Eléments de l’OEIL Voir Manuel ou CD

OUTIL D’EVALUATION DES SERVICES DE LABORATOIRE (ATLAS)

Informations Générales Instrument de collecte de données développé par DELIVER pour évaluer les systèmes logistiques de laboratoire outil de diagnostic et de suivi utilisé pour une enquête de base ou comme partie d’un processus de planification Outil de sensibilisation: Fournit aux décideurs et autres intervenants un aperçu général de la capacité des services de laboratoire et de la disponibilité des produits)

Informations Générales (2) 1er draft préparé en 2003-2004 Revision et adaptation en Uganda Utilisé en Août - Septembre 2004 pour évaluer 500 laboratoires dans 53 districts en Uganda (325 du MS et 175 ONG) Finalisatin en Mars 2005

Structure L’ATLAS contient Un guide d’utilisation Trois questionnaires: Niveau administratif central Niveau administratif intermédiaire (si applicable) Niveau Point de prestations (laboratoire).

Méthodologie de l’évaluation Trois méthodes sont recommandées pour la collecte des données : discussions de groupes, interviews des acteurs principaux et visites de terrain

Eléments de l’ATLAS Voir manuel ou CD

SUPERVISION La supervision est l’art de guider, d’instruire, d’encourager l’initiative du personnel, de faire des observations objectives. C’est l’ensemble des mesures visant à s’assurer que le personnel accomplit ses tâches avec efficacité et devient plus performant dans son travail.

BUT DE LA SUPERVISION Supervision diffère du suivi: suivi porte sur les activités du programme et peut se faire à distance. Supervision porte sur l’agent et demande un contact avec lui Vérifier qu’il y a communication et coordination entre les différents niveaux Assurer que les lignes d’orientation et procédures établies sont suivies Assurer que le personnel a les compétences et les connaissances nécessaires pour exécuter efficacement ses tâches Informer, orienter le personnel et corriger les erreurs

Activités à Mener au Cours de la Supervision Déterminer le niveau de performance actuelle de l’agent Identifier les écarts entre entre la performance actuelle et la performance souhaitée Identifier les barrières à l’exécution correcte des tâches (causes des lacunes/écarts) Corriger les imperfections et aider à résoudre les problèmes

Recommandations pour la distribution des produits (1) Intégrer le stockage et la distribution des ARVs et des tests VIH si possible et étudier la possibilité d’utiliser les services des courriers privés pour la distribution Mettre en place des mesures de sécurité particulières pour le stockage et le transport des produits mais assurer l’accès continu) Appliquer scrupuleusement le système de « Premier Périmé, Premier Sorti » et ne pas distribuer des produits sur le point d’être périmés Ne livrer les ARVs et tests VIH qu’aux sites autorisés Citer chaque recommandation et fournir les renseignements complémentaires.

Recommandations pour la distribution des produits (2) Revérifier la qualité des produits en cas de redistribution entre les points de prestations S’assurer que les produits qui sont utilisés en combinaison sont distribués ensemble Les ARV étant des produits très délicats, ils ne doivent pas être réemballer si possible Prévoir une chaîne de froid dans les points de stockage pour les produits qui l’exigent Séparer les produits endommagés et périmés du stock utilisables Citer chaque recommandation et fournir les renseignements complémentaires.

Recommandations (ARVs et Tests VIH) Réduire le nombre de niveaux dans le système de distribution. Utilisé le système maximum/minimum version « Commande Obligatoire » Utiliser un système de rapports et commandes mensuels. Pour un nouveau programme, incorporer graduellement les produits de « 2ème intention ». Mettre en place un système de retour des produits non utilisés pour la redistribution avant péremption. Shorter pipelines can positively influence the security and quality of the products being distributed. Fewer levels means fewer storage points and less transportation.Limiting the number of times products are transported reduces opportunities for damage to occur.

Recommandations (ARVs et Tests VIH) Soumettre les rapports en même temps que les commandes de produits. Limiter la quantité des données collectées. Dans le SIGL, ne collecter que les données qui seront utilisées pour la prise de décisions logistiques et de gestion des produits. Faire la collecte des données sur les quantités des produits distribuées aux clients et sur l’utilisation directe des tests VIH ; ne pas utiliser les chiffres des quantités distribuées aux centres. Eviter de changer les formulaires du SIGL selon les besoins des différents bailleurs de fonds ; Uniformiser le SIGL sur l’ensemble du système. Citer chaque recommandation et fournir les renseignements complémentaires.

Recommandations (ARVs) En plus des trois données logistiques essentielles, limiter les données sur les clients au nombre de clients par traitement. Utiliser ces données pour la prise de décisions. Si on fait la collecte des données sur le nombre de clients par traitement, fournir une fiche pour convertir le nombre de clients en quantités de produits nécessaire pour traiter ces clients. Utiliser une seule unité pour gérer chaque produit (comprimé, capsule, etc.). Utiliser deux systèmes parallèles pour la collecte des différentes données : un qui collecte les données pour la gestion des produits et un autre qui collecte les données pour la gestion du programme. Citer chaque recommandation et fournir les renseignements complémentaires.

Recommandations (Tests VIH et autres produits de labo) En plus des trois données logistiques essentielles, limiter les autres données collectées au nombre de tests par utilisation. Utiliser ces données pour la prise de décisions. Utiliser le test individuel comme unité. Imprimer les formulaires avec les différentes utilisations des tests (dépistage, confirmation, résolution) mais écrire à la main les marques des tests utilisés. Laissez des espaces pour ajouter d’autres noms de marques de tests utilisés. Citer chaque recommandation et fournir les renseignements complémentaires.