Suivi et Évaluation de la Performance d ’un Système Logistique Partie 2: Indicateurs des Résultats Logistiques Note au formateur: Distribuer le polycopié # 3, diapositives PowerPoint de la 2eme partie aux participants avant de commencer la présentation. Après avoir appris quelques concepts de base de la logistique, nous allons maintenant voir les indicateurs utilisés pour évaluer et surveiller la performance d ’un système logistique. Avant de parler d ’indicateurs spécifiques, posons nous la question à savoir pourquoi devons nous évaluer et surveiller la performance d ’un système logistique.Vous avez parlé d ’évaluation et surveillance pendant plusieurs jours. Pourquoi à votre avis devons nous évaluer et surveiller un système logistique, d ’après ce que vous venez d ’apprendre sur un système logistique qui fonctionne bien? Note au formateur: recueillir quelques réponses des participants.

Amélioration du Programme Pourquoi effectuer le suivi et l ’évaluation des résultats d ’un système logistique? Amélioration du Programme Décision prises à partir de faits et de données pour l’amélioration de la performance Responsabilité; Sensibilisation / mobilisation des ressources. Il y a plusieurs raisons pour surveiller et évaluer un système logistique, et elles sont pratiquement les mêmes que celles que vous avez déjà vues pour les éléments des autres programmes. La plupart des raisons auxquelles vous pouvez penser se classe dans l ’une des trois catégories suivantes: Premièrement et surtout, les informations collectées à travers la surveillance et l ’évaluation peuvent décrire la performance courante(actuelle) du système logistique et dégager les points en besoin d ’amélioration. La surveillance et l ’évaluation permettent aussi de rendre compte aux bailleurs de fonds, gouvernement du pays d ’accueil et autres organisations qui fournissent les ressources nécessaires. En particulier, les bailleurs veulent savoir l ’impact de leur investissement sur le système, par rapport à l ’atteinte des objectifs du programme. Finalement et par rapport aux deux premiers points, les informations collectées à travers la S & E, soulignant les lacunes à combler ou les réussites du programme, permettent de plaider pour plus de support, y compris financier, et de mieux cibler les points de faiblesse dans l’utilisation des ressources.

Commencer par les objectifs du programme Comme toutes les composantes d’un programme de santé, le suivi et l ’évaluation des systèmes logistiques dépendent d’objectifs clairs et de ce qui est attendu au départ. Avant de sélectionner les indicateurs a utiliser pour la surveillance et l’évaluation d ’un système logistique, nous devons avant tout articuler les objectifs du système. Comme pour toute autre composante d ’un programme de santé, la surveillance et évaluation des systèmes logistiques reposent sur de clairs objectifs et attentes des le début. Vous devez tous être en mesure de me donner les objectifs d ’un système logistique. Un volontaire?

Les objectifs de base : Les 6 bons Les bons produits En bonne quantité En bonne condition Au bon endroit Au bon moment Au bon coût. Ce sont les six bons! Aussi, est très acceptable tout ce qui va dans le sens d’ « augmenter la disponibilité des produits aux sites ou les clients en ont besoin » ou améliorer n ’importe quel aspect du cycle logistique (exemple: prévision, acquisition et livraison des produits aux sites ou les clients en ont besoin.

Exercices en petits groupes En utilisant les 6 bons, développer un indicateur de performance pour chaque “bon” pour le suivi de la performance d ’un système logistique. Faisons une petite activité en utilisant les 6 bons Note au formateur : Diviser les participants en petits groupes d ’a peu près 3-4 personnes. Dans vos petits groupes de travail, développez un indicateur de performance pour chaque « bon »pour surveiller la performance d ’un système logistique. Écrivez vos réponses sur un bout de papier a présenter a la fin de l ’exercice. Rappelez-vous que les indicateurs Doivent être bases sur des objectifs du projet/programme Doivent être valides, fiables et appropries aux interventions planifiées Doivent être lies aux « six bons » ou s ’étendre sur les autres composantes du cycle logistique Vous aurez a peu près 20 minutes pour faire cette activité. Si vous finissez tôt, vous pouvez développer d ’autres indicateurs pour n ’importe lequel des « bons ». Note au formateur:Après 20 min. arrêter et écrire au tableau les réponses des participants sous chacun des bons. Discutez si les réponses sont appropriées.

Indicateurs logistiques principaux Qualité des données du SIGL; Justesse des prévisions; Existence d’un plan d ’approvisionnement adéquat; Engagement des acteurs clés sur le plan d ’approvisionnement; Conditions d’entreposage; Taux de satisfaction des commandes; Fréquence des ruptures de stock; État du stock suffisant. DELIVER a développé une série de «principaux indicateurs »qui peuvent être utilises pour la surveillance/évaluation de plusieurs types d ’intervention en logistique. Ceux-ci sont plutôt bases sur les composantes du cycle logistique, que sur les six bons.Cependant, il y a beaucoup de chevauchements. Note au formateur: Relier les réponses des participants dans l ’exercice de groupe aux indicateurs sur la diapositive. Comme vous pouvez le voir sur votre travail, il y a beaucoup d’indicateurs qui peuvent être utilises, et ils ne sont pas cites ici. En choisissant des indicateurs, nous devons aussi considérer la faisabilité et le coût de la collecte des informations se rapportant a l ’indicateur et c’est pour cela, que nous choisissons certains par rapport a d ’autres. Ceux-ci sont juste les noms des principaux indicateurs. Nous allons maintenant voir chacun d ’eux en détail dans cette section, et vous verrez que sous chaque entête, il y a en fait plusieurs indicateurs spécifiques qui mesure le concept de différentes façons. La plupart des indicateurs sur cette liste sont de nature quantitative, mais je décrirai quelques indicateurs qualitatifs plus tard.

Indicateurs logistiques principaux Qualité des données du SIGL Pour chaque produit d’intérêt: Taux moyen des différences constatées entre les données des fiches de stock et celles relevées lors du comptage physique du stock; Taux moyen des différences entre les données des rapports SIGL et celles des fiches de stock; % de centres utilisant des fiches de stock à jour (dans les limites déterminées d ’une marge d ’erreur); % de centres produisant des rapports SIGL précis (dans les limites déterminées d’avance d ’une marge d ’erreur); % de centres ayant présenté leurs rapports SIGL pour une période X. Le premier indicateur mesure la qualité des données du système d ’information de la gestion logistique (SIGL). Vous vous rappelez de la discussion sur le cycle logistique, que l ’information gérée a travers le SIGL, est le moteur qui pilote un bon système logistique. Dons cet indicateur est très important, et plusieurs différents indicateurs spécifiques peuvent être utilises pour avoir une image complète. Les 5 premières mesures montrées sont mesurées séparément pour chaque produit intéressant au programme(ex:condoms, médicaments IST, ARVx, les kits de Test VIH, etc…). -le premier indicateur compare la quantité de produit disponible selon les cartes de stocks, avec la quantité observée au compte de l ’inventaire physique, le jour de visite (la moyenne pour tous les locaux visités; ceci mesure l’exactitude de la gestion ou de l ’enregistrement des cartes de stock) -le 2nd compare la quantité de produit selon les données enregistres sur stock, a celle rapportée dans le plus récent rapport du SIGL, au moment ou le rapport du SIGL a été fait (moyenne pour toutes tous les locaux visités; ceci mesure l ’exactitude dans l ’écriture du rapport) -le 2 indicateurs suivants mesurent pratiquement les mêmes informations que les 2 premiers, mais présentés en % de locaux avec des enregistrements exactes (le niveau d ’exactitude a déterminer par le programme) -Le 5eme indicateur s ’adresse plutôt au taux de rapportage. Un bon approvisionnement n ’est possible que si les décideurs ont des données exactes a temps, de tous les sites. -Finalement, les 2 derniers indicateurs mesurent la même information que les 4 premiers, mais fais la moyenne de tous les produits intéressés et tous les sites visites. A l ’exception du taux de rapportage, tous ces indicateurs sont mesurés a travers une enquête locale (dans les structures). La seule façon de savoir si les données du SIGL sont assez exactes pour prendre de bonne décisions d ’approvisionnement, est de visiter un échantillon de locaux et comparer l ’inventaire physique aux cartes de stocks et données de rapports.Les taux de rapportage sont censés être disponibles dans les dossiers, a tous les niveaux du programme.

Indicateurs logistiques principaux Pour tous les produits: Taux moyen des différences constatées entre les données des fiches de stock et celles relevées lors du comptage physique du stock (moyenne pour tous les produits); Taux moyen des différences entre les données des rapports SIGL et celles des fiches de stock (moyenne pour tous les produits).

Indicateurs logistiques principaux Justesse des prévisions / Écarts Pour chaque produit d’intérêt : % représentant la différence entre la consommation prévue et la consommation réelle, pour une période donnée. Moyenne des pourcentages d ’erreur : % moyen de la différence entre la consommation prévue et la consommation réelle pour un produit X, au cours de plusieurs périodes de temps Pour tous les produits: Moyenne des pourcentages d ’erreur : % moyen de la différence entre la consommation prévue et la consommation réelle pour un mélange de produits. Une fois de bonnes informations sur la consommation d ’un produit sont obtenues a partir du SIGL, et qu ’une décision de distribution appropriée est prise, vous pouvez procéder a la prévision de la quantité de produit a commander pour le futur. Ces indicateurs aident les gérants à savoir combien précises leur prévisions sont et leur permettent de savoir où il y a besoin d ’améliorer. Typiquement, ils seraient tous mesurés en utilisant les statistiques du niveau central, cependant dans un système par réquisition(Pull) où par nature, les locaux « prévoient »leur besoins futurs immédiats, ils peuvent être utilises a plusieurs niveaux. -Le premier mesure la précision (ou inversement l ’écart) de la prévision d ’un produit pour une période de temps donnée (typiquement 1 an si applique au niveau central). -Le 2nd applique un paramètre bien connu sous le nom de MAPE ( le médian des moyennes de pourcentage d ’erreur) pour multiplier la prévision d ’un seul produit pour une période de temps. Un exemple pourrait être la moyenne des précisions des précisions du produit X pour une période donnée. Chacune de ces mesures sert un propos sensiblement différent l ’un de l ’autre et peut être applique de façon appropriée, selon l ’intérêt de l ’utilisateur de l ’information.

Indicateurs logistiques principaux Planification des Acquisitions Pour chaque produit d’intérêt : Existence d ’un programme pluri-annuel assurant des stocks suffisants (entre min et max) pour trois ans Comme alternative: % des lots de produits arrivant à temps et avec la quantité correcte Note: ceci serait probablement mesuré à travers un exercice de type TAC, mais nous ne l’avons mesuré nulle part.C ’est facile a comprendre, donc lisez juste et ne perdez pas beaucoup de temps dessus.

Indicateurs logistiques principaux Engagement des acteurs clés Pour chaque produit d’intérêt : Engagement écrit des acteurs clés sur le plan d’approvisionnement des produits Note: Similar to last slide, we haven’t really endeavored to measure this one. It basically means a letter signed off by stakeholders at the time of a CPT-type exercise confirming their commitment to supply required amounts of products in the future.

Indicateurs logistiques principaux Conditions d’entreposage % de centres (région et PPS) satisfaisant à toutes les conditions d ’entreposage % de centres satisfaisant à une partie des conditions d ’entreposage Moyenne du nombre de conditions d ’entreposage réunies (de tous les centres visités) Ces indicateurs mesurent la capacité des locaux a correctement entreposer les produits, de sorte qu ’ils restent de qualité jusqu ’au moment de les donner aux clients. DELIVER a développé 13 règles générales d ’entreposage pour tout local et 5 additionnels spécifiques aux grands magasins, que nous considérons nécessaires pour au maintien de la qualité des produits de santé. Les indicateurs sont mesures a travers une enquête dans les locaux, où un observateur averti détermine si chaque condition est remplie ou non. Ces 2 indicateurs mesurent juste l’observation de façon sensiblement différente. Le premier mesure le % de locaux qui remplissent chaque condition prise séparément; le 2nd mesure le % de locaux qui remplissent au moins X% du panier de conditions; et le 3ème mesure le nombre moyen de conditions remplies par tous les sites. Vous recevrez un manuel dans la partie suivante de cette session, qui contient la liste des conditions à évaluer. Il est important de noter que si les conditions sont suffisamment généralisées pour couvrir la plupart des produits de santé, ils ne sont pas spécifiquement conçus for les produits VIH/SIDA. Pour ceux d ’entre vous qui voudraient utiliser cette liste pour évaluer les conditions d ’entreposage des produits VIH/SIDA, il serait utile de revoir la liste pour vous assurer que les conditions spéciales d ’entreposage des produits VIH/SIDA sont satisfaites (Ex: haut niveau de sécurité pour les articles coûteux tels que les ARVs; l ’exigence de la chaîne du froid pour quelques kits de test).

Indicateurs logistiques principaux Taux de satisfaction des commandes % de centres recevant la quantité de produits commandée et dans les délais prévus (c’est possible pour ces indicateurs d’être différents) Délai de livraison Durée moyenne entre la date à laquelle une commande a été passée et la date à laquelle elle a été reçue Le taux de satisfaction des commandes est l ’un des principaux indicateurs utilisés par le secteur privé pour évaluer la performance de leur chaîne d ’approvisionnement.Il veut dire en fait, le % de commandes satisfaites avec précision et dans un intervalle de temps raisonnable à partir du moment ou la commande a été placée ( précision et ponctualité peuvent être mesurées séparément, si on le désire) Ceci peut être mesuré du point de vue des locaux receveurs ou de celui des locaux émetteurs. -dans le dernier cas,le dernier il mesurerait collectivement le pourcentage de commandes placées par un échantillon de locaux, qui sont adéquatement satisfaites par le niveau supérieur traitant les commandes et émettant les produits (Ex:parmi 100 locaux visités dans le cadre d ’une évaluation d ’un système logistique, quel % avaient leur plus récente commande adéquatement satisfaite). -Si le taux de satisfaction de commande est mesuré du point de vue d’un magasin émetteur, alors il mesure le % de toutes les commandes reçues par le magasin pendant un intervalle de temps, qui sont traitées et satisfaites par l ’émission de la bonne quantité de produits (Ex: Si le magasin X reçoit 20 commandes venant de différents locaux dans le 1er trimestre de 2003, quel % était traité et satisfait à temps et avec les bonnes quantités). Dans chaque cas, les utilisateurs de l ’information doivent décider du repère à utiliser pour définir <<à temps ou la ponctualité >> et <<la bonne quantité>> (100% précise? A10% près?). Le délai de livraison, comme explique plus tôt, mesure le temps moyen entre le lancement d ’une commande et la réception du produit commandé.

Indicateurs logistiques principaux Ruptures de stock / disponibilité des produits Pour chaque produit d’intérêt : % de centres ayant connu une rupture de stock (ou ayant les produits disponible) le jour de la visite % de centres (région et PPS) ayant enregistré une rupture de stock au cours des 6 derniers mois % de centres présentant des stocks complets (tous les produits) le jour de la visite Durée moyenne des ruptures de stock Nombre moyen de produits en rupture de stock / en stock le jour de la visite. S ’assurer que les produits sont disponibles pour les clients, est le but ultime de tout système logistique. De ce fait, les indicateurs de disponibilité de produits (ou inversement de rupture de stock si les produits ne sont pas disponibles) sont probablement les plus importantes mesures du bon ou mal fonctionnement du système logistique.Tous les indicateurs sus-mentionnés, mesurent les conditions qui selon notre hypothèse, sont nécessaires a la chaîne d ’approvisionnement, pour que les produits arrivent aux sites où les clients peuvent les avoir. Cependant, ceux qui sont sur les 2 prochaines diapositives, mesurent si oui ou non les objectifs du système logistique sont atteints. Expliquer le concept de base de chaque indicateur: -Rupture de stock (ou disponibilité de produit) le jour de la visite est plus fiable et facile a mesurer. -Les 6 derniers mois sont importants pour montrer la disponibilité dans le temps (par ex:, si ils ont une quantité adéquate de produit le jour de la visite, ils peuvent avoir juste reçu une livraison) -Le 3ème mesure le % de locaux ayant tous les produits d ’intérêt en stock, le jour de la visite. -La durée de la rupture de stock est aussi importante pour montrer la sévérité -Le dernier donne un sens diffus de la rupture de stock et la relative disponibilité d ’un panier de produits en moyenne (c ’est la nombre moyen de produits disponible ou en rupture de stock dans tous les sites visités). Tous sont importants et beaucoup sont simplement différents façons de présenter la même information. Ils peuvent être mesures a travers une enquête locale ou directement du SIGL, si l système a des données précises avec un taux de rapportage adéquat.

Indicateurs logistiques principaux Niveaux de stock satisfaisants Pour chaque produit d’intérêt: % de centres (région et PPS) où les niveaux de stock sont entre Min et Max (déterminer si une nouvelle commande a été passée lorsque les stocks ont atteint leur niveau minimum, et dans le temps) Ce matin, nous avons parle de l ’état des stocks surtout de l ’importance de garder le niveaux de stocks (mesures en mois de stocks disponible) entre les niveaux minimum et maximum. C ’est vraiment intuitif que garder les niveaux de stocks au dessus du minimum aide à prévenir les ruptures de stocks et assure la disponibilité des produits. Il est aussi important cependant, de ne pas avoir trop de produits, car le surstockage peut aboutir a une péremption et a un gaspillage. Donc, cet indicateur mesure non seulement a quel point les locaux sont pourvus en stock disponible, mais aussi si les niveaux de stock sont adéquats pour assurer une disponibilité a moyen-terme. Il est utile d ’utiliser cet indicateur de pair avec les indicateurs de rupture de stock--simplement savoir si les produits sont disponibles n ’est pas aussi utile que de savoir si les quantités sont adéquates. Cet indicateur ne peut être utilisé que dans les systèmes qui utilisent un système min/max. et ou les données de consommation sont disponibles(requises pour le calcul de nombre de mois de stock disponible). Il peut concrètement être directement mesure a partir du SIGL, mais devrait plus probablement être mesure a travers les enquêtes locales. Si le système fournit assez d ’information pour mesurer cet indicateur, c ’est probablement le plus instructif et potentiellement le plus utile de tous ceux déjà montrés, du moins en terme de connaître les résultats du système.

Indicateurs logistiques principaux % moyen des réponses positives dans les domaines suivants : Organisation; SIGL; Sélection des produits; Prévisions; Acquisition; Gestion de stock; Entreposage / stockage; Transport / distribution; Support organisationnel; Utilisation des produits; Finance. DELIVER a aussi développé un instrument de diagnostic qualitatif (décrit dans la partie suivante de cette présentation) qui donne aux logisticiens et aux gestionnaires de programmes une vue d ’ensemble des composantes du système logistique. L ’instrument contient une série de questions a majorité qualitative; pour chacun des sujets déjà vu, il illustre les caractéristiques, les forces et les faiblesses d ’un système. Chaque section peut être notée (attribuée une valeur ou un score) et la valeur de ces notes peut être utilisée comme indicateur de performance des sujets evalués dans le temps. Il est important de noter que vu la nature des questions et le degré de subjectivité des réponses, il n ’est pas approprié de comparer le score d ’un pays a celui d ’un autre, ou même une composante logistique a une autre (quelques sections marquent des scores élevés plus facilement que d ’autres). Cet Instrument est appelé l’Outil d ’Évaluation du System Logistique (OESL). Il sera décrit plus tard, au cours de la session suivante.