Séminaire régional su le Suivi et Evaluation des programmes sida 8-18 Fevrier 2010, Dakar/Sénégal OUTIL D'ÉVALUATION DE LA QUALITE DES DONNEES DE ROUTINE (RDQA)

Objectifs du RDQA OBJECTIFS:   VÉRIFIER rapidement 1) la qualité des données rapportées pour les indicateurs principaux dans des sites choisis ; et 2) la capacité des systèmes de gestion des données de collecter, contrôler et rapporter des données de qualité   METTRE en oeuvre des mesures pour des plans d'action appropriés afin de renforcer la gestion des données et le système de transmission et améliorer la qualité de données.   SUIVRE les améliorations de capacité et la performance de la gestion des données ainsi que le système de transmission afin de produire des données de qualité.

CADRE CONCEPTUEL Du RDQA

UTILISATIONS DE LA RDQA  La RDQA est conçue pour une utilisation flexible afin d’atteindre multiples objectifs :  Contrôles de la qualité de données en tant qu'élément de surveillance en cours  Evaluations initiales et suivi de la gestion des données ainsi que les systèmes detransmission.  Renforçement de la formation du personnel dans la gestion et le reportage des données  Préparation pour un audit formel de la qualité de données  Évaluation externe par des partenaires/bailleurs de fonds:  Les utilisateurs potentiels du RDQA incluent des directeurs des programmes, des superviseurs et le personnel de S&E aux niveaux nationaux et périphériques, aussi bienque des donateurs.

ÉTAPES DE MISE EN OEUVRE DE LA RDQA 1.Déterminer le but de la RDQA 2.Choisir les niveaux et les emplacements (sites) à inclure (selon le but et les ressources disponibles). 3.Identifier les indicateurs, les sources de données et la période d’envoi 4.Visites des points de prestation de services. 5.Vérification des résultats et des conclusions. 6.Développer un plan d’action pour le renforçement du système incluant le suivi de ces actions.

■ ■OBJECTIF: Evaluer sur une échelle limitée si les Points de Prestation de Services et les Sites d’Agrégation Intermédiaires recueillent et rapportent les données avec précision et à temps. ■ ■L’exercice de traçage et de vérification se fera en deux étapes: - -vérifications en profondeur aux Points de Prestation de Services; et - -Vérifications du Suivi aux Niveaux d’Agrégation Intermédiaires (Districts, Régions) et à la Cellule de S&E. Volet 1: Vérifications des données et de reportage Cellule de Gestion de S&E Sites/Organisati ons de Prestation de Service Niveaux d’Agrégation Intermédiaires (ex District, Région ) Tracer et vérifier les résultats reportés

Volet 1 RDQA : Vérifications des données et de reportage Site de Prestation de Service 5 Rapport Mensuel ARV Nb.50 Site de Prestation de Service 6 Rapport Mensuel ARV Nb.200 Document Source 1 District 1 Rapport Mensuel SPS 145 SPS 220 TOTAL65 District 4 Rapport Mensuel PPS 550 PPS 6200 TOTAL250 District 3 Rapport Mensuel SPS 475 TOTAL75 Unité S&E/National Rapport Mensuel District 165 District 375 TOTAL435 District 4250 ILLUSTRATION Site de Prestation de Service 3 Rapport Mensuel ARV Nb.75 Document Source 1 Site de Prestation de Service 4 Rapport Mensuel ARV Nb.75 Document Source 1 Site de Prestation de Service 1 Rapport Mensuel ARV Nb.45 Document Source 1 Site de Prestation de Service 2 Rapport Mensuel ARV Nb.20 Document Source 1 District 2 Rapport Mensuel SPS 345 TOTAL45 District 245

Point de Prestation de Service - 5 TYPES DE VERIFICATIONS DE DONNEES VérificationsDescription- 1 Observation / Description Observer ou décrire la relation entre la fourniture des services/produits et l’exhaustivité du document de base qui enregistre cette fourniture de services. Dans tous les cas 2 Documentation Rapport Vérifier la disponibilité et l’exhaustivité de tous les documents de sources d’indicateurs pour la période de rapportage considérée. Dans tous les cas Points de Prestation des Services –Vérification des Données

Point de Prestation de Service - 5 TYPES DE VERIFICATIONS DE DONNEES VérificationsDescription- 3 Traçage et Vérification Tracer et vérifier les chiffres reportés: (1) Recompter les chiffres reportés provenant des documents sources disponibles; (2) Comparer les chiffres vérifiés à ceux communiqués par le site; (3) Identifier les causes des différences. Dans tous les cas 4 Recoupements Faire des recoupements des totaux vérifiés reportés avec d’autres sources de données (ex. données d’inventaires, rapports de laboratoires, etc.). Si faisable 5 Contrôles Surprise Faire des contrôles surprises pour vérifier la réalité de la prestation des services ou fourniture des produits aux populations ciblées. Si faisable Points de Prestation des Services –Vérification des Données

Volet 2: Évaluation des systèmes de gestion et de rapportage des donnees Cellule de gestion de S&E Sites/Organisations de prestation de service Niveaux d’agrégation intermédiaires (ex District, Région) Evaluer les systèmes de gestion de données et de rapportage ■ ■OBJECTIF: Identifier les risques potentiels pour la qualité des données générés par les systèmes de gestion et de rapportage au niveau: - -De la Cellule de Gestion du S&E; - -Des Points de Prestation de Service; - -Tout Niveau d’Agrégation Intermédiaire (District ou Région). ■ ■L’RDQA évalue à la fois (1) la conception; et (2) la mise en œuvre des systèmes de gestion et rapportage des données. ■ ■L’évaluation couvre 8 secteurs fonctionnels (RH, Formation, Méthodes de Gestion de Données, etc.)

QUESTIONS POUR L’EVALUATION DES SYSTEMES PAR SECTEUR FONTIONNEL Secteurs Fonctionnels Questions de Résumé ICapacités, Rôles et Responsabilit és du S&E 1 Est-ce que le personnel clé du S&E et de la gestion des données a été identifié et les responsabilités ont été clairement définies? IIFormation 2 Est-ce que la majorité du personnel clé de gestion de données et du S&E a reçu la formation nécessaire? IIICritères de rapportage de Données 3 Est-ce que le Programme/Projet a clairement décrit ( par écrit) ce qui a été reporté à qui, et comment, et quand le rapportage est-il nécessaire? Secteurs Fonctionnels d’un Système de S&E influant sur la Qualité des Données

QUESTIONS POUR L’EVALUATION DES SYSTEMES PAR SECTEUR FONTIONNEL Secteurs Fonctionnels Questions de Résumé IVDéfinitions d’Indicateur 4 Existe-t-il des définitions d’indicateurs opérationnelles qui répondent à des normes appropriées et qui sont systématiquement appliquées à tous les points de service? VFormulaires et Outils de Collecte et de rapportage de données 5 Existe-t-il des formulaires standard de collecte et de rapportage de données que l’on utilise systématiquement? 6 Les documents de base sont-ils préservés et disponibles conformément à des textes écrits? VIMéthodes de Gestion de Données 7 existe-t-il un compte rendu clair des étapes de collecte, agrégation et manipulation? Secteurs Fonctionnels d’un Système de S&E influant sur la Qualité des Données

QUESTIONS POUR L’EVALUATION DES SYSTEMES PAR SECTEUR FONTIONNEL Secteurs Fonctionnels Questions de Résumé VIIMécanismes et Contrôles de la Qualité des données 8 A-t-on identifié les problèmes posés par la qualité des données et a-t-on mis en place des mécanismes les résoudre? 9 Existe-t-il des méthodes clairement définies pour identifier et rapprocher les divergences dans les rapports? 1010 Existe-t-il des méthodes clairement définies pour vérifier périodiquement les données sources? VIIILiens avec le Système de rapportage National 1 Est-ce que le système de collecte et de rapportage des données est lié au Système de rapportage National? Secteurs Fonctionnels d’un Système de S&E influant sur la Qualité des Données

RDQA : OUTIL EXCEL (1)  Les listes de contrôle de RDQA existent sous le format Excel MS.  Les listes de contrôle peuvent être imprimées et remplies à la main.  La saisie électronique génère au niveau du tableau de bord, les graphiques des statistiques sommaires pour chaque site du niveau du système de rapportage  Le tableau de bord montre deux (2) graphiques pour chaque site visité

RDQA : OUTIL EXCEL (2)  Un diagramme en radar montre les données qualitatives produites de l'évaluation du système de collecte et de transmission de rapport  Ce diagramme peut être utilisé pour identifier les secteurs prioritaires à améliorer  Un diagramme en barres montre les données quantitatives produites par des vérifications de données ;  celles-ci peuvent être utilisées pour déterminer le domaine de la qualité des données à améliorer.

RDQA : OUTIL EXCEL (3)  Un « tableau de bord global » montre des statistiques agrégées intra et inter niveaux pour souligner les forces et faiblesses du système de rapportage  Les forces et faiblesses du système de rapportage sont montrés selon les dimensions de la qualité de données dans un diagramme en barres sur une échelle de 100.

ENTETE DE LA LISTE DE CONTRÔLE S/S FORMAT EXCEL (1)  Comment y accéder?:  assurer que votre 'sécurité de macro' est placée à un niveau moyen.  Avec la check-list ouverte, allez au menu déroulant 'outils'  et choisissez 'macro',  puis 'la sécurité '. Choisissez 'moyen'.  Fermez Excel et re-ouvrir la check-list.  Quand vous ouvrez le dossier la prochaine fois vous devrez choisir 'activer les macros' pour permettre à l'application de fonctionner correctement.

ENTETE DE LA LISTE DE CONTRÔLE S/S FORMAT EXCEL (2)  choisissez svp le nombre des sites intermédiaires d'agrégation (SIA) et les points de prestation de service (PPS) que vous comptez évaluer à partir des listes déroulantes ci-dessus  les SIA sont les niveaux de la pyramide sanitaire du Ministère en charge de la santé, et des organes décentralisés du Ministère de la Lutte contre le Sida,