OUTIL D'ÉVALUATION DE LA QUALITE DES DONNEES DE ROUTINE (RDQA) Séminaire régional su le Suivi et Evaluation des programmes sida 8-18 Fevrier 2010, Dakar/Sénégal

Objectifs du RDQA OBJECTIFS: VÉRIFIER rapidement 1) la qualité des données rapportées pour les indicateurs principaux dans des sites choisis ; et 2) la capacité des systèmes de gestion des données de collecter, contrôler et rapporter des données de qualité METTRE en oeuvre des mesures pour des plans d'action appropriés afin de renforcer la gestion des données et le système de transmission et améliorer la qualité de données. SUIVRE les améliorations de capacité et la performance de la gestion des données ainsi que le système de transmission afin de produire des données de qualité.

CADRE CONCEPTUEL Du RDQA

UTILISATIONS DE LA RDQA La RDQA est conçue pour une utilisation flexible afin d’atteindre multiples objectifs : Contrôles de la qualité de données en tant qu'élément de surveillance en cours Evaluations initiales et suivi de la gestion des données ainsi que les systèmes detransmission. Renforçement de la formation du personnel dans la gestion et le reportage des données Préparation pour un audit formel de la qualité de données Évaluation externe par des partenaires/bailleurs de fonds: Les utilisateurs potentiels du RDQA incluent des directeurs des programmes, des superviseurs et le personnel de S&E aux niveaux nationaux et périphériques, aussi bienque des donateurs.

ÉTAPES DE MISE EN OEUVRE DE LA RDQA Déterminer le but de la RDQA Choisir les niveaux et les emplacements (sites) à inclure (selon le but et les ressources disponibles). Identifier les indicateurs, les sources de données et la période d’envoi Visites des points de prestation de services. Vérification des résultats et des conclusions. Développer un plan d’action pour le renforçement du système incluant le suivi de ces actions.

L’exercice de traçage et de vérification se fera en deux étapes: Cellule de Gestion de S&E Sites/Organisations de Prestation de Service Niveaux d’Agrégation Intermédiaires (ex District, Région) Volet 1: Vérifications des données et de reportage Tracer et vérifier les résultats reportés OBJECTIF: Evaluer sur une échelle limitée si les Points de Prestation de Services et les Sites d’Agrégation Intermédiaires recueillent et rapportent les données avec précision et à temps. L’exercice de traçage et de vérification se fera en deux étapes: vérifications en profondeur aux Points de Prestation de Services; et Vérifications du Suivi aux Niveaux d’Agrégation Intermédiaires (Districts, Régions) et à la Cellule de S&E.

Volet 1 RDQA : Vérifications des données et de reportage Site de Prestation de Service 5 Rapport Mensuel ARV Nb. 50 Site de Prestation de Service 6 200 Document Source 1 District 1 SPS 1 45 SPS 2 20 TOTAL 65 District 4 PPS 5 PPS 6 250 District 3 SPS 4 75 Unité S&E/National 435 ILLUSTRATION Site de Prestation de Service 3 Site de Prestation de Service 4 Site de Prestation de Service 1 Site de Prestation de Service 2 District 2 SPS 3 Ce diagramme montre visuellement que le protocole tracer et vérifier débute avec les données au niveau de la prestation de service (soit dans un service de santé ou un programme communautaire) et comment les données "sont tracées" "au niveau intermédiaire d'agrégation" (dans ce cas-ci un district) et puis au niveau de l'unité de S&E (dans ce cas-ci le niveau national).

Point de Prestation de Service - 5 TYPES DE VERIFICATIONS DE DONNEES Points de Prestation des Services –Vérification des Données Point de Prestation de Service - 5 TYPES DE VERIFICATIONS DE DONNEES Vérifications Description - 1 Observation / Description Observer ou décrire la relation entre la fourniture des services/produits et l’exhaustivité du document de base qui enregistre cette fourniture de services. Dans tous les cas 2 Documentation Rapport Vérifier la disponibilité et l’exhaustivité de tous les documents de sources d’indicateurs pour la période de rapportage considérée. Au niveau de la prestation de service, ces cinq vérifications sont faites dans le cadre du protocole tracer et vérifier.

Vérifications Description - Points de Prestation des Services –Vérification des Données Point de Prestation de Service - 5 TYPES DE VERIFICATIONS DE DONNEES Vérifications Description - 3 Traçage et Vérification Tracer et vérifier les chiffres reportés: (1) Recompter les chiffres reportés provenant des documents sources disponibles; (2) Comparer les chiffres vérifiés à ceux communiqués par le site; (3) Identifier les causes des différences. Dans tous les cas 4 Recoupements Faire des recoupements des totaux vérifiés reportés avec d’autres sources de données (ex. données d’inventaires, rapports de laboratoires, etc.). Si faisable 5 Contrôles Surprise Faire des contrôles surprises pour vérifier la réalité de la prestation des services ou fourniture des produits aux populations ciblées. Au niveau de la prestation de service, ces cinq vérifications sont faites dans le cadre du protocole tracer et vérifier.

De la Cellule de Gestion du S&E; Des Points de Prestation de Service; Volet 2: Évaluation des systèmes de gestion et de rapportage des donnees Cellule de gestion de S&E Sites/Organisations de prestation de service Niveaux d’agrégation intermédiaires (ex District, Région) Evaluer les systèmes de gestion de données et de rapportage OBJECTIF: Identifier les risques potentiels pour la qualité des données générés par les systèmes de gestion et de rapportage au niveau: De la Cellule de Gestion du S&E; Des Points de Prestation de Service; Tout Niveau d’Agrégation Intermédiaire (District ou Région). L’RDQA évalue à la fois (1) la conception; et (2) la mise en œuvre des systèmes de gestion et rapportage des données. L’évaluation couvre 8 secteurs fonctionnels (RH, Formation, Méthodes de Gestion de Données, etc.)

Secteurs Fonctionnels d’un Système de S&E influant sur la Qualité des Données QUESTIONS POUR L’EVALUATION DES SYSTEMES PAR SECTEUR FONTIONNEL Secteurs Fonctionnels Questions de Résumé I Capacités, Rôles et Responsabilités du S&E 1 Est-ce que le personnel clé du S&E et de la gestion des données a été identifié et les responsabilités ont été clairement définies? II Formation 2 Est-ce que la majorité du personnel clé de gestion de données et du S&E a reçu la formation nécessaire? III Critères de rapportage de Données 3 Est-ce que le Programme/Projet a clairement décrit ( par écrit) ce qui a été reporté à qui, et comment, et quand le rapportage est-il nécessaire?

Secteurs Fonctionnels d’un Système de S&E influant sur la Qualité des Données QUESTIONS POUR L’EVALUATION DES SYSTEMES PAR SECTEUR FONTIONNEL Secteurs Fonctionnels Questions de Résumé IV Définitions d’Indicateur 4 Existe-t-il des définitions d’indicateurs opérationnelles qui répondent à des normes appropriées et qui sont systématiquement appliquées à tous les points de service? V Formulaires et Outils de Collecte et de rapportage de données 5 Existe-t-il des formulaires standard de collecte et de rapportage de données que l’on utilise systématiquement? 6 Les documents de base sont-ils préservés et disponibles conformément à des textes écrits? VI Méthodes de Gestion de Données 7 existe-t-il un compte rendu clair des étapes de collecte, agrégation et manipulation?

Secteurs Fonctionnels d’un Système de S&E influant sur la Qualité des Données QUESTIONS POUR L’EVALUATION DES SYSTEMES PAR SECTEUR FONTIONNEL Secteurs Fonctionnels Questions de Résumé VII Mécanismes et Contrôles de la Qualité des données 8 A-t-on identifié les problèmes posés par la qualité des données et a-t-on mis en place des mécanismes les résoudre? 9 Existe-t-il des méthodes clairement définies pour identifier et rapprocher les divergences dans les rapports? 10 Existe-t-il des méthodes clairement définies pour vérifier périodiquement les données sources? VIII Liens avec le Système de rapportage National 11 Est-ce que le système de collecte et de rapportage des données est lié au Système de rapportage National?

RDQA : OUTIL EXCEL (1) Les listes de contrôle de RDQA existent sous le format Excel MS. Les listes de contrôle peuvent être imprimées et remplies à la main. La saisie électronique génère au niveau du tableau de bord, les graphiques des statistiques sommaires pour chaque site du niveau du système de rapportage Le tableau de bord montre deux (2) graphiques pour chaque site visité et les réponses peuvent être saisies directement dans le tableur sur l'ordinateur

RDQA : OUTIL EXCEL (2) Un diagramme en radar montre les données qualitatives produites de l'évaluation du système de collecte et de transmission de rapport Ce diagramme peut être utilisé pour identifier les secteurs prioritaires à améliorer Un diagramme en barres montre les données quantitatives produites par des vérifications de données ; celles-ci peuvent être utilisées pour déterminer le domaine de la qualité des données à améliorer.

RDQA : OUTIL EXCEL (3) Un « tableau de bord global » montre des statistiques agrégées intra et inter niveaux pour souligner les forces et faiblesses du système de rapportage Les forces et faiblesses du système de rapportage sont montrés selon les dimensions de la qualité de données dans un diagramme en barres sur une échelle de 100. Le tableau de bord global montre un diagramme en radar pour des évaluations qualitatives et un diagramme en barres pour des évaluations quantitatives comme ci-dessus Pour cette analyse les questions sont groupées par dimensions de la qualité des données (par exemple exactitude ou fiabilité) et le nombre de réponses par type de réponse (par exemple 'oui - complètement ', 'en partie 'etc...) sont tracés comme pourcentage de toutes les réponses. Une table des questions de l'enquête et de leurs dimensions associées de la qualité des données peut être trouvée sur la table des "dimensions de qualité de données" dans le tableur.

ENTETE DE LA LISTE DE CONTRÔLE S/S FORMAT EXCEL (1) Comment y accéder?: assurer que votre 'sécurité de macro' est placée à un niveau moyen. Avec la check-list ouverte, allez au menu déroulant 'outils' et choisissez 'macro', puis 'la sécurité '. Choisissez 'moyen'. Fermez Excel et re-ouvrir la check-list. Quand vous ouvrez le dossier la prochaine fois vous devrez choisir 'activer les macros' pour permettre à l'application de fonctionner correctement.

ENTETE DE LA LISTE DE CONTRÔLE S/S FORMAT EXCEL (2) choisissez svp le nombre des sites intermédiaires d'agrégation (SIA) et les points de prestation de service (PPS) que vous comptez évaluer à partir des listes déroulantes ci-dessus les SIA sont les niveaux de la pyramide sanitaire du Ministère en charge de la santé, et des organes décentralisés du Ministère de la Lutte contre le Sida,