Améliorer la qualité des statistiques du commerce de distribution Alain GAUGRIS Division de statistique des Nations unies Atelier régional pour les pays africains sur la mise en oeuvre des Recommandations internationales sur les statistiques du commerce de distribution 17-20 juin 2008, Bamako, Mali

SOMMAIRE 1. Mesure de la qualité des statistiques du commerce de distribution (SCD) 1.1. Cadres dévaluation de la qualité des données 1.2. Dimensions de la qualité 2. Indicateurs de qualité vs Mesures directes de la qualité 2.1. Indicateurs de qualité 2.2. Indicateurs de qualité clés pour les SCD 3. Métadonnées 3.1. Types de données statistiques 3.2. Métadonnées statistiques 3.3. Métadonnées sur les SCD 4. Recommandations

1. Mesure de la qualité des statistiques du commerce de distribution Mesure de la qualité : pour quoi faire? Permettre à l’utilisateur de juger si les données sont de qualité suffisante pour l’utilisation visée “Aptitude à l’utilisation ” des données Les utilisateurs doivent pouvoir: Vérifier que le cadre conceptuel et les définitions des statistiques disponibles correspondent (ou presque) à ce qu’ils attendent Evaluer le degré de précision des données étant donné l’utilisation ou l’interprétation visée Gestion de la qualité Les ONS doivent prendre toutes les mesures possibles pour s’assurer de la qualité de l’information statistique

1.1. Cadres d’évaluation de la qualité des données Les Cadres d’Evaluation de la Qualité (CEQ) regroupent (i) plusieurs dimensions (aspects) de la qualité, (ii) les définitions correspondantes et (iii) des propositions de mesures correspondantes Objectif général des CEQ Standardiser et systématiser au niveau des pays la mesure de la qualité statistique Permettre une évaluation des pratiques nationales de mesure de la qualité au regard des approches statistiques internationalement acceptées Utilisation des CEQ Orienter les efforts des pays dans le renforcement de leurs systèmes statistiques en leur fournissant un outil d’auto-évaluation et en leur proposant des pistes d’amélioration Etude par les organisations internationales de productions statistiques nationales particulières Evaluation par d’autres groupes d’utilisateurs

1.2. Dimensions de la qualité (1/4)

1.2. Dimensions de la qualité (2/4) 8 principales dimensions 1. Prérequis de la qualité Cela comprend toutes les conditions institutionnelles et organisationnelles qui ont un impact sur la qualité des données de SCD (base légale; adéquation entre partage de données et coordination; assurance de la confidentialité; adéquation des ressources humaines, financières et techniques; sensibilisation à la qualité, etc.) 2. Pertinence Il s’agit du degré auquel les données de SCD répondent aux besoins réels des utilisateurs 3. Crédibilité C’est la confiance que les utilisateurs placent dans les données (basée sur l’image de l’agence de statistiques qui produit les données) Mesurer la pertinence requiert l’identification des groupes d’utilisateurs et de leurs besoins Confiance dans l’objectivité des données - Perception que les données sont produites professionnellement en respect des standards statistiques appropriés - Transparence des politiques générales et des pratiques

1.2. Dimensions de la qualité (3/4) 4. Précision C’est le degré avec lequel les données sont correctement estimées ou décrivent les caractéristiques qu’elles sont censées mesurer Elle est définie en termes d’erreurs dans les estimations statistiques (erreurs systématiques, erreurs aléatoires, etc.) 5. Fraîcheur Défini comme le délai entre la fin de la période de référence à laquelle les données appartiennent et la date à laquelle les données sont publiées Etroitement liée à l’existence d’un calendrier de publication Fréquent arbitrage entre fraîcheur et précision 6. Accessibilité C’est la facilité avec laquelle les données peuvent être obtenues Caractère approprié des formes et des supports de diffusion à travers desquels l’information est accessible

1.2. Dimensions de la qualité (4/4) 7. Robustesse méthodologique 8. Cohérence C’est le degré avec lequel les données sont logiquement connectées Cohérence au sein des ensembles de données Cohérence entre les ensembles de données Cohérence au cours du temps Cohérence entre les pays Application des directives? des bonnes pratiques? des standards internationaux? etc. Etroitement liée à l’interprétabilité des données Rappel: L’interprétabilité reflète la facilité avec laquelle l’utilisateur peut comprendre et utiliser/analyser convenablement les données

2. Indicateurs de qualité vs Mesures directes de la qualité Mesures de la qualité Indicateurs de qualité VS Ils résument par un nombre l’information afin de fournir des indications sur le niveau de qualité des données Ils ne mesurent pas la qualité directement mais fournissent suffisamment d’information pour l’évaluation de la qualité (ex: le taux de réponse est un indicateur de qualité [un proxy] de la mesure bu biais lié au faible niveau relatif de réponses) Ce sont des variables qui mesurent directement un aspect particulier de la qualité (ex: décalage temporel entre la date de référence et la date de publication) La plupart d’entre elles sont en pratique coûteuses et difficiles à calculer

2.1. Indicateurs de qualité 3 critères pour définir les indicateurs de qualité 1. Ils doivent couvrir toutes ou une partie des dimensions de la qualité 2. La méthodologie pour leur compilation doit être bien établie 3. Les indicateurs doivent être faciles à interpréter 3 types d’indicateurs de qualité 1. Indicateurs-clés (ex: coefficient de variation [précision], retard temporel [fraîcheur]) 2. Indicateurs de secours (ex: taille moyenne des révisions [précision]) 3. Indicateurs pour analyse complémentaire (ex: enquête de satisfaction des utilisateurs [pertinence])

2.2. Indicateurs de qualité clés pour les SCD

3.1. Types de données statistiques 3. Métadonnées 3.1. Types de données statistiques Microdonnées – données sur les caractéristiques des unités de la population Macrodonnées - dérivées des microdonnées par regroupement et agrégation Métadonnées - “données sur les données”, décrivent les microdonnées, les macrodonnées ou d’autres métadonnées

3.2. Métadonnées statistiques La finalité des métadonnées est fondamentale Décrire ou documenter les données statistiques Faciliter le partage, la recherche et la compréhension des données statistiques au cours de leur durée de vie Aider les utilisateurs à comprendre, interpréter et analyser les données Aider les producteurs de statistiques à améliorer la production et la diffusion des données Il existe une relation réciproque entre les métadonnées et la qualité Elles fournissent un mécanisme idéal pour comparer les pratiques nationales de compilation de SCD Les métadonnées décrivent la qualité des statistiques Les métadonnées sont un des composants de la qualité

3.3. Métadonnées sur les SCD 2 Niveaux des métadonnées 1. Métadonnées structurelles – partie intégrante des tableaux de données de SCD 2. Métadonnées de référence – fournissent des détails sur le contenu et la qualité des données, peuvent accompagner les tableaux ou peuvent être présentées séparément 6 Dimensions des métadonnées de SCD Couverture des données, périodicité et fraîcheur Accès par le public Intégrité des données diffusées Qualité des données Résumé méthodologique Formats de diffusion

4. Recommendations (1/2) 4 recommandations 1. CEQ Les différentes dimensions de la qualité se chevauchent et forment une relation complexe. Les ONS peuvent décider de : Mettre en oeuvre directement l’un des CEQ existants Développer , à partir des CEQ existants, des CEQ nationaux qui correspondent mieux aux pratiques et circonstances nationales 2. Dimensions de la qualité Toutes les dimensions de la qualité ne doivent pas nécessairement être couvertes pour toutes les données Les pays sont encouragés à sélectionner parmi les mesures/indicateurs de qualité celles/ceux qui, conjointement, fournissent une évaluation générale des forces, des limitations et des utilisations appropriées d’un ensemble de données 3. Examen de la qualité L’examen de la qualité des SCD devrait être entrepris tous les 4 à 5 ans, ou plus fréquemment si des changements méthodologiques significatifs surviennent, ou si de nouvelles sources de données apparaissent

6. Recommendations (2/2) 4. Métadonnées Les pays sont encouragés à: Accorder une priorité haute au développement des métadonnées Considérer leur diffusion comme partie intégrante de la diffusion des SCD Adopter un système cohérent et une approche structurée des métadonnées pour l’ensemble des domaines des statistiques économiques, en se concentrant sur l’amélioration de leur volume et de leur couverture Identifier les besoins des utilisateurs et organiser les utilisateurs en groupes de sorte qu’une approche par strate de la présentation des métadonnées puissent être adoptée Faire paraître régulièrement des rapports de qualité comme partie des métadonnées

Merci