Qualité des données est tests: le débat

Présentation au sujet: "Qualité des données est tests: le débat"— Transcription de la présentation:

1 Qualité des données est tests: le débat

2 Objectifs Que font les différentes enquêtes par défaut ?
le débat Objectifs Que font les différentes enquêtes par défaut ? Comprendre les débats autour de certains tests et leur impact sur les résultats finaux Recommandations internationaux Conclusions sur les différents tests utilisés Interprétation des données

3 Quand appliquer ces contrôles de données?
le débat Quand appliquer ces contrôles de données? Pendant, après ou longtemps après l'enquête Données de routine par rapport à d'autres types de données Notes : Les vérifications de la qualité des données peuvent se produire sur des enquêtes ou d'autres types de données et être effectuées pendant ou après les sondages.

4 Missing data and illegal values
le débat Missing data and illegal values DHS MICS SMART Données manquantes % de données manquantes pour la taille et le poids % de données manquantes pour tous les indicateurs anthropométriques Les détecte Ne contribue pas au score Dupliqués Pas d'outil spécifique Valeurs extr. Plusieurs contrôles et règles lors de la saisie des données, mais pas spécifiquement après la saisie. Date de naissance exacte Aucun % d'enfants sans date de naissance MICS : % d'enfants n'ayant pas de date de naissance (mais ne différencie pas la date de naissance exacte de la date de naissance estimée) et % d'enfants ayant un certificat de date de naissance. Les enquêtes DHS, MICS et SMART comprennent des vérifications de la qualité des données. Pour les équipes qui utilisent les ordinateurs, les données peuvent être examinées quotidiennement pendant que les équipes sont encore sur le terrain. Les tableaux de vérification sur le terrain de l‘DHS pour l'examen de la qualité des données comprennent, par équipe de terrain, des informations sur le pourcentage d'enfants admissibles a) mesurés, absents ou manquants ; b) avec des mesures de longueur/hauteur, des scores z ou une date de naissance incomplète ; et c) depuis début 2015, la distribution des derniers chiffres de la taille et du poids Les tableaux de vérification sur le terrain de MICS comprennent le taux de réponse, la répartition par âge, les flags et des renseignements sur l'entassement. Les équipes de terrain SMART/NNS utilisent un formulaire de contrôle pour examiner les résultats par ménage, tels que les cas manquants ou refusés. Les données sont saisies dans le logiciel d'évaluation nutritionnelle d'urgence (ENA) soit sur le terrain, soit, si ce n'est pas possible, lorsque les équipes retournent à la base. Des préoccupations ont été soulevées quant au fait que la rétroaction que les superviseurs SMART/NNS fournissent aux enquêteurs peut entraîner une surédition des données sur le terrain et peut supprimer de véritables variations au sein des grappes ou faire passer d'un chiffre à un autre au cours de la collecte des données. L'âge est l'indicateur le plus important et le plus difficile, surtout si la mère biologique n'est plus en vie ou n'est pas présente. Les équipes d'enquête du DHS et du MICS collectent des données sur l'âge des enfants et s'efforcent de déterminer l'année, le mois et le jour de naissance pour calculer l'âge exact en jours à la date de la visite au foyer. Le personnel de l'enquête SMART/NNS recueille également des données sur l'âge des enfants ; cependant, les présentations et les discussions n'ont pas permis de déterminer clairement si l'âge exact ou l'âge arrondi (à la hausse ou à la baisse) est déterminé. Les erreurs d'âge autres que la date de naissance après la date de la visite sont difficiles à détecter sur le terrain. Idéalement, les observateurs devraient être formés pour sonder autant que possible afin d'obtenir des informations complètes et de qualité sur la date de naissance et la date de la visite. Il est préférable que le calcul de l'âge réel ait lieu à l'étape de l'analyse. Selon l'OMS, il est très important de déterminer l'âge en jours aussi précisément que possible.

5 DHS MICS SMART Préférences numériques Arron. âge Ratio sexe
le débat DHS MICS SMART Préférences numériques Aucun % distribution de chaque chiffre pour le poids et la taille Score de préférence numérique pour le poids, la longueur ou la taille et PB Arron. âge Pas d'outil spécifique graphique Pas de score Ratio sexe Ratio de sexesdisponible mais non comparé à d'autres données Chi carré Ratio âge et Distrib Distribution par âge des enfants <5 ans, mais sans comparaison avec d'autres données Les chercheurs de Harvard ont constaté que la préférence pour les chiffres était plus grande pour la taille que pour le poids. La préférence numérique pour la taille a affecté un pourcentage plus élevé de cas pour les DHS et MICS que pour les SMART. Les chercheurs de Harvard ont également mené des exercices de simulation avec l'échantillon d'ensembles de données des DHS et des MICS afin d'induire une préférence numérique sur la distribution de la taille et du poids, ce qui indique que la préférence numérique pour la taille (0,1 centimètre) était relativement peu importante en termes d'impact sur la prévalence, mais que l'inexactitude du poids (0,1 kg) était plus importante et pouvait entraîner une surévaluation de 2 % de la prévalence de la malnutrition chronique et aigüe L'arrondissement en fonction de l'âge peut être un problème dans de nombreuses enquêtes, en particulier pour les estimations de l'insuffisance pondérale et du retard de croissance. Un histogramme simple des données d'enquête sur l'âge en mois peut être utilisé pour identifier l'arrondissement de l'âge. Harvard a constaté que la préférence des chiffres pour l'âge était à peu près la même pour les MICS et les SMART et légèrement inférieure pour les DHS. Les exercices de simulation qu'ils ont menés ont révélé que l'imprécision de l'âge pourrait entraîner une surestimation de 4,5 % de la prévalence du retard de croissance et de 4,2 % de celle de l'insuffisance de poids.

6 Effet de l'arrondissement
Quand le SPN augmente les prévalences varient dans ces simulations Effet de l'arrondissement/de la préférence des chiffres du poids sur la prévalence du MAG et de la MAS dans 50 enquêtes simulées.

7 Indice pour les rapports d'âge et de sexe des enfants âgés de 0 à 59 mois dans les enquêtes MICS, DHS et SMART (NNS) dans les pays d'Afrique centrale occidentale (et NHANES aux États-Unis). Disponible à Commentaire sur la façon dont les ratios ont varié dans les différentes enquêtes (intervalles) il n'y a pas de consensus sur le " véritable " paramètre de population pour le ratio d'âge, étant donné qu'une comparaison est faite entre les groupes couvrant un nombre inégal de mois (6-29 mois contre mois). Les taux d'âge peuvent être sensibles dans les pays aux changements démographiques dus à l'évolution des taux de fécondité et des taux de mortalité infantile et juvénile. En outre, de nombreuses enquêtes SMART ne couvrent pas les enfants de 0 à 5 mois (âge qui peut être plus difficile à évaluer). Il n'est pas clair si ce ratio doit être de 1,0 ou une autre valeur et si la valeur réelle peut varier entre les pays et dans le temps.

8 DHS MICS SMART Flags Normalité ET Dispersion Flags OMS
le débat DHS MICS SMART Flags Flags OMS flags OMS & SMART Normalité Aucun graphiques, Statistiques d'asymétrie et d'aplatissement ET Se concentre sur la PTZ (Résultats fournis pour TAZ et PAZ mais non inclus dans le score). Dispersion Indice de dispersion Rappelez-vous : Les flags SMART sont plus restrictifs et peuvent supprimer les variations réelles dans les données, mais les flags de l'OMS ne détectent que les valeurs aberrantes les plus extrêmes. L'utilisation des flags de l'OMS fait l'objet d'un consensus plus large Les chercheurs de Harvard ont appliqué les mêmes flags de l'OMS à toutes les données des enquêtes. Ils ont constaté que le pourcentage des valeurs de taille et de poids signalées comme non plausibles était plus élevé dans les enquêtes DHS et MICS que dans les enquêtes SMART. Tous utilisent des flags pour PTZ, TAZ, PAZ. SMART fournit un score

9 SMART´s critères et scores
TEST Excellent Bonne Acceptable Problematique SPN < 7 8 -12 > 20 Ratio Sexe p>0.1 p>0.05 >0.001 ≤0.001 Ratio âge p>0.001 p≤0.001 Distrib âge Flags 0 <N< 2.5% 2.5%<N< 5.0% 5.0% <N< 7.5% N>7.5% Asymétrie <± 0.2 <± 0.4 <± 0.6 >± 0.6 Aplatissement Dispersion   p>0.1 ET <1.10 & >0.90 <1.15 & >0.85 <1.20 & >0.80 ≥1.20 & ≤0.80 DHS et MIC n’ont pas un score global de qualité des données. Ceux-ci peuvent être utilisés à titre indicatif, mais comme mentionné dans le rapport du TEAM, la qualité des données n'est pas un score, mais une question de jugement fondée sur des critères objectifs.

10 Écart-type (ET) Recommandé par l'OMS en 1995 et SMART
le débat Écart-type (ET) Recommandé par l'OMS en 1995 et SMART Certains : "Gardez ET près de 1 " Autres : "SD>1 reflète l'hétérogénéité ". Qu'est-ce qui affecte davantage le ET ? Qualité des données ? Hétérogénéité des populations ? Le rapport technique de l'OMS de 1995 recommandait d'évaluer la qualité des données anthropométriques en se fondant en partie sur l'écart-type des z-scores. Un écart type plus grand que prévu a été associé à des données de moins qualité. L'étude de Harvard a montré que les écarts-types pour les scores z de taille pour l'âge, de poids pour l'âge et de poids pour la taille étaient plus élevés pour DHA et MICS que pour les SMART. La forme de la distribution change-t-elle lorsque la population est plus sous-alimentée ? Peut-être pas pour la taille mais peut-être oui pour le poids, nous ne savons pas Les nouvelles "Recommandations pour l'amélioration de la qualité de la collecte, de l'analyse et de la communication des données anthropométriques" de l'OMS (version préliminaire à ce jour) ne recommandent pas des seuils pour le ET.

11 le débat Écart-type (ET) la mauvaise qualité des données peut gonfler l'écart-type des mesures anthropométriques Mais certaines populations peuvent avoir un grand ET naturellement. Lorsque vous agrégez les données de différentes populations (sous-nationales), il est très difficile d'obtenir un écart-type de 1 Bien qu'il n'y ait pas eu d'accord sur ce qu'est un écart-type raisonnable dans des populations hétérogènes, on s'est entendu pour dire que 1 peut être irréaliste dans certaines situations et que de très grands écarts-types, par exemple supérieurs à 2, pourraient être un signe de mauvaise qualité D'autres études sont nécessaires pour (i) élaborer des lignes directrices sur la façon d'extraire la contribution relative de l'erreur de mesure de la dispersion prévue associée à la population pour une enquête donnée ; et (ii) déterminer un seuil à partir duquel le ET pourrait être lié de façon plus concluante à la qualité des données pour chaque indice anthropométrique.

12 Exemple de mélange de deux distributions normales donnant une distribution non normale
les déviations de la normalité ne sont pas nécessairement dus à la mauvaise qualité des données ; ils peuvent être dus à l'échantillonnage dans une population mixte Certaines méthodes d'enquêtes anthropométriques (p. ex. SMART) utilisent les déviations de la normalité parfaite comme indicateur de la mauvaise qualité des données. Mais les écarts par rapport à la normalité ne sont pas nécessairement dus à la mauvaise qualité des données ; ils peuvent être dus à l'échantillonnage d'une population mixte.

13 Courbe de distribution gaussienne illustrant comment une erreur aléatoire de mesure entraînera le déplacement de différentes proportions de données d'un segment à l'autre pour augmenter la valeur de l'écart-type et de la prévalence. La ligne rouge a un écart-type de 1,0. La ligne bleue pointillée a un écart-type de 1,2. Les zones grises montrent comment l'aire au centre de la courbe s'est déplacée vers les queues, augmentant ainsi les aires inférieures à -2 z scores et supérieures à +2. Les deux distributions sont normales sans générer de kurtosis ou d'asymétrie.  Ainsi, les erreurs systématiques tendent à augmenter les estimations de prévalence.

14 MAG dans une DHS avec un écart-type de 1,44 MAG simulé avec ET de 1
Le MAG et le MAS de 100 enquêtes en Afrique de l'Ouest ont été calculés à partir de la moyenne des ET observés et de la prévalence qui aurait été obtenue si le ET avait été de 1,0 ou 1,1. Source Vous pouvez voir comment la prévalence de PTZ dans les enquêtes DHS passe de 12,6% lorsque l'écart-type est de 1,44 à 5% lorsqu'il est de 1. La MAS est également réduite en moitié Dans SMART, l´ET est plus proche de 1 et les changements sont moins évidents

15 Test statistiquement significatif
le débat Test statistiquement significatif les seuils et les intervalles pour les test sont une meilleure approche que de s'appuyer sur le signification statistique Les tests de signification (p valeur) peuvent être fortement influencés par la taille de l'échantillon La petite taille de l'échantillon peut faire en sorte qu'il n'y ait pas d'effets importants et la grande taille de l'échantillon peut faire que les petits effets sont très importants et significatives dans le tests Il faut faire preuve de prudence lorsqu'on utilise des tests de signification statistique pour classer les données comme "problématiques". pour les statistiques sur l'asymétrie et l'aplatissement utiliser des seuils est habituellement une meilleure approche que de se fier à des tests de signification statistique.

16 Exemple Test de normalité de Shapiro-Wilk: W = , p-valeur = L´histogramme pour le MUAC avec courbes normales superposées à partir des données d'un enquête SMART réalisé à Kaboul, Afghanistan. les tests indiquent que le MUAC, est significativement anormal. L'examen des histogrammes montre que la normalité de MUAC n'est pas particulièrement anormale. L’ indice a une distribution "en forme de cloche" symétrique ou presque symétrique. Si une distribution semble normale (c.-à-d. qu'elle a une distribution symétrique ou presque symétrique en forme de cloche), il est habituellement sûr de supposer la normalité et d'utiliser des procédures statistiques qui supposent la normalité. Il est important de se rappeler que la distribution normale est une abstraction mathématique. Il n'y a rien qui oblige le monde réel à se conformer à la distribution normale.

17 Test statistiquement significatif
le débat Test statistiquement significatif Ceci peut s'appliquer à la normalité, et à tous les autres tests (sex-ratio, etc.). L'échec d'un test ne signifie pas que les données ne sont pas représentatives de la réalité. Tenir compte le contexte Si plusieurs tests échouent, pensez à des données fabriquées. Ceci n'est pas seulement pour la normalité mais pour tous les tests, y compris lorsqu'ils sont appliqués au sex-ratio, à l'âge, etc. Les données que nous voyons peuvent être représentatives de la réalité même lorsqu'elles échouent à un test. Il est extrêmement difficile de fabriquer des données sur le poids et la taille qui forment une distribution normale sans asymétrie, ou Kurtosis, un écart-type acceptable, et sans préférence numérique.

18 le débat Indice de dispersion les écarts par rapport au hasard peuvent refléter la distribution réelle plus d'une zone de subsistance interprété avec prudence L'idée derrière l'utilisation d'une mesure de dispersion pour juger de la qualité des données est que la distribution des cas de malnutrition entre les unités d'échantillonnage primaire devrait toujours être aléatoire. Si tel n'est pas le cas, les données sont considérées comme suspectes. Le problème de cette approche est que les écarts par rapport au hasard peuvent refléter la distribution réelle des cas dans la zone d'enquête. Cela peut se produire lorsque la zone d'enquête comprend, par exemple, plus d'une zone de subsistance. Il est également moins probable que ce soit le cas pour des affections, comme la cachexie et l'œdème, qui sont associées aux maladies infectieuses et qui peuvent donc être plus regroupées que réparties au hasard entre les unités primaires d'échantillonnage. Les mesures de dispersion sont problématiques lorsqu'elles sont utilisées comme mesures de la qualité des données et doivent être interprétées avec prudence. L'exception à cette règle est de trouver l'uniformité maximale, ou presque maximale, ou l'agglutination maximale, ou presque maximale. Une conclusion d'uniformité maximale n'est probable que lorsque les données ont été fabriquées. La présence d'un maximum d'agglutination peut indiquer une mauvaise collecte de données et/ou une mauvaise gestion des données.

19 Conclusions sur les différents tests
Chaque système d'enquête (DHS, MICS, SMART) présente des points forts et des possibilités d'amélioration. nécessité d'élaborer des lignes directrices l'analyse des données anthropométriques devrait être encouragée mettre à jour les lignes directrices de l'OMS de 1995 sur l'évaluation de la qualité des données d'enquête. assurer l'accès du public aux données brutes Examiner s'il y a la possibilité d'ajuster les données d'enquête existantes en cas d'imprécision et de quelle manière. : Forme des distributions Hétérogénéité dans le lieu, le groupe ou le temps Implications d'estimations révisées nécessité d'élaborer des orientations sur la manière de mener une évaluation anthropométrique de bonne qualité ; d'améliorer la formation et la supervision ; et d'assurer un échantillonnage représentatif des ménages et des individus au sein des grappes et à l'intérieur des grappes à travers les zones géographiques et les groupes socio-économiques et dans le temps mettre à jour les lignes directrices de l'OMS de 1995 sur l'évaluation de la qualité des données d'enquête. Cela permettra de s'assurer qu'il existe des approches normalisées pour évaluer la qualité des données, avec des indicateurs et des seuils pertinents, p. ex. le nombre de données manquants, la préférence numérique, l'écart-type des scores z, la proportion des valeurs extrêmes et d'autres mesures de la qualité.

20 Les données basées sur la prévalence pour les enfants de 0 à 59 mois sont souvent rapportées en utilisant une valeur seuil, souvent <-2 ET et >+2 ET. (<-3 pour les sévères ) La raison en est la définition statistique de l´intervalle a 95% de confiance de la population de référence internationale. L'utilisation de -2 ET et + 2 ET comme seuils de coupure implique que 2,3 % de la population de référence, aux deux extrémités de la courbe de population ,sera classée comme malnutrie même s'il s'agit d'individus en realité " sains " et sans retard de croissance. Par conséquent, 2,3 % peut être considéré comme la prévalence de référence ou la prévalence attendue de l'état nutritionnel aux deux extrémités dans une population completement normal. Tiré de : Recommandations pour améliorer la qualité de la collecte, de l'analyse et de la communication des données anthropométriques

21 Devrions-nous soustraire ces 2,3 % des calculs de prévalence ?
Débat Devrions-nous soustraire ces 2,3 % des calculs de prévalence ? Le chiffre de 2,3 % n'est habituellement pas soustrait de la valeur observée.

22 Nouveaux seuils de prévalence
Janvier 2019 Les seuils de prévalence révisés présentés ici peuvent être utilisés par la communauté internationale pour interpréter les données aux fins suivantes : classification et cartographie des pays en fonction des niveaux de gravité de la malnutrition ; par les donneurs et les acteurs mondiaux pour identifier les pays prioritaires d'action ; et, surtout, par les gouvernements à des fins de suivi et pour des programmes ciblés visant à atteindre des niveaux "faibles" ou "très faibles".

23 Suivi des tendances Portez attention aux dénominateurs
Quel est le caractère saisonnier de l'enquête ? Regardez les intervalles de confiance Prévalence d'autres types de malnutrition et de mortalité Outil de suivi de l'OMS : Il faut prêter attention aux dénominateurs lorsqu'on signale les cas de retard de croissance, d'émaciation, d'insuffisance pondérale et de surpoids chez tous les enfants de moins de cinq ans ou chez les enfants de 6 à 59 mois. Diverses enquêtes standard n'incluent parfois pas les enfants de 0 à 6 mois dans les mesures anthropométriques. Par conséquent, en comparant les populations ou en étudiant les tendances, la variation des dénominateurs peut créer de la confusion dans l'interprétation de l'estimation. L'OMS, en collaboration avec l'UNICEF, a mis au point l'outil de suivi pour aider les pays à fixer leurs objectifs nationaux et à suivre les progrès réalisés par rapport aux objectifs de l‘AMS (WHA), dont trois concernent le retard de croissance, la surcharge pondérale et le malnutrition aigüe. Cet outil permet aux utilisateurs d'explorer des scénarios en tenant compte des différents taux de progression des objectifs et du temps restant jusqu'en L'information et les outils peuvent être consultés sur le lien suivant sur le site Web de l'OMS : Cet outil de suivi a été utilisé pour examiner les tendances des données actuelles incluses et validées dans l'examen conjoint UNICEF-OMS-BM sur la malnutrition des enfants.

24 Exercice 1 Consulter les rapports sur la qualité des données pour les enquêtes au Mali DHS 2013 SMART 2014 MICS 2015 Quels tests de qualité des données sont pertinents pour la nutrition ? Quelle est l´enquête avec meilleure qualité des données? Quels tests supplémentaires effectueriez-vous ? Les rapports complets sont également fournis avec les rapports sur la qualité des données.