TMSI/IDM/SISMER Sept 2000 SISMER SISMER Systèmes dInformations Scientifiques pour la Mer F-NODC Procedure de Contrôle Qualité pour larchivage des données.

Présentation au sujet: "TMSI/IDM/SISMER Sept 2000 SISMER SISMER Systèmes dInformations Scientifiques pour la Mer F-NODC Procedure de Contrôle Qualité pour larchivage des données."— Transcription de la présentation:

1 TMSI/IDM/SISMER Sept 2000 SISMER SISMER Systèmes dInformations Scientifiques pour la Mer F-NODC Procedure de Contrôle Qualité pour larchivage des données à lIFREMER Brest Janvier 2001

2 2 Contrôles Qualité : Automatiques + Visuels Conformément aux recommendations internationales, les données sont vérifiées avant archivage par tests automatiques et visuels : QC0 : Format, Codes, Information QC1 : Date, Temps, Location, Doubles QC2 : Points de mesure Resultats : Elimination ou ajout dun indicateur de qualité (flag) echelle internationale GTSPP References l UNESCO/COI/IODE : Manual of Quality Control Procedures for validation of Oceanographic Data - Manuals and Guides 26 - (GTSPP chapter) l ICES -GETADE Formatting Guidelines for Oceanographic Data Exchange (http://www.ices.dk/ocean/) l ICES -MDM QA Guidelines - CTD - Marine Data Management working Group (CIEM) Reports l UNESCO/IOC/IODE : GF3 A General Formatting System for Geo-Referenced Data - Manual and Guides 17 0 1 2 34 59 No QC Correct Inconsistent Doubtful Bad ChangedMissing

3 3 QC0 - FORMATS, CODES, INFORMATION l Le logiciel expert (SCOOP) utilisé pour ces QC utilise un format ASCII autodescriptif ( MEDATLAS ) avec lorganisation suivante des données : l Un fichier par mouillage/bouée pour lensemble de la série temporelle ou par année l Un entête mouillage commmun pour décrire le mouillage (nom de lexpérience, nom du responsable scientifique et du laboratoire, zone géographique, période, profondeur du fond..) l Un entête par niveau (date, latitude, longitude, profondeur du capteur en début et fin de mesure, la liste des paramètres mesurées incluant code, nom en clair, unité, valeur par défaut..) l Les points de mesures avec autant de colonnes que de paramètres mesurés, la première étant la référence (date+temps pour série temporelle) et se terminant par une ligne de valeurs par défaut. l les mots clé/unités indiqués dans les entêtes sont contrôlés par le système RDBS - ORACLE

4 4 QC1 Contrôle of de lentête : date et position Contrôle automatiqueResultat - Flag DoubleElimination Date Elimination ou 5 Vitesse de la plateforme Elimination ou 5 Position par rapport à la côte Elimination ou 5 Profondeur du fond Elimination ou 3 Position par rapport au fond 5 = Correction/Interpolation 3 = valeur douteuse

5 5 QC1: Contrôle de la date et position de données de mouillage au point fixe

6 6 QC2 - Contrôle des points de mesure Contrôles automatiques Resultats/Flag Date/temps seuls Elimination Hors limites régionales 4 (min & max values) Date non croissante 4 Données sous le fond 4 Coherence avec les statistiques 2 Profil constant (capteur bloqué) 4 Pics- Gradient 3 (instabilité verticale > seuil de bruit) 4

7 7 QC2 - Contrôle visuel des points de mesure

8 8 QC2 - Control of the Data points Minimum & Maximum - Broad Range Check 0 200 2000 6000

9 9 QC2 - Control of the Data points Regional Adjustment for Broad Range Checks

10 10 Contrôles visuels l Coherence Interne des données du mouillage l QC1 : position 3D et date des enregistrements des capteurs (stations) dun même mouillage l QC2 : Superposition et décalage des données collectées sur un même mouillage l Coherence externe l QC1 : Verification des doubles si les données sont déjà tout ou partie archivées l QC2 : Possibilité de superposer les données dun autre mouillage l Levers de doute l Pics l Test de la climatologie l Instabilité Verticale (4 valeurs potentiellemnt douteuses)

11 11 QC2- Vertical Stability Check l Threshold noise for instability detection l 0.03 in sigma-t for high resolution deep water stations l 0.05 to 0.1 for coastal or low resolution stations l 4 data points to be checked : 2 levels T, S l Automatic seach for further anomaly l if any flag=4 at this point l if none flag=4 at the 4 points and manual decision

12 12 QC2 - Spike and Gradient Checks l On 2 consecutive points at the top and bottom l On 3 consecutive points in between l Threshold for detection adjustable in geographical subregions and vertical layers

13 13 QC2- Climatological Checks l Several available climatologies : Levitus 94, 98, Reynaud, Medatlas, MODB l Default Climatology is Levitus 98 1x1 degree l Allowed Variability ã Shallow water stations bottom < 100 m : 5 standard deviations ã Shelf Stations 200< bottom < 400 : 4 standard deviations ã Deep Stations bottom > 400 m : 3 standard deviations