SISMER SISMER Systèmes dInformations Scientifiques pour la Mer F-CNDO Centre de Données Présenté par Catherine MAILLARD Brest 2 Fev 2001.

Présentation au sujet: "SISMER SISMER Systèmes dInformations Scientifiques pour la Mer F-CNDO Centre de Données Présenté par Catherine MAILLARD Brest 2 Fev 2001."— Transcription de la présentation:

1 SISMER SISMER Systèmes dInformations Scientifiques pour la Mer F-CNDO Centre de Données Présenté par Catherine MAILLARD Brest 2 Fev 2001

2 l Locéanographie opérationnelle crée de nouveaux besoins l Le travail amont fait sur les données temps différé est un acquis qui contribue à améliorer la gestion de ces données

3 Équipe SISMER Chef de service : Catherine MAILLARD Secrétaire (avec ISIB): Béatrice MILOSAVLJEVIC Données de Référence Michel BELLOUIS Physique-Chimie Michèle FICHAUT Françoise LE HINGRAT Gwenaëlle RICOU Géophysique Eric MOUSSAT Chantal CROGUENNEC Océanographie Opérationnelle Loic PETIT DE LA VILLEON Yvette RAGUENES

4 Contexte Historique et Missions L'archivage et la diffusion des données océanographiques françaises date de 1968 et couvre différents domaines de la physique et de la chimie marines, de la géophysique mesurée en route ainsi que de l'information générale. SISMER (Systèmes d'Informations Scientifiques pour la Mer) a été créé en 1990 pour reprendre ce service dans un contexte de volume de données grandissant, de besoins scientifiques et techniques évoluant rapidement et de lapparition de nouvelles technologies informatique. Il est le Centre National de Données Océanographiques (CNDO) désigné pour la France par la Commission Océanographique Intergouvernementale (COI) de l'UNESCO, dans le cadre du programme International Oceanographic Data and Information Exchange (IODE), la suite de l'ancien Bureau National des Données Océaniques (BNDO). Les missions revues lors de la restructuration de la Direction de la Technologie (décision 30/8/99) le chargent du centre de données océanographique de lIFREMER et réaffirment en les précisant, les missions données lors de la création, en particulier : –collecte, catalogage, contrôle et sauvegarde et diffusion des données marines acquises par la communauté scientifique nationale –représentation de lIFREMER au sein des instances nationales et internationales pour la gestion des données océanographiques –sur décision de D/IFREMER, participation aux bases de données de programmes nationaux & internationaux Ses projets sinscrivent dans le programme «systèmes dinformation pour locéanographie» (J4) du thème fédérateur «grands équipements pour locéanographie», comme les navires

5 Enjeux de la gestion des données 1 - Bases de progrès des connaissances, les besoins de données scientifiques sont croissants äValorisation des campagnes: la seconde utilisation des données peut permettre déconomiser du temps navire et/ou améliorer la préparation des nouvelles campagnes äAssistance à la gestion des données des grands programmes scientifiques, en particulier les programmes communautaires; les jeux de données produits sont considérés en eux-mêmes comme des résultats importants des projets et doivent être publiés äLe secteur industriel offshore (prospection pétrolière, télécomunication) et les services publics (meteo, défense) ont des besoins croissants de données marines äLa gestion des ressources marines, le suivi de lenvironnement et des changements climatiques nécessitent la compilation de longues séries dobservations cohérentes et comparables, en temps réel (alerte et prévision) et en temps différé (études et mises au point technologiques) äL amélioration des modèles d analyse et prevision de l océan nécessite des données de qualité pour assimilation, (re-)analyses, tests de modèles

6 Enjeux 2 - Fiabilité des données äUn contrôle de qualité est nécessaire qui : äfiltre les valeurs erronées ou douteuses äne filtre pas les données qui rendent compte d une réelle modification du milieu äsappuie sur les connaissances statistiques du milieu déjà acquises äcapable d être opérés sur de gros volumes de données telles celles engendrés par les nouveaux capteurs de locéanographie opérationnelle et de la géophysique äcapable de s étendre aux multiples et complexes nouveaux paramètres observés

7 Enjeux et Perpectives 3 - Les Moyens à mettre en place Un archivage centralisé et opérationnel est nécessaire pour : äne pas perdre les données : des études récentes ont montré quavant 10 ans, 30% des données non archivées dans un centre de données sont perdues; et que la sécurité des données nécessite un double archivage et des outils adaptés. une fois perdues, les observations collectées dans un environnement variable ne peuvent plus jamais être refaites. äavoir accès aisément à des données de même type : leffort fourni par un service comme SISMER pour compiler des données dispersées à des format hétérogènes provenant de sources différentes ne doit pas être refait par chaque utilisateur; le service apporté doit également être pérenne; äassurer une certaine cohérence et compatibilité aux jeux de données collectées par différents capteurs et différentes équipes via la normalisation des formats et des QC; ädévelopper et maintenir la capacité de gestion de gros volumes de données fournies par les nouveaux capteurs et la mise en place de locéanographie opérationnelle; äpréparer des produits de synthèse utiles à des utilisateurs non spécialistes

8 Circulation des données MICROBIOLOGY INSTRUMENTS MOORINGS CTD SEA CRUISES W W W ftp cassettes fichier données Fichier données SAUVEGARDE SERVEUR BDR NUTRIENTS INSTRUMENTS MOORINGS CTD SEA CRUISES MICROBIOLOGY NUTRIENTS Formulaires Meta-Données Collecte Formatage QC DIFFUSION

9 Support Matériel et Logiciel Stations de travail UNIX PC 2 SGBR sous ORACLE logiciels Bureautique Outils dédiés : outils de QC Interfaces dextraction Interfaces de saisie/chargement

10 Outils dédition Edition de catalogues WWW par liens dynamiques avec le SGBD (htql) Edition de catalogues/rapports papier et mailing Edition de produits sur Cdrom éextraction de données selon divers critères et zones géographiques

11 Diffusion des Données Base TOGA/WOCE/CLIVAR : 50 (8 automatiquement en ligne, 42 diffusion manuelle) Cdrom MEDATLAS : 14 gratuits (échange de données) + 30 vendus l Base campagnes, données de référence et information générale : environ 200 connexions par jour sur le web

12 FORMATS Meta-Données : RDBS - ORACLE Données - Observations –autodescriptive ASCII ( MEDATLAS/CORIOLIS ASCII ) –NetCDF – incluent le meta-données sous forme de mots- clé, obligatoire ou optionnels, également copiés dans la BD ORACLE Données - données maillées –MODB/MEDMEX

13 Assurance Qualité Il est important dassurer : 1) que les données et formats sont suffisamment documentées pour être utilisables 2) quil ne sy trouve pas danomalie majeure bloquant les traitements nécessaires 3) la cohérence et la comparabilité de données issues de différentes sources Méthodologie Toutes les données sont soumises à des contrôles de qualité (QC) automatiques et visuels assistés par systèmes experts –QC0 : contrôle du format et de la complétude de linformation –QC1 : Contrôle de la position et de la date –QC2 : Contrôle des valeurs dobservation Résultat : indicateurs de qualité, action du fournisseur ou élimination Références - Normes internationales –CIEM-Marine Data Management working Group (CIEM) –UNESCO/COI/IODE : International Oceanographic Data & Information Exchange

14 Banques Nationales et Projets Associés Catalogues -Meta-databases - EURONODIM/Sea-Search © CAMPAGNES - ROSCOP/CSR (>4700 campanes référencées) © DONNEES - MEDI/EDMED â Banque Nationale de Géophysique + DORSALES â Banque Nationale de Physique et Chimie Marines + MEDAR, MATER â Bases de Données pour locéanographie opérationnelle + GSDC TOGA/WOCE/CLIVAR + CORIOLIS â Données de référence : climatologies, données topographiques, produits publiés par les autres CD

15

16

17 Rôle dans lIFREMER SISMER est un service du Département «Informatique et Données Marines» de TMSI Les missions revues lors de la restructuration de la Direction de la Technologie (décision 30/8/99) le chargent du centre de données océanographique de lIFREMER : –définition et administration des bases de données nécessaires –collecte, catalogage, contrôle et sauvegarde et diffusion des données marines acquises par la communauté scientifique nationale –représentation de lIFREMER au sein des instances nationales et internationales pour la gestion des données océanographiques –sur décision de D/IFREMER, participation aux bases de données de programmes nationaux & internationaux Ses projets sinscrivent dans le programme «systèmes dinformation pour locéanographie» (J4) du thème fédérateur «grands équipements pour locéanographie», comme les navires

18 CONCLUSION La bonne gestion des données collectées est un enjeu majeur de locéanographie et lIFREMER doit le soutenir proportionnellement à leffort de mesures en mer. Des moyens dincitation, en particulier via lattribution de temps navire, doivent encourager les scientifiques à accélérer la publication de leurs données au centre de données. Larrivée de nouveaux types de données et de très gros volumes de données issues des nouveaux capteurs et de locéanographie opérationnelle imposent au SISMER daméliorer ses outils et ses procédures dans la voie dune automatisation accrue, mais cet effort seul ne peut suffire à la tâche.

19 Banque Nationale de Géophysique Marine l Bathymétrie Verticale : 353 Campagnes l Bathymétrie Multifaisceaux: 278 Campagnes l Gravité : 213 Campagnes l Magnétisme : 256 Campagnes l Imagerie : 64 Campagnes Campagnes l Sismique –Projets associés : DORSALES-RIDGE, ROBLINKS

20 DORSALES-RIDGE

21 Banque Nationale de Physique et Chimie Marines l CTD16 790 l Profils Bouteilles 34 111 l Séries temporelles Courantométrie 1853 l Séries temporelles Chaînes de Thermistances 126 Related Projects : MEDAR/MEDATLAS, MATER, OCTOPUS, ROBLINKS

22 MAST- MEDAR/MEDATLASII Mediterranean Data Archaeology and Rescue of Temperature, Salinity and Bio- chemical Parameters IFREMER/SISMER Brest, France IEO Madrid, Spain UL/GHER Liège, Belgium ICES Copenhaguen, Dk INRH/DOTM Casablanca, Morocco ISMAL Alger, Algeria NCMR/HNODC Athens, Hellas TN/DNHO Istanbul, Turkey NIMH Sofia, Bulgaria IOC Paris, France UM-PO Msida, Malta RIHMI-WDC Obninsk, Russia MHI/MIST Sevastopol, Ukraine NIOF/ENODC Alexandria, Egypt FD-MANRE/CyNODC Nicosia, Cyprus NCSR-NCMS Batroun, Lebanon IOLR Haifa, Israel ENEA La Spezia, Italy OGS Trieste, Italy CNR/IMGA Bologne, Italy Collaborations and Scientific Advisers : GODAR Project - WDC-A, NODC-Croatia, DNA Tunisia, DNA Georgia EUROGOOS, MEDGOOS, IODE Network

23 Objectifs de MEDAR/MEDATLAS MEDAR vise à compléter les zones vides de données à lest et au sud par une collaboration internationale étendue en Europe et avec le réseau des centres de données COI/IODE-Mediterranée, pour compiler les paramètres bio-chimiques de base : –Oxygène, Nitrate, Nitrite, Ammonium, Azote total, Phosphate, Phosphore total, Silicate, H2S, pH, Alkalinité, Chlorophylle-a nécessaires à la surveillance et lexploitation de la mer, et à préparer un produit de synthèse utile pour une large gamme dutilisateurs : scientifiques, étudiants, industrie.

24 MTPII-MATER MAss Transfer and Ecosystem Response (MAS3-CT96-0051) 3 Centres de Données Régionaux et une Animation 105 Campagnes 126 Lignes de Mouillage

25 Centre International de Données de sub-surface TOGA/WOCE/CLIVAR l 474688 profiless of temperature 1985-1998 (2000) l Automatic and Visual QC l WWW Interface to access data Related Projects : CORIOLIS, MFSPP

26 MFSPP Mediterranean Forecasting Pilot Project (MAS3-CT98-0171) Model predictions with Assimilation of RT in situ data from VOS, from multidisciplinary mooring in Aegean Sea, satellite and meteorological data

27 CORIOLIS provor float cycling launchingreference datereference date + 1 period cycle 0 does not match the period cycle 1cycle 2 cycle period argos

28 data centre functions Interoperability with argo data base (RDBS) catalogue - archive gts (meteo-france) mail mailing lists WWW (full data set) control data quality control technical monitoring of equipments data collect mail internet gts cd-rom paper... dissemination public / private products graphics and charts statistics analyses cd-rom or other support on request quality insurance for exploitationhardware & software management - backup models (Mercator, Soprane)

29 provor profilers

30 description of a provor

31 display of a provor profile

32 provor in pommier area

33 Assurance Qualité –QC0 : Contrôle du format et de linformation –QC1 : Contrôle de la position, date et des doublons –QC2 : Contrôle des points de données –Résultats : Elimination ou Flag de Qualité : Echelle GTSPP – –Normes et Réferences –ICES -GETADE Formatting Guidelines for Oceanographic Data Exchange (http://www.ices.dk/ocean/) –ICES -MDM QA Guidelines - CTD - Marine Data Management working Group (CIEM) Reports –UNESCO/COI/IODE : Manual of Quality Control Procedures for validation of Oceanographic Data - Manuals and Guides 26 –UNESCO/IOC/IODE : GF3 A General Formattin System for Geo-Referenced Data - Manual and Guides 17 0 1 2 34 59 No QC Correct Inconsistent Doubtful Bad ChangedMissing

34 QC1 Control of the location and Date - Data collected in station Automatic ChecksResults - Flag Duplicate data setsElimination Date Elimination or 5 Ship/Platform velocity Elimination or 5 Location/shoreline Elimination or 5 Bottom sounding (ETOPO5) Elimination or 2 5 = Correction/Interpolation 2 = Flag «Inconsistant with statistics» - no correction

35 QC1 Contrôle de la date et de la position

36 QC1: Control of the location and Date - Time series on fixed mooring

37 QC2 - Control of the Data points Automatic Checks Results - Flag Pressure + one more observation Elimination Out of the regional scale 4 (min & max values) Increasing pressure 4 Data below the bottom depth 4 Coherence with pre-existing statistics (LEVITUS, REYNAUD, MODB, MEDATLAS) 2 No constant profiles 4 Spikes 3 Vertical stability 4

38 QC2 - Control of the Data points Minimum & Maximum - Broad Range Check

39 QC2 - Control of the Data points Regional Adjustment for Broad Range Checks

40 QC2 - Contrôle des Observations

41 provor temperature map

42 COASTAL MONITORING - MAREL

43 SISMER SISMER Systèmes dInformations Scientifiques pour la Mer F-NODC Centre de Données Présenté par Catherine MAILLARD Réunion MERCATOR/CORIOLIS Brest 12 Avril 2000