SISMER Centre National de Données Océanographiques

Présentation au sujet: "SISMER Centre National de Données Océanographiques"— Transcription de la présentation:

1 SISMER Centre National de Données Océanographiques
Systèmes d’Informations Scientifiques pour la Mer Centre National de Données Océanographiques

2 Equipe SISMER – les thématiques
Animation du service Information, Catalogues, Coopération Catherine MAILLARD Secretaire (avec ISI): Béatrice MILOSAVLJEVIC (1/2) Vanessa TOSELLO (*) Banque Nationale de Physique & Chimie Marines Michèle FICHAUT Françoise LE HINGRAT Nolwenn CARN Banque Nationale de Géophysique & Géologie Marines Eric MOUSSAT Céline CORDIER Martine PENNEC Centre de Données CORIOLIS Océanographie Opérationnelle Loic PETIT DE LA VILLEON Yvette RAGUENES Vincent BERNARD Olivier DESPREZ DE GESINCOURT (*) Christine COATANOAN Données de Référence SIG SEXTANT Michel BELLOUIS

3 Activité de SISMER dans les programmes IFREMER
Thème : Grands équipements pour l’océanographie Programme : Centre de données océanographiques Portail SISMER & Coopération Nationale et internationale Développement et maintenance du portail WWW et du serveur SGBD SISMER Catalogue des Campagnes (ROSCOP/CSR) Catalogues SEASEARCH, EDIOS Catalogue EUROSEISMIC Données de Référence et SIG SEXTANT Coopération Nationale et Internationale (CIEM-MDM, COI/IODE, JCOMM, POGO, bilateral Coop., Nat. WG) Banque Nationale de Géologie et Géophysique Marines Banque Nationale de Physique et Bio-chimie Marines Développement logiciel (ISI)

4 SISMER dans l’organigramme de l’ IFREMER
créé en 1990, SISMER appartient depuis 1997 au Département “Informatique et Données Marines” (IDM); il remplace, avec évlolutions importantes des missions, outils et projets, le BNDO créé en 1968 SISMER travaille en étroite collaboration avec le service d’ingénierie ISI et peut ainsi disposer d’outils de traitement et de communication adaptés, innovants et performants. Cette collaboration permet également de gérer et diffuser les données selon les normes de qualité internationalement admises et d’offrir le meilleur service possible d’information et de données à la communauté des utilisateurs.

5 MISSIONS SISMER (Systèmes d'Informations Scientifiques pour la Mer), créé en 1990, est un service de l’IFREMER qui a pour mission: développer et exploiter des systèmes d’information et des bases de données dans le domaine marin; établir les normes de qualité à respecter pour l’archivage et la gestion des données marines; maintenir un inventaire des données marines en France, leurs responsables et les conditions d’accès; representer l’IFREMER au sein des organisations nationales et internationales impliquées dans la gestion des donées marines; contribuer à la formation et au transfert de connaissances dans son domaine de compétence. SISMER a été désigné Centre National de Données Océanographiques (CNDO), pour le programme d’échange international d’informations et de données océanographiques (IODE) de la Commission Océanographique Intergouvernementale de l’UNESCO, à la suite du précédent Bureau National des Données Océaniques (BNDO).

6 Présentation Générale des Activités
Les programmes d’activité de SISMER: Opérer la Banque Nationale Océanographique qui couvre les domaines de la géologie, de la géophysique, de la physique et de la bio-chimie marines, ainsi que l’information générale sur les campagnes et les données; Participer aux structures de gestion de données des programmes de l’IFREMER qui incluent plusieurs projets nationaux, européens et internationaux, en particulier de projets communautaires de l’Union Européenne; Mettre à disposition de la communauté les produits de données d’intérêt général publiés par divers organismes (climatologies, fond maillé de l’océan, trait de côte, informations adminsitratives et cadastrales etc..);

7 Activité de SISMER dans les programmes IFREMER
Surveillance, Monitoring et Exploitation des Mer côtières Programme Intégré Méditerranée Gestion des campagnes et système d’information Evaluation et exploitation durable des resources halieutiques Programme Intégré Golfe de Gascogne Technologie Gestion des données Exploration et Exploitation des fonds océaniques Programme cartographie de l’océan EXTRAPLAC Programme Technologie des observatoires fond de mer ESONET Circulation et ecosystèmes marins, processus, évolution et prédiction Programme Développement d’outils d’observation MFSTEP Programme sysèmes opérationnels du large à la côte CORIOLIS Exploitation du centre et des données MERSEA, GOSUD, GTSPP, GYROSCOPE.. Données temps réel des navires de recherche

8 Catalogues – Meta-données
Campagnes : 5879 résumés ROSCOP/CSR (Cruise Summary Report) de campagnes et mouillages Bases/Jeux de données des laboratoires de la communauté françaises ou acquis à titre d'échange : 352 fiches descriptives EDMED (European Directory of Marine Environmental Datasets) (dont 82 au SISMER) Stations d’observations « Temps Réel » EDIOS, MAMA EUROSEISMIC

9 Banque Nationale de Géophysique Marine
Navigation: Campagnes Bathymétrie Verticale : 472 Campagnes Bathymétrie Multifaisceaux: 341 Campagnes Gravité : Campagnes Magnétisme : Campagnes Imagerie : Campagnes Campagnes Sismique : en cours Projets associés : DORSALES-RIDGE, EUROSEISMICS, EXTRAPLAC La banque de géophysique gère de gros volumes et fichiers de données.

10 DORSALES-RIDGE

11 Banque Nationale de Physique et Chimie Marines
CTD Profils Bouteilles Séries temporelles Courantométrie Séries temporelles Chaînes de Thermistances Séries de thermosalinographe collectées en route ADCP – en cours Projects : MEDAR/MEDATLAS, MATER, OCTOPUS, ROBLINKS, ACME La banque de Physique et Chimie Marines comprend des données collectées depuis le début du siècle.

12 MAST- MEDAR/MEDATLASII (MAS3-CT & ERBIC20-CT ) Mediterranean Data Archaeology and Rescue of Temperature, Salinity and Bio-chemical Parameters Collaborations and Scientific Advisers : GODAR Project - WDC-A, NODC-Croatia, DNA Tunisia, DNA Georgia EUROGOOS, MEDGOOS, IODE Network DATA TYPE NB OF PROFILES CTD 36054 BOTTLE 88453 MBT and XBT THERMISTANCE  29

13 MTPII-MATER MAss Transfer and Ecosystem Response (MAS3-CT96-0051)
105 Oceanographic Cruises 126 Moorings 3 Regional Data Centres and an Animation Task

14 CORIOLIS provor float cycling
cycle period cycle period launching reference date reference date + 1 period argos argos argos cycle 0 does not match the period cycle 1 cycle 2

15 Base de données océanogrpahie opérationnelle CORIOLIS TOGA/WOCE/CLIVAR Global Subsurface Data Centre & Argo September 2003 RT profiles from Argo floats, PIRATA & TAO moorings RT CTD, buoys, Xbt, in blue T only, green TS profiles

16 Données de Référence Climatologies maillées (Levitus, MODB, MEDATLAS, Reynaud ..) Données Topographiques (ETOP5, TOPO_2mn, Gravi_2mn, SHOM &IGN trait de côte ..) Prédictions de marée- SHOM Information cadastrale, economique etl administrative produits sur CDroms & disquettes reçus au SISMER Dissemination sur Internet ou Intranet selon les droits

17 Gestion des données Centre d’archivage
Collecte des données sur les navires Centre d’archivage COMPILATION FORMATAGE VERIFICATiON (QC) SAUVEGARDE fichier données Fichier Par des engins autonomes SERVEUR BDR MICROBIOLOGY INSTRUMENTS MOORINGS CTD SEA CRUISES NUTRIENTS DIFFUSION W W W ftp media Validation scientifique et documentation des Meta-Données

18 Compilation des données scientifiques
Les sources de données sont multiples et variées Les données temps réel arrivent par des circuits automatiques Les données temps différés sont acquises au retour des navires ou auprès des laboratoires 120 laboratoires et services en activité contribuent à la collecte en mer; à ces laboratoires français s’ajoutent de nombreux laboratoires européens lors des projets communautaires les données sont validées par ces laboratoires et sauvegardées sur différents systèmes, avec des organisations et des formats différents les unités ne sont pas toujours normalisées, et les valeurs erronées pas toujours éliminées (ex: capteur O2 défaillant en cours de mission) les supports d’archivage ont une durée de vie limitée Une dernière étape d’archivage est nécessaire si la pérennité, la cohérence et l’accessibilité des données

19 FORMATS Entrée : toutes sortes de format
Archivage : un format par type de données Diffusion : un nombre limité de formats possibles en fonction des des projets Meta-Données et temps réel: RDBS - ORACLE Données – Observations temps différé: autodescriptive ASCII NetCDF  incluent le meta-données sous forme de mots-clé, obligatoire ou optionnels, également copiés dans la BD ORACLE Données de référence - données maillées SIG - Sextant ISI + NetCDF MODB/MEDMEX ARGO (en évolution)

20 Contrôles de Qualité les données collectées par les laboratoires sont validées par les laboratoires, mais les organisations et les formats des reçues sont en général hétérogènes – dans tous les cas un minimum de contrôles supplémentaires est nécessaire Objectifs 1) que les données et formats soient suffisamment documentées pour être utilisables 2) qu’il ne se trouve pas d’anomalie majeure bloquant les traitements ultérieurs 3) que les données issues de différentes sources soient cohérentes et comparables Méthodologie : toutes les données sont soumises à des contrôles de qualité (QC) automatiques et visuels assistés par systèmes experts Références - Normes internationales : CIEM, UNESCO/IODE/COI Résultat : un indicateur de qualité attaché à chaque valeur numérique En cas d’anomalie : le fournisseur est contacté pour correction ou intervention sur capteurs éventuelles ou élimination de la donnée

21 Portail SISMER & Système de Gestion
SGBD Serveur SISMER Gestion des Données Campagnes en Mer Système d’archivage Fichiers scientifiques ASCII, NetCdf bandes magnétiques DLT, disques .... RT & GSDC Base de Données Coriolis Protocole de Transfer normalisé (XML-ISO19115) Interface normalisée www/ifremer.fr/sismer EDMED/MEDI catalogue centralisé for integrated requests to different databases with access rights management through Marine XML communication protocol the present portal provide access to all meta-data and some products without restriction and contacts for data requests the new portal in development will provide full access to data with geographical tools to registered users

22 Le Serveur SISMER - Contenu général
Information (méta-données) océanographique nécessaire à l'archivage et à la diffusion des données : type de données, date, localisation, capteurs utilisés, paramètres mesurés, système d'archivage, responsable, format, niveau de validation, les références méthodologiques et bibliographiques associées Catalogues thématiques et l'adresse logique des fichiers de données Logiciels de chargement, d’édition

23 Le Serveur SISMER – Principales tables
Campagnes CAM (ROSCOP/CSR) NAV PAR (paramètres ROSCOP) PLP (plan de position) Bases BAS (EDMED) DOM (Domaines) Résumés de données RES FIC (fichier) Annuaire ORG DPT (département, laboratoire, service) RSP, CLI (responsable, client) PAY Références COD BIB (reference biblio) ADR (adresse d’un document, d’un site WWW ...) EQU (équipement) PRJ (EDMERP) Geosciences Physique/ biochimie Biologie

24 Le Serveur SISMER – Logiciels associés
Logiciels commerciaux : SGBDR ORACLE Technologie de communication Internet Logiciels IFREMER/ISI ( avec la collaboration de sociétés d’informatique) logiciels de chargement logiciels d’extraction de données logiciels de publication

25

26 Diffusion sur CDrom

27 Diffusion des données Diffusions particulieres
Base TOGA/WOCE/CLIVAR GSDC/CORIOLIS Cdroms MATER, MEDATLAS 2002 Catalogue des Campagnes et Receuil Annuel

28 Enjeux de la gestion des données
Assurer aux données sécurité, qualité et accessibilité: ne pas perdre les données : des études récentes ont montré qu’avant 10 ans, 30% des données non archivées dans un centre de données sont perdues; et que la sécurité des données nécessite un double archivage et des outils adaptés. une fois perdues, les observations collectées dans un environnement variable ne peuvent plus jamais être refaites assurer une certaine cohérence et compatibilité aux jeux de données collectées par différents capteurs et différentes équipes et époques, via la normalisation des unités, formats et QC; avoir accès aisément à des données de sources différentes : un portail unique évite à chaque utilisateur de recompiler des données dispersées à des format hétérogènes préparer des jeux de données intégrées et des produits de synthèse utiles à des utilisateurs spécialistes ou non sous une forme appropriée aux besoins et dans les délais requis en collaboration avec les équipes scientifiques La gestion des données doit être organisée et méthodique – c’est un travail d’équipe

29 Conclusions et Perspectives
La bonne gestion des données collectées est un enjeu majeur de l’océanographie qui doit être soutenu proportionnellement à l’effort de mesures en mer. Des moyens d’incitation, en particulier via l’attribution de temps navire, doivent encourager les scientifiques à accélérer la publication de leurs données au centre de données. Un groupe de travail interorganisme, le GTDO (CNRS,IFREMER, METEO-France, CNES, IRD) met en place une politique de diffusion des données pour améliorer leur circulation Une évolution rapide des procédures est en cours pour faire face à l’arrivée de nouveaux types de données, de gros volumes de données issues des nouveaux capteurs, et de la nécessité d’utiliser les nouvelles techniques de communication la normalisation des données et l’accès au plus large volume possible de données impose de travailler dans un contexte international et européen – Un réseau d’excellence, Sea-Datanet est en préparation dans cette perspective Visiter notre site :

30 Enjeux de la gestion des données Bases de progrès des connaissances, les besoins de données scientifiques sont croissants Valorisation des campagnes: la seconde utilisation des données peut permettre d’économiser du temps navire et/ou améliorer la préparation des nouvelles campagnes Assistance à la gestion des données des grands programmes scientifiques, en particulier les programmes communautaires; les jeux de données produits sont considérés en eux-mêmes comme des résultats importants des projets et doivent être publiés Le secteur industriel offshore (prospection pétrolière, télécomunication) et les services publics (meteo, défense) ont des besoins croissants de données marines La gestion des ressources marines, le suivi de l’environnement et des changements climatiques nécessitent la compilation de longues séries d’observations cohérentes et comparables, en temps réel (alerte et prévision) et en temps différé (études et mises au point technologiques) L ’amélioration des modèles d ’analyse et prevision de l ’océan nécessite des données de qualité pour assimilation, (re-)analyses, tests de modèles

31 Enjeux de la gestion des données 2 - Fiabilité des données
Un contrôle de qualité est nécessaire qui : filtre les valeurs erronées ou douteuses ne filtre pas les données qui rendent compte d ’une réelle modification du milieu s’appuie sur les connaissances statistiques du milieu déjà acquises capable d ’être opérés sur de gros volumes de données telles celles engendrés par les nouveaux capteurs de l’océanographie opérationnelle et de la géophysique capable de s ’étendre aux multiples et complexes nouveaux paramètres observés

32 Assurance Qualité 4 5 1 2 3 9 Objectifs Méthodologie
1) que les données et formats sont suffisamment documentées pour être utilisables 2) qu’il ne se trouve pas d’anomalie majeure bloquant les traitements ultérieurs 3) cohérence et comparabilité de données issues de différentes sources Méthodologie 1) toutes les données sont soumises à des contrôles de qualité (QC) automatiques et visuels assistés par systèmes experts QC0 : contrôle du format et de la complétude de l’information QC1 : Contrôle de la position et de la date QC2 : Contrôle des valeurs d’observation 2) en cas d’anomalie, le fournisseur est contacté pour correction éventuelle ou élimination Références - Normes internationales CIEM-Marine Data Management working Group (CIEM) UNESCO/COI/IODE : International Oceanographic Data & Information Exchange Résultat un Indicateur de qualité attaché à chaque valeur numérique 4 5 1 2 3 9 pas fait Correct Inconsistant Douteux mauvais Modifié Manquant

33 QC1- Contrôle Date et Position Données en Station - Tests

34 QC1 Control of the location and Date - Data collected in station

35 QC1 - Contrôle Date et Position Données en séries temporelles

36 QC2 – Contrôle Observations Liste des tests

37 QC2 – Contrôle des points de mesure

38 QC2 – Contrôle Observations Visualisation

39 QC1: Control of the location and Date - Time series on fixed mooring