SISMER Centre National de Données Océanographiques Systèmes d’Informations Scientifiques pour la Mer Centre National de Données Océanographiques

Equipe SISMER – les thématiques Animation du service Information, Catalogues, Coopération Catherine MAILLARD Secretaire (avec ISI): Béatrice MILOSAVLJEVIC (1/2) Vanessa TOSELLO (*) Banque Nationale de Physique & Chimie Marines Michèle FICHAUT Françoise LE HINGRAT Nolwenn CARN Banque Nationale de Géophysique & Géologie Marines Eric MOUSSAT Céline CORDIER Martine PENNEC Centre de Données CORIOLIS Océanographie Opérationnelle Loic PETIT DE LA VILLEON Yvette RAGUENES Vincent BERNARD Olivier DESPREZ DE GESINCOURT (*) Christine COATANOAN Données de Référence SIG SEXTANT Michel BELLOUIS

Activité de SISMER dans les programmes IFREMER Thème : Grands équipements pour l’océanographie Programme : Centre de données océanographiques Portail SISMER & Coopération Nationale et internationale Développement et maintenance du portail WWW et du serveur SGBD SISMER Catalogue des Campagnes (ROSCOP/CSR) Catalogues SEASEARCH, EDIOS Catalogue EUROSEISMIC Données de Référence et SIG SEXTANT Coopération Nationale et Internationale (CIEM-MDM, COI/IODE, JCOMM, POGO, bilateral Coop., Nat. WG) Banque Nationale de Géologie et Géophysique Marines Banque Nationale de Physique et Bio-chimie Marines Développement logiciel (ISI)

SISMER dans l’organigramme de l’ IFREMER créé en 1990, SISMER appartient depuis 1997 au Département “Informatique et Données Marines” (IDM); il remplace, avec évlolutions importantes des missions, outils et projets, le BNDO créé en 1968 SISMER travaille en étroite collaboration avec le service d’ingénierie ISI et peut ainsi disposer d’outils de traitement et de communication adaptés, innovants et performants. Cette collaboration permet également de gérer et diffuser les données selon les normes de qualité internationalement admises et d’offrir le meilleur service possible d’information et de données à la communauté des utilisateurs.

MISSIONS SISMER (Systèmes d'Informations Scientifiques pour la Mer), créé en 1990, est un service de l’IFREMER qui a pour mission: développer et exploiter des systèmes d’information et des bases de données dans le domaine marin; établir les normes de qualité à respecter pour l’archivage et la gestion des données marines; maintenir un inventaire des données marines en France, leurs responsables et les conditions d’accès; representer l’IFREMER au sein des organisations nationales et internationales impliquées dans la gestion des donées marines; contribuer à la formation et au transfert de connaissances dans son domaine de compétence. SISMER a été désigné Centre National de Données Océanographiques (CNDO), pour le programme d’échange international d’informations et de données océanographiques (IODE) de la Commission Océanographique Intergouvernementale de l’UNESCO, à la suite du précédent Bureau National des Données Océaniques (BNDO).

Présentation Générale des Activités Les programmes d’activité de SISMER: Opérer la Banque Nationale Océanographique qui couvre les domaines de la géologie, de la géophysique, de la physique et de la bio-chimie marines, ainsi que l’information générale sur les campagnes et les données; Participer aux structures de gestion de données des programmes de l’IFREMER qui incluent plusieurs projets nationaux, européens et internationaux, en particulier de projets communautaires de l’Union Européenne; Mettre à disposition de la communauté les produits de données d’intérêt général publiés par divers organismes (climatologies, fond maillé de l’océan, trait de côte, informations adminsitratives et cadastrales etc..);

Activité de SISMER dans les programmes IFREMER Surveillance, Monitoring et Exploitation des Mer côtières Programme Intégré Méditerranée Gestion des campagnes et système d’information Evaluation et exploitation durable des resources halieutiques Programme Intégré Golfe de Gascogne Technologie Gestion des données Exploration et Exploitation des fonds océaniques Programme cartographie de l’océan EXTRAPLAC Programme Technologie des observatoires fond de mer ESONET Circulation et ecosystèmes marins, processus, évolution et prédiction Programme Développement d’outils d’observation MFSTEP Programme sysèmes opérationnels du large à la côte CORIOLIS Exploitation du centre et des données MERSEA, GOSUD, GTSPP, GYROSCOPE.. Données temps réel des navires de recherche

Catalogues – Meta-données Campagnes : 5879 résumés ROSCOP/CSR (Cruise Summary Report) de campagnes et mouillages Bases/Jeux de données des laboratoires de la communauté françaises ou acquis à titre d'échange : 352 fiches descriptives EDMED (European Directory of Marine Environmental Datasets) (dont 82 au SISMER) Stations d’observations « Temps Réel » EDIOS, MAMA EUROSEISMIC

Banque Nationale de Géophysique Marine Navigation: 709 Campagnes Bathymétrie Verticale : 472 Campagnes Bathymétrie Multifaisceaux: 341 Campagnes Gravité : 311 Campagnes Magnétisme : 276 Campagnes Imagerie : 141 Campagnes Campagnes Sismique : en cours Projets associés : DORSALES-RIDGE, EUROSEISMICS, EXTRAPLAC La banque de géophysique gère de gros volumes et fichiers de données.

DORSALES-RIDGE

Banque Nationale de Physique et Chimie Marines CTD 26 426 Profils Bouteilles 39 779 Séries temporelles Courantométrie 1980 Séries temporelles Chaînes de Thermistances 117 Séries de thermosalinographe collectées en route 227 ADCP – en cours Projects : MEDAR/MEDATLAS, MATER, OCTOPUS, ROBLINKS, ACME La banque de Physique et Chimie Marines comprend des données collectées depuis le début du siècle.

MAST- MEDAR/MEDATLASII (MAS3-CT98-0174 & ERBIC20-CT98-0103) Mediterranean Data Archaeology and Rescue of Temperature, Salinity and Bio-chemical Parameters Collaborations and Scientific Advisers : GODAR Project - WDC-A, NODC-Croatia, DNA Tunisia, DNA Georgia EUROGOOS, MEDGOOS, IODE Network DATA TYPE NB OF PROFILES CTD 36054 BOTTLE 88453 MBT and XBT 161890 THERMISTANCE  29

MTPII-MATER MAss Transfer and Ecosystem Response (MAS3-CT96-0051) 105 Oceanographic Cruises 126 Moorings 3 Regional Data Centres and an Animation Task

CORIOLIS provor float cycling cycle period cycle period launching reference date reference date + 1 period argos argos argos cycle 0 does not match the period cycle 1 cycle 2

Base de données océanogrpahie opérationnelle CORIOLIS TOGA/WOCE/CLIVAR Global Subsurface Data Centre & Argo September 2003 RT profiles from Argo floats, PIRATA & TAO moorings RT CTD, buoys, Xbt, in blue T only, green TS profiles

Données de Référence Climatologies maillées (Levitus, MODB, MEDATLAS, Reynaud ..) Données Topographiques (ETOP5, TOPO_2mn, Gravi_2mn, SHOM &IGN trait de côte ..) Prédictions de marée- SHOM Information cadastrale, economique etl administrative produits sur CDroms & disquettes reçus au SISMER Dissemination sur Internet ou Intranet selon les droits

Gestion des données Centre d’archivage Collecte des données sur les navires Centre d’archivage COMPILATION FORMATAGE VERIFICATiON (QC) SAUVEGARDE fichier données Fichier Par des engins autonomes SERVEUR BDR MICROBIOLOGY INSTRUMENTS MOORINGS CTD SEA CRUISES NUTRIENTS DIFFUSION W W W ftp media Validation scientifique et documentation des Meta-Données

Compilation des données scientifiques Les sources de données sont multiples et variées Les données temps réel arrivent par des circuits automatiques Les données temps différés sont acquises au retour des navires ou auprès des laboratoires 120 laboratoires et services en activité contribuent à la collecte en mer; à ces laboratoires français s’ajoutent de nombreux laboratoires européens lors des projets communautaires les données sont validées par ces laboratoires et sauvegardées sur différents systèmes, avec des organisations et des formats différents les unités ne sont pas toujours normalisées, et les valeurs erronées pas toujours éliminées (ex: capteur O2 défaillant en cours de mission) les supports d’archivage ont une durée de vie limitée Une dernière étape d’archivage est nécessaire si la pérennité, la cohérence et l’accessibilité des données

FORMATS Entrée : toutes sortes de format Archivage : un format par type de données Diffusion : un nombre limité de formats possibles en fonction des des projets Meta-Données et temps réel: RDBS - ORACLE Données – Observations temps différé: autodescriptive ASCII NetCDF  incluent le meta-données sous forme de mots-clé, obligatoire ou optionnels, également copiés dans la BD ORACLE Données de référence - données maillées SIG - Sextant ISI + NetCDF MODB/MEDMEX ARGO (en évolution)

Contrôles de Qualité les données collectées par les laboratoires sont validées par les laboratoires, mais les organisations et les formats des reçues sont en général hétérogènes – dans tous les cas un minimum de contrôles supplémentaires est nécessaire Objectifs 1) que les données et formats soient suffisamment documentées pour être utilisables 2) qu’il ne se trouve pas d’anomalie majeure bloquant les traitements ultérieurs 3) que les données issues de différentes sources soient cohérentes et comparables Méthodologie : toutes les données sont soumises à des contrôles de qualité (QC) automatiques et visuels assistés par systèmes experts Références - Normes internationales : CIEM, UNESCO/IODE/COI Résultat : un indicateur de qualité attaché à chaque valeur numérique En cas d’anomalie : le fournisseur est contacté pour correction ou intervention sur capteurs éventuelles ou élimination de la donnée

Portail SISMER & Système de Gestion SGBD Serveur SISMER Gestion des Données Campagnes en Mer Système d’archivage Fichiers scientifiques ASCII, NetCdf bandes magnétiques DLT, disques .... RT & GSDC Base de Données Coriolis www.coriolis.eu.org/coriolis/cdc/ Protocole de Transfer normalisé (XML-ISO19115) Interface normalisée www/ifremer.fr/sismer EDMED/MEDI catalogue centralisé for integrated requests to different databases with access rights management through Marine XML communication protocol the present portal provide access to all meta-data and some products without restriction and contacts for data requests the new portal in development will provide full access to data with geographical tools to registered users

Le Serveur SISMER - Contenu général Information (méta-données) océanographique nécessaire à l'archivage et à la diffusion des données : type de données, date, localisation, capteurs utilisés, paramètres mesurés, système d'archivage, responsable, format, niveau de validation, les références méthodologiques et bibliographiques associées Catalogues thématiques et l'adresse logique des fichiers de données Logiciels de chargement, d’édition http://www.ifremer.fr/sismer/sismer/serveur.htm

Le Serveur SISMER – Principales tables Campagnes CAM (ROSCOP/CSR) NAV PAR (paramètres ROSCOP) PLP (plan de position) Bases BAS (EDMED) DOM (Domaines) Résumés de données RES FIC (fichier) Annuaire ORG DPT (département, laboratoire, service) RSP, CLI (responsable, client) PAY Références COD BIB (reference biblio) ADR (adresse d’un document, d’un site WWW ...) EQU (équipement) PRJ (EDMERP) Geosciences Physique/ biochimie Biologie

Le Serveur SISMER – Logiciels associés Logiciels commerciaux : SGBDR ORACLE Technologie de communication Internet Logiciels IFREMER/ISI ( avec la collaboration de sociétés d’informatique) logiciels de chargement logiciels d’extraction de données logiciels de publication

Diffusion sur CDrom

Diffusion des données Diffusions particulieres Base TOGA/WOCE/CLIVAR GSDC/CORIOLIS Cdroms MATER, MEDATLAS 2002 Catalogue des Campagnes et Receuil Annuel

Enjeux de la gestion des données Assurer aux données sécurité, qualité et accessibilité: ne pas perdre les données : des études récentes ont montré qu’avant 10 ans, 30% des données non archivées dans un centre de données sont perdues; et que la sécurité des données nécessite un double archivage et des outils adaptés. une fois perdues, les observations collectées dans un environnement variable ne peuvent plus jamais être refaites assurer une certaine cohérence et compatibilité aux jeux de données collectées par différents capteurs et différentes équipes et époques, via la normalisation des unités, formats et QC; avoir accès aisément à des données de sources différentes : un portail unique évite à chaque utilisateur de recompiler des données dispersées à des format hétérogènes préparer des jeux de données intégrées et des produits de synthèse utiles à des utilisateurs spécialistes ou non sous une forme appropriée aux besoins et dans les délais requis en collaboration avec les équipes scientifiques La gestion des données doit être organisée et méthodique – c’est un travail d’équipe

Conclusions et Perspectives La bonne gestion des données collectées est un enjeu majeur de l’océanographie qui doit être soutenu proportionnellement à l’effort de mesures en mer. Des moyens d’incitation, en particulier via l’attribution de temps navire, doivent encourager les scientifiques à accélérer la publication de leurs données au centre de données. Un groupe de travail interorganisme, le GTDO (CNRS,IFREMER, METEO-France, CNES, IRD) met en place une politique de diffusion des données pour améliorer leur circulation Une évolution rapide des procédures est en cours pour faire face à l’arrivée de nouveaux types de données, de gros volumes de données issues des nouveaux capteurs, et de la nécessité d’utiliser les nouvelles techniques de communication la normalisation des données et l’accès au plus large volume possible de données impose de travailler dans un contexte international et européen – Un réseau d’excellence, Sea-Datanet est en préparation dans cette perspective Visiter notre site : www.ifremer.fr/sismer

Enjeux de la gestion des données 1 - Bases de progrès des connaissances, les besoins de données scientifiques sont croissants Valorisation des campagnes: la seconde utilisation des données peut permettre d’économiser du temps navire et/ou améliorer la préparation des nouvelles campagnes Assistance à la gestion des données des grands programmes scientifiques, en particulier les programmes communautaires; les jeux de données produits sont considérés en eux-mêmes comme des résultats importants des projets et doivent être publiés Le secteur industriel offshore (prospection pétrolière, télécomunication) et les services publics (meteo, défense) ont des besoins croissants de données marines La gestion des ressources marines, le suivi de l’environnement et des changements climatiques nécessitent la compilation de longues séries d’observations cohérentes et comparables, en temps réel (alerte et prévision) et en temps différé (études et mises au point technologiques) L ’amélioration des modèles d ’analyse et prevision de l ’océan nécessite des données de qualité pour assimilation, (re-)analyses, tests de modèles

Enjeux de la gestion des données 2 - Fiabilité des données Un contrôle de qualité est nécessaire qui : filtre les valeurs erronées ou douteuses ne filtre pas les données qui rendent compte d ’une réelle modification du milieu s’appuie sur les connaissances statistiques du milieu déjà acquises capable d ’être opérés sur de gros volumes de données telles celles engendrés par les nouveaux capteurs de l’océanographie opérationnelle et de la géophysique capable de s ’étendre aux multiples et complexes nouveaux paramètres observés

Assurance Qualité 4 5 1 2 3 9 Objectifs Méthodologie 1) que les données et formats sont suffisamment documentées pour être utilisables 2) qu’il ne se trouve pas d’anomalie majeure bloquant les traitements ultérieurs 3) cohérence et comparabilité de données issues de différentes sources Méthodologie 1) toutes les données sont soumises à des contrôles de qualité (QC) automatiques et visuels assistés par systèmes experts QC0 : contrôle du format et de la complétude de l’information QC1 : Contrôle de la position et de la date QC2 : Contrôle des valeurs d’observation 2) en cas d’anomalie, le fournisseur est contacté pour correction éventuelle ou élimination Références - Normes internationales CIEM-Marine Data Management working Group (CIEM) UNESCO/COI/IODE : International Oceanographic Data & Information Exchange Résultat un Indicateur de qualité attaché à chaque valeur numérique 4 5 1 2 3 9 pas fait Correct Inconsistant Douteux mauvais Modifié Manquant

QC1- Contrôle Date et Position Données en Station - Tests

QC1 Control of the location and Date - Data collected in station

QC1 - Contrôle Date et Position Données en séries temporelles

QC2 – Contrôle Observations Liste des tests

QC2 – Contrôle des points de mesure

QC2 – Contrôle Observations Visualisation

QC1: Control of the location and Date - Time series on fixed mooring