Gestion de données et Défi Golfe de Gascogne: le point sur les contributions possibles de TMSI Michel BELLOUIS, Michèle FICHAUT, Céline CORDIER, Claude.

Présentation au sujet: "Gestion de données et Défi Golfe de Gascogne: le point sur les contributions possibles de TMSI Michel BELLOUIS, Michèle FICHAUT, Céline CORDIER, Claude."— Transcription de la présentation:

1 Gestion de données et Défi Golfe de Gascogne: le point sur les contributions possibles de TMSI
Michel BELLOUIS, Michèle FICHAUT, Céline CORDIER, Claude MARCHALOT, Gilbert MAUDIRE (TMSI/IDM) Dans ce titre, de la prudence et une interrogation que je vais développer ici en rappelant d’abord l’apport de notre département au défi, ses possibilités en terme de données et d’ingénierie de systèmes d’information.

2 TMSI/IDM Dépt Informatique et Données Marines
50 agents, 2 sites Direction (5) C. Marchalot Ressources Informatiques et Communications (19) P. Cotty Systèmes d'Informations Scientifiques pour la Mer (11) C. Maillard Ingénierie des Systèmes d’Information Brest -Nantes (12) G. Maudire Cellule Océano Météo (3) M. Olagnon D’abord un bref rappel sur le département et quelques messages au passage: Nous appartenons à la direction TMSI et cette appartenance signifie un objectif partagé par les équipes au sein de la direction, celui de conduire des développements intégrant maintenant le service associé aux données à l’instrumentation, c’est le cas pour les flotteurs Provor, des bouées Marel, ça le sera aussi pour les observatoires fonds de mer,… Au sein du département il y a 4 services: RIC pour les infrastructures informatiques, celles requises par une entreprise de 1400 agents mais aussi celles nécessaires au bon fonctionnement de la recherche: calculateur haute performance, serveur de données scientifiques… Ce sont des équipements qui coûtent chers et nous nous remuons pour en optimiser le coût: avec l’aide de quelques uns d’entre vous, nous avons par exemple obtenu les financements complémentaires (+ de 5 MF) pour mettre en place un calculateur parallèle largement utilisé par les modèles qui vous ont été présentés, le réseau fédérateur qui se met en place est 1 autre exemple ( puisqu’à coût constant débit x 2), mais dans le contexte actuel, nous avons une difficulté pour remplacer notre serveur de BD un peu à bout de souffle et nous solliciterons sinon l’aide financière, au moins le support moral des défis qui seront pénalisés pour faire passer ce dossier.

3 Point sur la contribution TMSI/IDM
Des données et le savoir-faire associé Des outils de gestion, contrôle, diffusion de données… De l’ingénierie en matière de systèmes d’information comment organiser au mieux ce support?

4 Données: 1)la banque d’océano-physique et chimie
Travail de compilation des données SISMER, SHOM et du WNODC déjà présenté, Principal intérêt: le contrôle qualité effectué sur les données Les données sont contrôlées au niveau du format, de la date, de la position des stations, d’une climatologie de référence et affectées d’un indicateur qualité normalisé de 0 à 9

5 Données: 2) la banque de géophysique
Cette banque est et sera à disposition du défi Golfe, via DRO/GM chaque fois que nécessaire Couverture des sondeurs multifaisceaux IFREMER Banque de géophysique SISMER (source du fond cartographique : MNT Ifremer-DRO/GM (JC Sibuet), maille : 1000m, tracé SISMER, logiciel Caraïbes)

6 Données: 3) centre multi-organismes Coriolis
SHOM, Météo-France, IRD avec support INSU et CNES Principales Sources collectées en temps réel: données subsurface GTS (XBT), données de flotteurs profilant déployés dans le cadre d’Argo, données des navires Ifremer (CTD, thermosalino) Depuis 2001 et sans une seule interruption, chaque semaine mises à disposition de Mercator, chaque jour du modèle SOAP de la marine nationale et diffusées sur le web et le GTS Des produits aussi comme ces analyses objectives (températures à 10 m) qui servent/serviront à 3 choses: Contrôler les données, Valider les sorties de Mercator Et qui sont aussi intéressantes en soit (calculées chaque semaine sur un jeu de 4 semaines de données)

7 Données: 4) Sextant: serveur cartographique
Acquises en coopération avec DEL/AO ·        Bathymétrie et trait de côtes, ·        Réglementation ·        Sédimento Sud Bretagne (1: ) ·        Scan 100 IGN Scan 150 SHOM Sextant : un serveur interne à l’Ifremer + un outil utilisable de façon privative dans le cadre d’un projet ou d’un défi. En amont des SIG

8 Ingénierie en système d’information
Principaux bénéficiaires 4 Banques institutionnelles de SISMER Projets européens de SISMER: Mater, Medar… Projets des directions opérationnelles: Quadrige (27 ans, 175 utilisateurs, 15% extérieur) Stats de pêche, Arpege, Biocean (DRO/EP) Projets TMSI Marel, Provor, Observatoires fonds de mer Défis et projets: Coriolis, Morest, Golfe, Marge et Extraplac

9 Ingénierie Exemple 1 : Biocean

10 Fichiers ventes+marées
Ingénierie Exemple 2: Informatique du prog SIH (avant) STATP (Sybase) Utilisateurs Outil extraction Chargement (Power Builder) Fichiers ZA CRTS mail Conversion format CPR (Fortran) Centrale+ Statpeche (MySQL) Fichiers ventes+marées Chargement (script,C++, SQL/MySQL) BCS Outil extraction (intranet, PHP) Requêtes SQL, makefile cumuls (Oracle) Calculs cumuls (SQL) Base centrale (Access) Bases locales Intégration Logiciel enquêteur (Access) Pointage des documents Fiche de Pêche Pêche à pied Activité : calendrier, fiche navire caractéristiques engins efforts de pêches/mois/métier Mise à jour directe (Access, Excel, StatGraphics) Enquêteurs Macro Access Fichiers textes Transfert cumuls (SQL) DSI (ex-CAAM) Données Références Flux incomplet Prédoc (C++) WWW Flux activité CPR annuels C++, SQL/loader Fichiers rôles DSI Activité (C++) activités CRTS Flux fiche de pêche copie centrale (Access) Utilisateurs Prédoc papier (PDF en manuel) Fichiers prédoc

11 Ingénierie Exemple 2: Informatique du prog SIH (après)
Banque de données SIH IFREMER BCS DMPA CRTS BL CRTS LO CRTS SM OFIMER RIC Navires, armateurs, nb jours / armement (mensuels + POP) Fiches de pêche Activité / navire / mois Log Books Fiche pêches Ventes Rapprochements marées /ventes Fiches de pêche Navires < 10m Aff. Maritimes Saisie Ifremer Enquêtes Ifremer Échantillonnage en criées Campagnes à la mer Embarquements navires de pêches Échantillonnage en mer Économie Bases locales « Enquêteur »

12 Ingénierie en SI les composantes d’un système d’information
Assistance et Reportage Mise en archive catalogage et documentation Diffusion gestion des requêtes et des utilisateurs Gestion de contenu « Contrôle qualité » Niveau Usager Gestion des données d’observation Élaboration des produits Gestion de catalogues Plan Qualité Niveau Système Service de bases de données Service d’archive Services de communication et d’authentification Mise en archive: approche normalisée (unités, nommage des paramètres, codes qualité) pour permettre les intercomparaison Services de traitement Niveau Physique Réseau

13 Quelle organisation mettre au milieu?
Activités humaines (pêche, réglementation, économie) Système d’informations halieutiques (SIH) Zones réglementaires Sextant Environnement Hydrologie et chimie « hauturière » SISMER & Coriolis Hydrologie et chimie « côtière & terrestre» Quadrige (réseaux DEL) Marel(Roslit)? Satelittal + et Météo (vent, ensoleillement, …) Géologie bathymétrie, nature des fonds, … DRO/GM & SISMER Quelle organisation mettre au milieu? Défi Golfe Diffusion des produits Biologie Plancton Quadrige (réseaux DEL) Campagnes à la mer Système d’informations halieutiques Campagnes à la mer BIOCEAN? Système existant et disponible Système à faire évoluer ou à réaliser

14 Faut-il Vers quel niveau d’opérationnalité faut-il tendre?
se contenter de juxtaposer les données existantes et nouvelles? les rassembler à travers un portail plus élaboré Les agréger, les normaliser, les mettre en forme pour les interfacer des outils d’extraction de connaissance: datamining, stats, modèles (lesquels?) Viser leur utilisation en temps différé ou en temps réel? Vers quel niveau d’opérationnalité faut-il tendre? se contenter de juxtaposer les données existantes et nouvelles? les rassembler à travers un portail plus élaboré (jusqu’ou aller?) Les agréger, les mettre en forme pour les interfacer des outils d’extraction de connaissance (modèles? Stats? …) Viser leur utilisation en temps différé (mais comment progresser: les robinets de données sont ouverts en continu?) ou en temps réel? Rester dans une démarche scientifique ou pré-opérationnelle? Ne serait-ce que pour permettre aux équipes scientifiques de bosser efficacement