CASTAGNOLI Gérard / ROTEREAU Armand

Présentation au sujet: "CASTAGNOLI Gérard / ROTEREAU Armand"— Transcription de la présentation:

1 CASTAGNOLI Gérard / ROTEREAU Armand
Projet Cooperate Développement scientifique Exemple d’exploitation commune de bases de données Notes : revoir le design du site Web et Présentations orientés Cooperate Bon fonctionnement du projet : Equipe composée de personnes spécialisées en biologie / Systèmes – programmation - BDD. Bonne coordination et communication entre les différentes spécialités. Mise en avant : Fonctionnalités avancées Points bloquants / solutions appropriées Visualisation (json…) Affichage de toutes les BDD en même temps Rapidité hardware / software / BDD (1 table/capt. + évolution dynamique de la BDD avec détection des nouveaux objets) Souplesse sur les normalisations et données en entrée (pas de contrainte sur le pas de temps, sur les noms des capteurs….etc.) Rajout d’un nouveau site générique en « 1 clic » avec un besoin de très peu d’infos Customisation de quelques heures à 1 semaine maximum L’administrateur du nouveau site peu rajouter les Méta-infos et nommer les éléments comme il le souhaite. Pas DBO… ni MVC (mais plutôt M-VC) Inspire / ISO 9… : pas encore traité car les métadonnées ne sont pas organisées. Pas d’ORM (transforme les tables SQL en objet) car requêtes complexes et construites à la volée Code généric : installation possible ailleurs Sauvegarde / Restauration… Stockage: calcul de l’espace dispo au préalable + calcul à la volée des données à la miniute/jour/mois/année Vérification et validation des données automatiques et manuelles Réflexion cooperate en amont du projet But de Cooperate : voir mail de Romain DAVID. Faire travailler ensemble les « sites » et « expérimentateurs » et « modélisateurs » Support : AEI Eccorev / OT-Med RH : Eccorev / Pytheas CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

2 CASTAGNOLI Gérard / ROTEREAU Armand
Sommaire Introduction Objectifs principaux Présentation Exemple de mesures Schéma fonctionnel Structure des BDDs Extensions thématiques au projet Exemple de sites inclus dans COOPERATE Application web principe Application web démo Choix architectural Solutions techniques Souplesse d’emploi Quelques chiffres (pour l’O3HP) Perspectives verticales But CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

3 l’idée « Common database for field sites dedicated to experimental studies on climate change in Southern France »  O3HP (OHP, CNRS) Puechabon (CEFE, CNRS) CLIMED (Marseille, ANR/IMBE) Fontblanche (Roquefort-la-Bédoule INRA)

4 échanges gazeux à l’échelle de la canopée
Exemple de Mesures flux de sève & croissance échanges gazeux foliaires relations hydriques T, rh%, radiation & météorologie générale échanges gazeux à l’échelle de la canopée Motif radial by J Cermak relevés /échantillons/ saisie biologiques & chimiques & physiques Profil geoelectrique par D Hermitte & J-C Parisot CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

5 inter inter-site inter-face éxperimentateur & modélisateur
inter-disciplinaire inter-échelle inter-generation inter-national inter inter-net inter-opérabilité definition-interoperabilite.info L’interopérabilité est la capacité que possède un produit ou un système, dont les interfaces sont intégralement connues, à fonctionner avec d'autres produits ou systèmes existants ou futurs et ce sans restriction d'accès ou de mise en œuvre. inter-ligent CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

6 Exemple de sites inclus dans Cooperate
Site O3HP Site ICOS Site Climed Site Sentinel …etc.. : zone de base : Capteurs (exemple d’emplacement) : secteurs générateur de données CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

7 Schéma fonctionnel Site 1 Site 2 Site 3 Site 4 Site 6 Site 5 Site 7
Centre de Calcul BDD thématique 1 Serveur FTP Site 1 BDD thématique 2 Sauvegardes Serveur De Traitement Commun BDD thématique 5 (Ex: O3HP,Sentinel,Icos) Interface d’administration (utilisateurs privilégiés) BDD thématique 6 Site 2 BDD commune Fichiers texte (csv) (Ex: Climed) Interface d’interrogation et consultation Serveur De Traitement Site 3 BDD thématique 3 Serveur Web Commun Export Graphiques, Fichiers CSV, images, Tableaux Résultants des interrogations Sauvegardes Serveur FTP Fichiers texte (csv) Site 4 Relevés manuels BDD existante BDD thématique 4 BDD existante Web service(s) Sauvegardes Site 5 Site 6 Serveur De Traitement Site 7 (Ex: Meteo OHP) (Ex: Phénologie) CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

8 CASTAGNOLI Gérard / ROTEREAU Armand
Structure des BDDs Tables thématiques Tables communes Tables statistiques CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

9 Extensions thématiques au projet
BDD ‘Caractéristiques des Plantes/ Faune/ Microbes’ BDD ‘Caractéristiques du Sol’ … BDD thématique(s) BDD commune Requêtage Tables thématiques Tables communes Interaction Bases de données thématiques Statistiques CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

10 Application web principe
Bandeau et menus gérés par un CMS. Iframes déclenchés par les boutons du menu. Contenus indépendants du CMS utilisé. CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

11 CASTAGNOLI Gérard / ROTEREAU Armand
Application web démo CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

12 CASTAGNOLI Gérard / ROTEREAU Armand
Choix architectural Equipements pour BDD machine physique multi-processeurs disques SAS Interfaces Web + calculs VM puissante OS : Développement : / / / (pour les menus) BDDs commune et thématiques Sauvegardes journalières Systèmes + données (Savenet) CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

13 CASTAGNOLI Gérard / ROTEREAU Armand
Solutions techniques Affichage multi-mesures / multi-sites bib. HighCharts Requêtes sur toutes les BDD en même temps Modèle BDD + mécanisme PostgreSQL : postgres_fdw (foreign Data Wrapper) Rapidité des requêtes hardware / software / Modèle BDD (1 table/capt. + évolution dynamique de la BDD avec détection des nouveaux objets). Stockage optimisé calcul de l’espace nécessaire au préalable Affichages et export : calcul à la volée des données à la minute/jour/mois/année Vérification et validation des données Automatiques, semi-automatiques et manuelles (en cours) CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

14 CASTAGNOLI Gérard / ROTEREAU Armand
Souplesse d’emploi Souplesse sur les normalisations et données en entrée pas de contrainte sur le pas de temps, sur les noms des capteurs, etc. Rajout d’un nouveau site en « 1 clic » avec un besoin de très peu d’infos Scripts génériques Customisation de quelques heures à 1 semaine Rajout de méta-infos, nommage d’éléments, etc… Code générique : installation possible ailleurs D’un site (site 3 & 4 dans slide « Schéma fonctionnel ») De l’ensemble de l’architecture pour des besoins différents CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

15 Quelques chiffres (pour l’O3HP)
Données extraites des capteurs Cyclique : toutes les 5 minutes à toutes les secondes  # valeurs / jour BDD thématique 1 500 tables, > enregistrements Application Web et scripts d’insertion > lignes de code Projet informatique 2 ans de conception et développement en moyenne : 1,2 H/J (3 ingénieurs à temps partiel) CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

16 OHP - Perspectives verticales
0 m – m 4 km - 80 km Station Gérard Mégie OHP - Perspectives verticales 10 m -100 m 70 m m 2 m -10 m temporary installations ANR CANOPEE -8 m to 6 m CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

17 Coopérations envisageables
??? CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

18 Financement et soutien Références
Site Web O3HP : Application Web O3HP : Application Web COOPERATE (en développement): Merci de votre attention CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014