CASTAGNOLI Gérard / ROTEREAU Armand Projet Cooperate Développement scientifique Exemple d’exploitation commune de bases de données Notes : revoir le design du site Web et Présentations orientés Cooperate Bon fonctionnement du projet : Equipe composée de personnes spécialisées en biologie / Systèmes – programmation - BDD. Bonne coordination et communication entre les différentes spécialités. Mise en avant : Fonctionnalités avancées Points bloquants / solutions appropriées Visualisation (json…) Affichage de toutes les BDD en même temps Rapidité hardware / software / BDD (1 table/capt. + évolution dynamique de la BDD avec détection des nouveaux objets) Souplesse sur les normalisations et données en entrée (pas de contrainte sur le pas de temps, sur les noms des capteurs….etc.) Rajout d’un nouveau site générique en « 1 clic » avec un besoin de très peu d’infos Customisation de quelques heures à 1 semaine maximum L’administrateur du nouveau site peu rajouter les Méta-infos et nommer les éléments comme il le souhaite. Pas DBO… ni MVC (mais plutôt M-VC) Inspire / ISO 9… : pas encore traité car les métadonnées ne sont pas organisées. Pas d’ORM (transforme les tables SQL en objet) car requêtes complexes et construites à la volée Code généric : installation possible ailleurs Sauvegarde / Restauration… Stockage: calcul de l’espace dispo au préalable + calcul à la volée des données à la miniute/jour/mois/année Vérification et validation des données automatiques et manuelles Réflexion cooperate en amont du projet But de Cooperate : voir mail de Romain DAVID. Faire travailler ensemble les « sites » et « expérimentateurs » et « modélisateurs » Support : AEI Eccorev / OT-Med RH : Eccorev / Pytheas CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

CASTAGNOLI Gérard / ROTEREAU Armand Sommaire Introduction Objectifs principaux Présentation Exemple de mesures Schéma fonctionnel Structure des BDDs Extensions thématiques au projet Exemple de sites inclus dans COOPERATE Application web principe Application web démo Choix architectural Solutions techniques Souplesse d’emploi Quelques chiffres (pour l’O3HP) Perspectives verticales But CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

l’idée « Common database for field sites dedicated to experimental studies on climate change in Southern France »  O3HP (OHP, CNRS) Puechabon (CEFE, CNRS) CLIMED (Marseille, ANR/IMBE) Fontblanche (Roquefort-la-Bédoule INRA)

échanges gazeux à l’échelle de la canopée Exemple de Mesures flux de sève & croissance échanges gazeux foliaires relations hydriques T, rh%, radiation & météorologie générale échanges gazeux à l’échelle de la canopée Motif radial by J Cermak relevés /échantillons/ saisie biologiques & chimiques & physiques Profil geoelectrique par D Hermitte & J-C Parisot CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

inter inter-site inter-face éxperimentateur & modélisateur inter-disciplinaire inter-échelle inter-generation inter-national inter inter-net inter-opérabilité definition-interoperabilite.info L’interopérabilité est la capacité que possède un produit ou un système, dont les interfaces sont intégralement connues, à fonctionner avec d'autres produits ou systèmes existants ou futurs et ce sans restriction d'accès ou de mise en œuvre. inter-ligent CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

Exemple de sites inclus dans Cooperate Site O3HP Site ICOS Site Climed Site Sentinel …etc.. : zone de base : Capteurs (exemple d’emplacement) : secteurs générateur de données CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

Schéma fonctionnel Site 1 Site 2 Site 3 Site 4 Site 6 Site 5 Site 7 Centre de Calcul BDD thématique 1 Serveur FTP Site 1 BDD thématique 2 Sauvegardes Serveur De Traitement Commun BDD thématique 5 (Ex: O3HP,Sentinel,Icos) Interface d’administration (utilisateurs privilégiés) BDD thématique 6 Site 2 BDD commune Fichiers texte (csv) (Ex: Climed) Interface d’interrogation et consultation Serveur De Traitement Site 3 BDD thématique 3 Serveur Web Commun Export Graphiques, Fichiers CSV, images, Tableaux Résultants des interrogations Sauvegardes Serveur FTP Fichiers texte (csv) Site 4 Relevés manuels BDD existante BDD thématique 4 BDD existante Web service(s) Sauvegardes Site 5 Site 6 Serveur De Traitement Site 7 (Ex: Meteo OHP) (Ex: Phénologie) CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

CASTAGNOLI Gérard / ROTEREAU Armand Structure des BDDs Tables thématiques Tables communes Tables statistiques CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

Extensions thématiques au projet BDD ‘Caractéristiques des Plantes/ Faune/ Microbes’ BDD ‘Caractéristiques du Sol’ … BDD thématique(s) BDD commune Requêtage Tables thématiques Tables communes Interaction Bases de données thématiques Statistiques CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

Application web principe Bandeau et menus gérés par un CMS. Iframes déclenchés par les boutons du menu. Contenus indépendants du CMS utilisé. CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

CASTAGNOLI Gérard / ROTEREAU Armand Application web démo CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

CASTAGNOLI Gérard / ROTEREAU Armand Choix architectural Equipements pour BDD machine physique multi-processeurs disques SAS Interfaces Web + calculs VM puissante OS : Développement : / / / (pour les menus) BDDs commune et thématiques Sauvegardes journalières Systèmes + données (Savenet) CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

CASTAGNOLI Gérard / ROTEREAU Armand Solutions techniques Affichage multi-mesures / multi-sites bib. HighCharts Requêtes sur toutes les BDD en même temps Modèle BDD + mécanisme PostgreSQL : postgres_fdw (foreign Data Wrapper) Rapidité des requêtes hardware / software / Modèle BDD (1 table/capt. + évolution dynamique de la BDD avec détection des nouveaux objets). Stockage optimisé calcul de l’espace nécessaire au préalable Affichages et export : calcul à la volée des données à la minute/jour/mois/année Vérification et validation des données Automatiques, semi-automatiques et manuelles (en cours) CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

CASTAGNOLI Gérard / ROTEREAU Armand Souplesse d’emploi Souplesse sur les normalisations et données en entrée pas de contrainte sur le pas de temps, sur les noms des capteurs, etc. Rajout d’un nouveau site en « 1 clic » avec un besoin de très peu d’infos Scripts génériques Customisation de quelques heures à 1 semaine Rajout de méta-infos, nommage d’éléments, etc… Code générique : installation possible ailleurs D’un site (site 3 & 4 dans slide « Schéma fonctionnel ») De l’ensemble de l’architecture pour des besoins différents CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

Quelques chiffres (pour l’O3HP) Données extraites des capteurs Cyclique : toutes les 5 minutes à toutes les secondes  # 2 500 000 valeurs / jour BDD thématique 1 500 tables, > 1 000 000 000 enregistrements Application Web et scripts d’insertion > 30 000 lignes de code Projet informatique 2 ans de conception et développement en moyenne : 1,2 H/J (3 ingénieurs à temps partiel) CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

OHP - Perspectives verticales 0 m – 35000 m 4 km - 80 km Station Gérard Mégie OHP - Perspectives verticales 10 m -100 m 70 m - 20000 m 2 m -10 m temporary installations ANR CANOPEE -8 m to 6 m CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

Coopérations envisageables ??? CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014

Financement et soutien Références Site Web O3HP : https://o3hp.obs-hp.fr/index.php Application Web O3HP : https://o3hpbd.obs-hp.fr/db/index.php Application Web COOPERATE (en développement): https://o3hpbd-dev.obs-hp.fr/db/index.php Merci de votre attention CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014