Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars Earth Science Applications Monique Petitdidier (IPSL), Cathy Boonne (IPSL), Fabrice Cipriani (IPSL), Eric Clévédé (IPGP), Fabio del Frate (UTV), Vega Forneris (ESRIN), Luigi Fusco (ESRIN), Sophie Godin-Beekmann (IPSL), Ladislav Hluchy (Savba), Michele Iapaolo (UTV, IPSL), Stephan Kinderman (DKRZ), Dimitri Komatitsch (MIGP), Giuditta Lecca(CRS4), Julian Linford (ESRIN), Geneviève Moguilny (IPGP), Philippe Renard (Unine), Wim Som de Cerff (KNMI), Dominique Thomas (CGG), Viet Tran (Savba), Jean-Pierre Vilotte (IPGP), Gael Youinou (CGG), David Weissenbach (IPSL) EGEE is funded by the European Union under contract IST
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars EARTH SCIENCE La Terre est un système très complexe, siège de nombreux phénomènes La description de ce système est découpée en domaines indépendants avec des interfaces La Terre L’OcéanL’Atmosphère Chacune de ces entités est séparée en sous-domaines dans lesquels on étudie les processus dont ils sont le siège et leur interaction avec les domaines et sous-domaines voisins Les applications de ESR correspondent à des domaines faisant partie de SDU/CNRS et n’incluent pas l’étude de la végétation, des éco-systèmes… Communauté éclatée en de nombreux petits groupes
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars APPLICATIONS SUR LA GRILLE Observation de la Terre par Satellite Hydrologie Géophysique Climat Geosciences Et aussi Chimie de la Haute Atmosphère Martienne
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars EARTH SCIENCE ORGANISATION Coordination Earth Science: Monique Petitdidier (IPSL) 12 Laboratoires et Instituts de recherche; Une organisation: ESRIN, une compagnie privé, CGG En France, Italie, Allemagne, Hollande, Russie, Suisse,Slovaquie 2 Organisation Virtuelles: En raison d’une politique différente d’accès aux données (non payante pour la recherche, payante pour le privé) ESR (Earth Science Research) Tous les domaines et activités de recherche – 20 personnes(4NL, 9F, 1G, 4I, 2 SK )+7 en attente (1 F,1 S, 2 I, 3 Russes) EGEODE (Expanding Geosciences On Demand): centrée autour de Geocluster (software Compagnie Générale de Géophysique) ESR a un site web Wiki Conférence téléphonique tous les 15 jours ou plus
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars ESR : CEs EGEE CE IDSITE/PAYSR-GMAESR S/W# CPU hudson.datagrid.jussieu.frIPSL-IPGP / FR114 ce1.egee.fr.cgg.comCGG / FR0167 cclcgceli02.in2p3.frIN2P3-CC / FR11900 grid10.lal.in2p3.frIN2P3-LAL / FR0018 marseillece01.mrs.grid.cnrs.frIN2P3-CPPM / FR1124 TOTAL France5 / tbn20.nikhef.nlNIKHEF.NL / NL10264 mu6.matrix.sara.nlSARA / NL0156 scaicl0.scai.fraunhofer.deSCAI-FHG / DE1130 ce.ui.savba.skIISAS / SK1116 ce01.grid.bas.bgBG01-IPP / BG017 gridit-ce-01.cnaf.infn.itINFN-CNAF / IT0110 pcgrid01.esrin.esa.intESRIN / IT(1) 0 (12) TOTAL11 (12) / 65 (12)9 (10)1396 (1408)
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars ESR : Autres ressources & accounting Storage Elements: Plusieurs Tb disponibles sur plus de 15 Ses, sur 11 sites (It, Nl, Fr,…). Besoins actuels largement couverts par apports propres. Resource Brokers : France: 1 (IN2P3-LAL) Hollande: 2 (SARA, NIKHEF) Italie: 2 (INFN-CNAF) Accounting : Plus de 300 jobs sur le seul RB de SARA en 02/05
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars OBSERVATION DE LA TERRE PAR SATELLITE [1] Application typique des observations satellitales Application portée sur DataGrid, développée à plus grande échelle sur EGEE : 9 années de données avec NNO, quelques mois avec OPERA. CHALLENGE PRODUCTION: Algorithmes complexes VALIDATION: Sélection nécessaires parmi de nombreux fichiers : 10 profils utiles parmi les quotidiens.
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars OBSERVATION DE LA TERRE PAR SATELLITE [2] Production de profils d’Ozone à partir des données satellitales de l’Expérience GOME/ESR par UTV (Italie), ESRIN (Italie), KNMI(Hollande) Validation des profils avec des données lidar par IPSL, UTV NNO: Algorithme « Réseau de neurones » 2 versions (F. del Frate, M. Iapaolo, S. Casadio) 8 années de données ( ) sur EGEE: fichiers/algorithme avec ~ 1800 profils d’ozone/fichier – produits par J. Linford OPERA: Algorithme – Inversion (R. van A) Quelques mois sur EGEE: Fichiers 1 profil/fichier (W. Som de Cerff, S. Grijping) Validation avec lidar et radiosondages (RS) ozone: 7 sites lidar et 2 RS Effectuée sur 3 sites lidar pour les 2 algorithmes NNO/NNO2 et OPERA (M. Iapaolo, S. Godin) Lidar à l’OHP
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars GEOPHYSIQUE INTERNE [1] Détermination rapide des mécanismes des tremblements de terre importants (E. Clévédé, IPGP) Challenge Fournir les résultats 24h après un tremblement de terre Application à lancer sur alerte Collecter les données des 30 stations sismiques réseau mondial GEOSCOPE Sélectionner les stations et les données Lancer par exemple 50jobs pour inversions Application qui demande beaucoup de cpus pendant peu de temps, impossible à prévoir d’avance Peru earthquake, 23/6/2001, Mw=8.3 Data used: 15 Geoscope Stations
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars GEOPHYSIQUE INTERNE [2] SPECFEM3D: Simulation numérique de tremblements de terre avec un modèle géologique complexe 3D D. Komatitsch (MIGP, Pau), G. Moguilny(IPGP) CHALLENGE MPI et Fortran 90 avec 2 types I/O: fichiers locaux (/tmp sur chaque nœud) et fichiers partagés (vus par tous les nœuds) Peut fonctionner sur 100 noeuds Février & Mars et 2005 a fonctionné: 4 CPUS aux LAL, CPPM, Nikhef, SCAI Février 2005: 16 CPUS au Nikhef, SCAI
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars HYDROLOGIE [1] Gestion des ressources en eau dans la zone Méditerranéenne(Swimed) G. Lecca :CRS4 (Sardaigne, Italie), P. Renard (Université de Neuchâtel, Suisse), INAT Tunisie Etude de l’Intrusion d’eau de mer dans une nappe aquifère côtière du bassin Méditerranéen CODESA-3D: simulation de Monte Carlo basée sur un modèle de flux d’eau souterraine dépendant de la densité et de transport de sel ; a déjà tourné sur Gilda. CHALLENGE et PERSPECTIVES Portage sur EGEE de CODESA-3D appliqué à la Sardaigne Adapter l’ application au site pilote de Korba (Tunisie) Utilisation EUMED pour connexion Tunisie à la grille Exploiter cette application à partir de l’Université de Neuchâtel et de l’Institut Tunisien en utilisant les données de ces groupes.
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars HYDROLOGIE [2] Prévision des crues à partir de données expérimentales et de modèles de météorologie, d’hydrologie et hydraulique. L. Hluchy, Viet Tran, M. Ciglan …. (II-SAS, Bratislava Slovaquie) Le modèle hydraulique a été testé sur EGEE CHALLENGE ACTUEL Portage de l’application de Cross-Grid à EGEE avec son portail, sa gestion de workflow, outils de visualisation développés avec II-SAS Développer une nouvelle solution à cette application qui sera basée sur des services web Data sources Hydrological simulation Hydraulic simulation Portal Meteorological simulation Cascade of simulations
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars CLIMAT FhG-SCAI Objectif: Accès aux données à partir de la grille et calcul 1ère Etape: ERA40 data access at BADC and DKRZ/M&D, grid based climate data post-processing Model Simulations NEC SX6 + DataStore CERA Database WDC (World Data Center on Climate) DKRZ / M&D Germany BADC Database United Kingdom x WN CE SE DKRZ UI EGEE (LCG2) Infrastructure Components – ESR VO - Sara/Nikhef (RB, BDII,...) Cdo climate data processing package common metadata format Authorithation challenge - response
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars PROJETS EN TEST ET FUTURS (1) Haute atmosphère martienne (IPSL): très long job (48-60h) (2) Equipes Russes Mikhail Zhizhin (Institut de physique de la Terre et Centre Géophysique) Moscou: Data mining données météorologiques NCEP Space Physics Interactive Data Resource (SPIDR) Serveur de base de données –archives historiques : soleil, vent solaire… Victor Malyshkin (Novosibirsk) (3) Taras Gerya (ETH, Zurich; Géologie) Processus de calculs à adapter à EGEE
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars MetaDonnées CONTEXTE Catalogues de métadonnées classiques en Earth Sciences Intégrés souvent dans une base de données relationnelle (MySQL, PostgreSQL, Oracle) DataGrid: MySQL+Spitfire sur un serveur hors Grille RMC intégré à la grille, VOMS EGEE: MySQL hors Grille + OGSA-DAI. EN COURS (ESRIN, IPSL, KNMI, Aide NA4) Version élaborée de MySQL et/ou PostgreSQL pour entrer la trace des orbites (polygones) et faire des requêtes de colocalisation OGSA-DAI pour restreindre l’accès, gLite remplaçant naturel ?
Tutorial Clermont Ferrand – 23 mars EGEE France Marseille 24 Mars CONCLUSIONS Bilan Une variété de travaux portés sur EGEE ; incitatif pour de nouveaux utilisateurs Taux de succès très bon (90-100%) Perspectives Renforcer les communautés autour des applications Séminaires de sensibilisation et des utilisateurs de Géocluster en France Besoins Accès sécurisé et restreint aux données et métadonnées Accès filtré pour logiciels sous licence ; comptabilité utilisateurs Forte priorité pour beaucoup de cpus pendant un temps relativement court: Application sur alerte (tremblement de terre, cyclone, tempête, crue….), la planification dépend du risque naturel