INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Tutorial – Clermont 10 janvier 2007 Applications Science de la Planète M. Petitdidier (IPSL/CETP)

Présentation au sujet: "INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Tutorial – Clermont 10 janvier 2007 Applications Science de la Planète M. Petitdidier (IPSL/CETP)"— Transcription de la présentation:

1 INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Tutorial – Clermont 10 janvier 2007 Applications Science de la Planète M. Petitdidier (IPSL/CETP) monique.petitdidier@cetp.ipsl.fr

2 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 2 Atmosphere Ocean Biosphere Cryosphere Noisy observations Optimal Trajectory First guess time Field Coupled and inter- disciplinary processes Complex web of sensor Complex data analysis Sub-surface complex modelling Le Monde des Sciences de la Planète

3 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 3 Earth Science challenges Global, regional, local applications –Alternative use of the data at different time and spatial resolution Large historical distributed archives –Long term data archives to be exploited Near real-time access to data and processing –For processing, value adding and dissemination –For now-casting and alert Models to provide long term trends and forecast –Processing-intensive, data-intensive and complex applications Integrate different data sources –Standardisation, Data policy, … –Data fusion, data assimilation, data mining, modelling … Link data to technical information and scientific results Knowledge platform for ES : the future Grid looks like to be a comfortable open platform for handling computing resources, data, tools….

4 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 4 Organisations Virtuelles VO ESR (Earth Science research) –40 membres de 10 pays, appartenant à des Instituts de Recherche, une organisation (ESA) et 2 companies privées –Peu d’applications de production. Les scientifiques portent leur application, une fois les résultats obtenus l’application s’arrête. –Les Companies Privées font des tests de faisabilité. –Environ 1200 CPUs VO EGEODE (Expanding GEOsciences on DEmand ) –Centré sur Geocluster: plateforme sismique developpée par la CGG, incluant 400 modules, un serveur de license…. –Destiné à l’industrie R&D en geosciences et aux laboratoires Academiques –Tutorial pour les personnes du CNRS

5 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 5 ES Science applications in EGEE ESA, UTV, KNMI, IPSL- Production (3 algorithms) and validation of 7 years of Ozone profiles from GOME (IPGP) Rapid Earthquake analysis (mechanism and epicenter) 50- 100CPUs CRS4, UNINE- Modeling seawater intrusion in costal aquifer (SWIMED) CGG- Geosciences: Geocluster for Academy and industry IISAS-Flood of the Danube river-Cascade of models (meteorology,hydraulc,hydrodynamic….) SAR, GOCE,…. Specfem3D: Benchmark for MPI(2 to 2000CPUs) DKRZ- Data access studies, climate impacts on agriculture Meteorology (GCRAS) Air Pollution model (BAS) Cosmologie -CPPM IPGP- Erosion des dunes

6 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 6 OBSERVATION DE LA TERRE PAR SATELLITE [1] Application typique des observations satellitales Application portée sur DataGrid, développée à plus grande échelle sur EGEE : 9 années de données avec NNO, quelques mois avec OPERA. CHALLENGE PRODUCTION: Algorithmes complexes VALIDATION: Sélection nécessaires parmi de nombreux fichiers : 10 profils utiles parmi les 26000 quotidiens.

7 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 7 ESA(IT) – KNMI(NL) Processing of raw GOME data to ozone profiles. 2 alternative algorithms ~28000 profiles/day IPSL(FR) Validate some of the GOME ozone profiles (~10 6 /y) Coincident in space and time with Ground-Based measurements Visualization & Analyze DataGrid environment Level 2 (example of 1 day total O 3 ) Level 1 Raw satellite data from the GOME instrument (~75 GB - ~5000 orbits/y) The DataGrid Ozone processing and validation test-case Additional GRID demonstration: GOMOS, OMI, CEOS, …

8 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 8 OBSERVATION DE LA TERRE PAR SATELLITE [2] Production de profils d’Ozone à partir des données satellitales de l’Expérience GOME/ESR par UTV (Italie), ESRIN (Italie), KNMI(Hollande) Validation des profils avec des données lidar par IPSL, UTV NNO: Algorithme « Réseau de neurones » 2 versions (F. del Frate, M. Iapaolo, S. Casadio) 8 années de données (1995-2003) sur EGEE: 38489 fichiers/algorithme avec ~ 1800 profils d’ozone/fichier – produits par J. Linford Base de données: metadonnées avec empreinte des orbites OPERA: Algorithme – Inversion (R. van derA et al., 2002) Quelques mois sur EGEE: 76000 Fichiers 1 profil/fichier (W. Som de Cerff)

9 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 9 ESA Earth Science Grid GRID infrastructure dedicated at ESRIN to Earth Science applications –150+ CPUs, about 100 TBytes storage –Earth Science dedicated portal –40+ applications demonstrated in ESRIN –Environment integrates specialized ESA developed toolboxes (BEAM, BEST, BEAT…) –Recently opened to selected external PIs via Call for Proposals –Infrastructure is used to support GRID processing/data access applications as well as to support new technologies (Digital Libraries, e-collaboration …)

10 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 10 Example of ESA GRID Applications… (A)ATSR volcano monitoring: Extract time series in large data archives (1 volcano, 3 years of data: 1h using 20 CPU) EarthCARE simulation: Inversion algorithm for the broad and radiometer GOMOS and MIPAS profile retrieval and validation: Temperature, pressure, and atmospheric chemistry Large scale (A)SAR ortomapping: Multi resolution data storage; many hundred images processing / integration Operational global MERIS, (A)ATSR, and SAR large scale mapping: Land, ocean, and atmosphere Operational global MERIS, (A)ATSR, and SAR large scale mapping: Land, ocean, and atmosphere GOME total column water vapour: July95-June03

11 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 11 GEOPHYSIQUE INTERNE [1] Détermination rapide des mécanismes des tremblements de terre importants (IPGP: E. Clévédé, G. Patau) Challenge: Fournir les résultats 24h après un tremblement de terre  Collecter les données des 30 stations sismiques réseau mondial GEOSCOPE  Sélectionner les stations et les données  Lancer par exemple 50jobs pour 10000 inversions Challenge rempli en moyenne 6h après l’acquisition des données Beaucoup de CPUs (>100) très ponctuellement, sans réservation à l’avance Peru earthquake, 23/6/2001, Mw=8.3 Data used: 15 Geoscope Stations Séismes déjà traités: Perou, Guadeloupe, Sumatra, Iran, Japan, Sumatra, Japan…….

12 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 12 GEOPHYSIQUE INTERNE [2] SPECFEM3D: Simulation numérique de tremblements de terre dans des structures géologiques complexe 3D D. Komatitsch (MIGP, Pau), G. Moguilny(IPGP) Challenge : Pouvoir utiliser un grand nombre de CPUs sur un site EGEE, afin d'obtenir des résultats qui ne peuvent pas être produits sur les ressources propres d'un laboratoire.  Utilisation de la méthode des éléments spectraux (spectral-element method - SEM) pour des problèmes de propagation d'ondes sismiques dans des milieux complexes et à haute fréquence à l'échelle régionale.  Application pouvant tourner sur plus de 1900 CPUs et, sur EGEE, tourne actuellement sur 16 CPUs et 64 CPUs au NIKHEF. Tests sur tous les sites.  Spécifications techniques : - MPI et Fortran 90, - Écritures dans des fichiers locaux (/tmp) et partagés => nécessité de partager les homes entre les WNs alloués.

13 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 13 HYDROLOGIE [1] Gestion des ressources en eau dans la zone Méditerranéenne(Swimed) G. Lecca :CRS4 (Sardaigne, Italie), P. Renard (Université de Neuchâtel, Suisse), J. Kerrou (INAT Tunisie) Etude de l’Intrusion d’eau de mer dans une nappe aquifère côtière du bassin Méditerranéen CODESA-3D: simulation de Monte Carlo basée sur un modèle de flux d’eau souterraine dépendant de la densité et de transport de sel. CHALLENGE et PERSPECTIVES  Portage sur EGEE de CODESA-3D appliqué à la Sardaigne  Adapter l’ application au site pilote de Korba (Tunisie)  Participation à EUMEDGrid pour connexion Tunisie à la grille  Application à partir de l’Université de Neuchâtel et de l’Institut Tunisien en utilisant les données de ces groupes.

14 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 Interdisciplinarity Conceptual model Numerical model Simulated concentration Measured concentration Saltwater Intrusion in Coastal Aquifers

15 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 15 HYDROLOGIE [2] Prévision des crues à partir de données expérimentales et de modèles de météorologie, d’hydrologie et hydraulique. L. Hluchy, Viet Tran, M. Ciglan …. (II-SAS, Bratislava Slovaquie) CHALLENGE ACTUEL Portage de l’application de Cross-Grid à EGEE avec son portail, sa gestion de workflow, outils de visualisation développés avec II-SAS Développer une nouvelle solution à cette application qui sera basée sur des services web Data sources Hydrological simulation Hydraulic simulation Portal Meteorological simulation Cascade of simulations

16 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 16 CLIMAT 1ère Etape: Accès à ERA40 au BADC(UK) et DKRZ/M&D, pour traitement climatologique des données Model Simulations NEC SX6 + DataStore CERA Database WDC (World Data Center on Climate) DKRZ / M&D Germany FhG-SCAI BADC Database United Kingdom x WN CE SE DKRZ UI EGEE (LCG2) Infrastructure Components – ESR VO - Sara/Nikhef (RB, BDII,...) Cdo climate data processing package common metadata format Authorithation challenge - response CHALLENGE ACTUEL Utilisation des services d’EGEE (sécurité, gestion des données) pour l’accès et le traitement de données distribuées de simulation climatique

17 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 17 GEOSCIENCES EGEODE centré autour du software Geocluster  Plateforme sismique générique developpée par CGG (400 modules)  Portée sur EGEE pour la recherche (R&D Industry + Academy)  Inclue des outils standard pour le traitement des données, la simulation et l’inversion (modèle d’optimisation).  Chaque utilisateur peut ajouter de nouveaux algorithmes ou mod

18 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 18 GEOSCIENCES  Gratuit pour Academy, payant pour R&D => nécessité de comptabiliser  Serveur de compilation, dédié à Geocluster, deployé sur les sites acceptant “EGEODE” VO  Serveur de license CHALLENGE Faire fonctionner Geocluster en vraie grandeur sur EGEE Convaincre les utilisateurs actuels de Geocluster de travailler sur EGEE

19 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 19 Autres APPLICATIONS (1) Haute atmosphère martienne (IPSL): très long job (48-60h) en test (2) Equipes Russes Mikhail Zhizhin (Institut de physique de la Terre et Centre Géophysique) Moscou:  Fouille de données météorologiques NCEP (3) Bulgarie: modèle à grande échelle de pollution qui estime les concentrations d’une grande variété d’espèces chimiques (4) IPGP: Dynamique de système géologiques comme les dunes, les canaux… L’ application est un « automate cellulaire 3D ». L’objectif est d’obtenirune meilleure compréhension de l’impact de chaque paramètre du modèle sur les résultats.

20 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 20 Autres Applications (5) Extraction multi-sondes des paramètres cosmologiques (CPPM) La méthode statistique utilisée connue sous le nom de méthode « fréquentiste » permet une grande souplesse d’utilisation mais demande elle aussi une importante puissance de calcul. La seule construction d’un contour de confiance sur 2 variables cosmologiques demande entre 2000 et 4000 heures de calcul. Centre de Physique des Particules de Marseille :CPPM Centre de Physique Théorique de Marseille :CPT Laboratoire d’Astronomie de Marseille (LAM) Institut des Hautes Energie de Pékin (IHEP) Université de Pékin (6) Climatologie des espèces chimiques dans les régions polaires (IPSL ) Objectif Lié à la destruction d’Ozone dans le vortex polaire.

21 Tutorial Clermont – 10 Janvier 2007 Enabling Grids for E-sciencE INFSO-RI-031688 21 Conclusion Grande variété de domaines de science de la planète et d’applications La plupart sont des applications individuelles, certaines s’adressent à une communauté (hydrologie, cosmologie…) Beaucoup d’applications simples …. Le code n’a pas été modifié sauf passage en mode batch Les applications pour la crue d’un affluent du Danube et les tremblements de terre font appel à une gestion complexe des différentes étapes du travail. Avec la disponibilité de nouvelles fonctionnalités possibilité de porter des applications plus complexes Certaines fonctionnalités manquent ou ne sont pas très adaptées aux exigences des applications dans ce domaine.