Climserv à Polytechnique (X) CICLAD à l’UPMC

Présentation au sujet: "Climserv à Polytechnique (X) CICLAD à l’UPMC"— Transcription de la présentation:

1 Mésocentre IPSL Marie-Alice Foujols Animation de la coordination technique depuis 2014 (ESPRI-CT)
Climserv à Polytechnique (X) CICLAD à l’UPMC Exemple en modélisation du climat Activités en observation de la terre Questions au CD : sanctuarisation, stratégie CD IPSL - 13 octobre 2015 1/13

2 Mésocentre IPSL Principes
Services autour des données Au plus près des équipes scientifiques Mutualisation autour d’une infrastructure Stockage Calcul Réseau Serveurs virtuels pour hébergement de projets Sauvegarde et archivage Utilisateurs IPSL, académiques et partenaires Coordination technique ESPRI-CT : réunions trimestrielles Dates et chiffres clés : 2003 : Climserv IPSL; salle machine mutualisée à l’UPMC 2008 : CICLAD 2014 : nouvelle génération CICLAD = Climserv env. logiciel coordonné 2015 : interconnexion dédiée X-UPMC, accès croisés aux données, base utilisateurs commune CD IPSL - 13 octobre 2015 2/13

3 Statistiques depuis 2010 2015 : 3 Po,
3 millions d’heures de calcul en 2015 à ce jour, 370 inscrits (<100 non IPSL- adresse mail), 200 machines virtuelles CD IPSL - 13 octobre 2015 3/13

4 Eléments budgétaires 200 k€/an
Sources principales de crédits des trois dernières années Mésocentre-X CExII (CNES) 90k€ ECCLA (suite de Calipso /EarthCare) 30k€ SIRTA 10k€ PCER (Pôle + ANRs) 36k€ Megha-Tropiques 50k€ Mistrals 20k€ AMMA-Polcher 120k€ AMMA-Acasis (Janicot) Investissements pour le Mésocentre-UPMC 2011 Prodiguer et pôle de modélisation du climat 300 k€ 2014 (LMD) Bernard Legras 13k€ (LSCE) Patricia Cadule 25k€ OSU Ecce Terra 13,5k€ (LATMOS) Ronan Modolo 5k€ (LATMOS) UPMC 2,5k€ OSU Ecce Terra (Ravetta) (LMD) JL Dufresne (LATMOS) G de Coetlandon 1,3k€ (ETHER) Cathy Boonne 47k€ (AMMA) Jan Polcher 26k€ (LATMOS) Kathy Law 15k€ 2015 CONVERGENCE = 2 baies de stockage + OSS 71k€ AMMA = 2 nœuds de calcul Intel 8k€ OSU Ecce Terra = connexion FO 2k€ (LATMOS) Ronan Modolo = 2 nœuds de calcul AMD, commandé 16k€ Latmos Payan = 1 nœud de calcul AMD, à comm. (ETHER) Cathy Boonne = ? nœud de calcul à préc. ?k€ 200 k€/an Participation d’une vingtaine de projets différents  Difficultés administratives X : Appui DSI, Infrastructure X UPMC : Appui DSI CD IPSL - 13 octobre 2015 4/13

5 Ecosystème national : calcul
En France, GENCI depuis 2007: Créé pour rattraper le retard pris par la France dans le domaine du calcul intensif Représentant de la France dans PRACE Fin 2014, écosystème national consolidé Puissance globale disponible 5,1 Péta-flop/s 4 supercalculateurs avec des architectures complémentaires Accès unique et gratuit aux moyens nationaux de calcul via 2 appels par an Dynamique régionale grâce aux projets Equipex 2010 Et le stockage? IPSL 2ème mésocentre 2015 sur le stockage CMIP6 300 millions d’heures 14 Péta-octets (Po) CLIMERI : S. Joussaume, ESFRI Tier 2 Mésocentres régionaux et universitaires Tier 1 Centres nationaux Tier 0 Centres Européens 2007 2014 2020 0 Pflop/s ≈20 Pflop/s 200 Pflop/s 0,02 Pflop/s 5,1 Pflop/s 40 Pflop/s <0,01 Pflop/s ≈1,5 Pflop/s 5 Pflop/s CD IPSL - 13 octobre 2015 5/13

6 Les personnes Demandes en personnel : 2 ETP 4 ETP
Part de temps de travail des personnels impliqués dans l’infrastructure du mésocentre elle-même F. Corsini 80% G. Eberhardt 20% K. Ramage 50% P. Weill O. Thauvin (LATMOS) Participation F. Bongat (LOCEAN) J. Lenseigne (LMD) Demandes en personnel : Profil ASR, IE BAP E (UPMC - Dialog IPSL) Profil Web, IE BAP E (UVSQ - Dialog IPSL) Profil gestion de données, AI BAP E (en discussion LMD et IPSL) 2 ETP ETP CD IPSL - 13 octobre 2015 6/13

7 Système international de distribution de données
Earth System Grid Federation (ESGF) est une structure collaborative internationale, dont la coopération des agences et instituts qui la compose a permis de construire une plateforme logicielle « open-source » pour la gestion et l’analyse de données des Sciences de la Terre. Elle regroupe plusieurs dizaines de centres de données à travers l’Asie, l’Europe, l’Australie et les Etats-Unis. L’IPSL coordonne aujourd’hui la CMIP6 DataNode Operation Team (CDNOT). Participants principaux: ANL, ANU, BADC, CMCC, DKRZ, ESRL, GFDL, GSFC, IPSL, JPL, LLNL, LIU, ORNL, etc. CD IPSL - 13 octobre 2015 7/13

8 Environnement d’analyse
haute performance Mutualisé, conjointement mis à disposition et utilisé par : les laboratoires de l’IPSL, la communauté IPSL, la communauté scientifique académique nationale. Capacités d’analyse au travers : d’un environnement de calcul proche des données environnementales diverses, de services web pour : les sciences du climat, les observations de la Terre, les études environnementales. Services d’accès aux données ESGF (CMIP5, CORDEX, réanalyses, Obs4MIP, etc.) : Processus d’accès à la demande, transparent et indolore pour les chercheurs. Traitement de grandes bases de données : Environnement collaboratif avec : un accès à une archive organisée : 700 To (Téraoctets) le partage de grands espaces de travail +2,5 Po de stockage haute performance couplés avec cœurs de calcul. CD IPSL - 13 octobre 2015 8/13

9 Mésocentre IPSL et CMIP6 : 2016-2018
Les simulations de développement du modèle couplé de l'IPSL pour CMIP6 sont analysées sur le mésocentre (en croisant les données existantes). Les données produites par les modèles de l'IPSL pour CMIP6 seront distribuées depuis les centres de calcul GENCI (volume estimé à 4 Po). Le mésocentre de l'IPSL : un nœud de réplication multi-modèles CMIP6 (soit environ 2 à 4 Po, les plus utilisés). Le mésocentre de l'IPSL : une plateforme académique nationale d'analyse des résultats du projet CMIP6. Accès en consultation pour tous aux codes et aux données composant une sélection de figures qui nous semblent particulièrement pertinentes, dont des figures du rapport du GIEC à venir. Renforcement des liens avec l'ICS de l'UPMC (3 000 cœurs Intel) dans le cadre des travaux qui demandent des ressources de calculs importantes. CD IPSL - 13 octobre 2015 9/13

10 service des observations
Le mésocentre au service des observations Les besoins pour encourager et faciliter l’exploitation de l’ensemble des données d’observation : Utilisation en synergie de données multi-sources (modèles, campagnes, observatoires, satellites) Traitement de séries longues d’observation Assistance pour l’utilisation des données Nécessité d’une infrastructure informatique associant espace de stockage en ligne et capacité de calcul. Mise en œuvre sur le mésocentre IPSL Plusieurs centaines de jeux de données répertoriés, Une gestion des données faite par les ingénieurs du pôle Observation au plus proche des équipes de recherche Support pour des activités autour des observations pour des projets IPSL Support du Centre de Données et Services IPSL du pôle national AERIS CD IPSL - 13 octobre 2015 10/13

11 Activités autour des observations
Développements algorithmiques Préparation segment sol de mission CNES: Megha-Tropiques, Calipso-IIR, MERLIN Algorithme passage niveau 1 à 2,3,4 Développements algorithmiques autour d’autres projets GOCCP, IASI, AIRS Exemples d’exploitation scientifique des données SIRTA Exploitation des données GEOSTATIONNAIRES (produit vapeur d’eau > CMSAF, climatologie des MCS africains) , Exploitation des sondeurs micro-onde (ex. : AMSU : occurrences de pluie convective sur 10 ans) Acquisition, production, stockage de données (200Go/j soit 600 To archivés) Satellitaires en temps quasi réel : IASI MetOP-A et B, GOSAT, METEOSAT Satellitaires en temps différé: CALIPSO, AIRS, MT, GPCP, … In-situ : SIRTA, réseau NDACC, ballons Modèle : Réanalyses, analyses météo (ECMWF, NASA, NCEP, Meteo-France, ..;) CD IPSL - 13 octobre 2015 11/13

12 Activités autour des observations
Distribution de données (services ftp, web, OpenDAP, + de 30 To/an, + de 1000 utilisateurs) Données de grandes campagnes de mesures (Mistrals Hymex/Charmex, Megapoli, AMMA), campagnes ballons Données de projets internationaux: GEWEX Cloud Assessment, CFMIP-Obs. Données Modèle : ECMWF, Mimosa, Reprobus Données réseau sols : SIRTA, NDACC Bases de données chimie : IUPAC, spectroscopie : GEISA Hébergement de projets (espace de travail 300To, d’échange ftp, site et outil web) REMENBER MEDCORDEX MEGHA-TROPIQUES PEGASE CD IPSL - 13 octobre 2015 12/13

13 Sanctuarisation et stratégie
CD IPSL : Sanctuarisation et stratégie L’IPSL ne peut pas se passer d’un mésocentre données-calcul Mutualisation Budget économique : économie d’échelle Savoir-faire collectif : masse critique Atouts IPSL : Projets de recherche ESGF AERIS Forces centrifuges : Paris-Saclay, SU, etc. Visibilité du mésocentre : comité utilisateurs, conseil scientifique, copil, etc. Besoin d’un engagement du CD IPSL pour un soutien dans la durée Reconnaissance de ce moyen clé sur notre cœur de métier Croissance à moyen terme Stratégie à élaborer avec le CD pour trouver les moyens CD IPSL - 13 octobre 2015 13/13