Attente de cette réunion : redéfinir stratégie commune calendrier rappel demande IPSL février 2014 comparatif CMIP5/CMIP6, ressources et développements.

Présentation au sujet: "Attente de cette réunion : redéfinir stratégie commune calendrier rappel demande IPSL février 2014 comparatif CMIP5/CMIP6, ressources et développements."— Transcription de la présentation:

1 Attente de cette réunion : redéfinir stratégie commune calendrier rappel demande IPSL février 2014 comparatif CMIP5/CMIP6, ressources et développements loi de Moore détails sur calendrier CMIP6 rappel besoins IPSL revus en oct 2014 après WGCM et maintenant? 20 janvier 2015 1

2 A noter : ClimERI : proposition faite pour être proposé en ESFRI. Soutenue par Allenvi, en cours d'examen au niveau Ministère, S Joussaume infrastructure CMIP pour toutes les équipes européennes Lettre INSU janvier 2015 Mars 2015 : formalisation engagement IPSL dans CMIP6 Juin 2015 : version figée du modèle IPSLCM6-LR Automne 2015 : réalisation à blanc d’un noyau de simulations CMIP6, évaluation et validation du modèle Décembre 2015 : configurations figées en fonction de la disponibilité des ressources calcul et stockage 2016-2018 2016-2018 : réalisation des simulations Calendrier 2

3 En discussion au niveau international Calendrier: début 2016-mi 2018 (plus étalé dans le temps que CMIP5) Organisation différente de CMIP5 mais chiffrage sur un nombre d'années simulées comparable Distribution et structure des fichiers similaires (ESGF, net-cdf) Nombre de variables comparable Autres activités = autant que CMIP pour le calcul Les grandes lignes de CMIP6 réunion GENCI/CEA/CNRS/IPSL confidentiel11/02/20143

4 CMIP6: Calendrier CMIP6 : début 2016-mi 2018 Calcul (12 000 coeurs/400 coeurs): x30 env. Volume stockage (25 Po/2): x12 env. Nombre de fichiers : (5 Mi)idem (mais accumulation) Débit d'écriture (25 Po/2ans) : x12 env. ie 50 To/jour Données à distribuer (/250 To):x10 env. Espace tampon de brassage des données post-simulations-> CMOR Pilotage revu de certaines variables HF -> Réduction volumétrie totale (< x12) Attention : réflexion en cours, facteur 2 En résumé réunion GENCI/CEA/CNRS/IPSL confidentiel11/02/20144

5 SX9 Coupled Model Intercomparison Project – CMIP5 International communities under strong pressure CMIP5/AR5 cycle Model version set-up Model runs & data archiving 2010-2011 Data archive ESGF IPCC AR5 31/07/12 Paper subm 15/03/13 Paper accept 03/11 09/13 AR5 WGI concept 2007 & definition 2008-2009 CMIP5 Simulations Data Need very strong argumentation to change things here ! Arrivée NEC-SX9CCCSTORE Arrêt DMF DMF r only GENCI/centres libIGCM v2.0 : ada v2.0_beta : pack v1.6 curie

6 Coupled Model Intercomparison Project – CMIP6 International communities under strong pressure CMIP6/AR6 cycle + 6 ans Ressources dédiées ? Model version set-up Model runs & data archiving 2016-2017 Data archive ESGF IPCC AR6 31/07/18 Paper subm 15/03/19 Paper accept 03/17 concept 2013 & definition 2014-2015 CMIP6 Simulations Data Need very strong argumentation to change things here ! 09/19 AR6 WGI Curie2 ? libIGCM Développements GENCI/centres

7 TOP 500 top500Somme#1#500 11/2001135 Tflops7,2 Tflops94,3 Gflops 11/20077 Pflops478,2 Tflops5,9 Tflops 11/2013250 Pflops34 Pflops118 Tflops Moore : *16*35 *51*70 *66*20 *60 Loi de Moore : doublement tous les 18 mois 6 ans : *16 12 000 cœurs curie 15% curie >100 Tflops 6 ans

8 Calendrier : forçages et premières expériences DECK

9 Estimation besoins IPSL pour CMIP6

10 TGCCIDRISCINESHLRS (G) curie_nfcurie_nladaturingoccigenhermit GENCI9 millions500 000 h5 millions50 000 h3 millions PRACE13 millions11 millions Grand challenge 10 millions CMIP6 1er semestre 2015 5 millions Allocations tous projets IPSL en 2015

11 Déconnexion calcul/stockage Heures de calcul : besoin d’assurer le calcul 2015-2018 Curie nœuds fins mais aussi Ada et Turing Anticiper les évolutions : curie2 Stockage : plus de latitude Stockage pour études IPSL, pour distribution internationale Revisiter le calendrier d’achat et de déploiement, adéquation aux besoins, espaces tampons, débit Anticiper évolutions : nouveaux espaces? Travail supplémentaire pour pilotage fin des sorties et compression de données : aide ingénieur Suivre les recommandations du WIP : WGCM Infrastructure Panel Et maintenant? réunion GENCI/CEA/CNRS/IPSL confidentiel11/02/201411

12 Sujets variés : Batch : Priorités entre chaines de calcul Alerte : XIOS en mode 1 fichier et compression incompatibles Sorties : ajout de la compression dans la chaine de calcul ou de traitement Post-traitement : nombre de jobs, performance nœuds larges, parallélisme des post-traitements, nouvelles métriques, … Supervision : environnement plus fragile, soumission Distribution des données : ESGF-France Recommandations WIP : les supporter Développements libIGCM : anticiper, en phase avec les évolutions Besoin de travailler ensemble réunion GENCI/CEA/CNRS/IPSL confidentiel11/02/201412

13

14 Réserves

15 Simulations Très Haute Résolution (en particulier avec nouveau coeur dynamique) Autres : Simulations régionales (CORDEX) Objectifs plus ambitieux réunion GENCI/CEA/CNRS/IPSL confidentiel11/02/201415

16 Article LMDZ ° 10 Résolutions Nombre de coeurs Temps réel calcul

17 Eléments chiffrés Deck CMIP6 RésolutionNb cœurs /simulation Nb cœurs maximum Nb heuresDurée (en jours) Stockage (en To) Débit (Go/jour/c œur) CM5A-LR32448139 0006311119 CM6-LR4436 2022 600 000836166 CM6-MR1 32818 59215 400 0001675 6869 piControl 500 ans AMIP 1979-2010 ensemble de 10*31 ans +1%CO2/an140 ans abrupt4xCO2250 ans historical+RCP451850-2100 Total : 1 450 ans

18 Nombre d’années de simulation par configuration

19 mois simulés réglage État initial Chimie-aérosls CMIP5 Arrivée SX9 Date limite Publications AR5 Changement stockage TGCC Publication sur ESG Début production Déroulement des simulations CMIP5 (2009-2012)

20

21 Pour 1 millions d’heures de calcul IPSLCM5A-LR, sorties niveau historical, produit 900 To de fichiers (Analyse et Output) Pour 1 millions d’heures de calcul IPSLCM6-LR, sorties niveau historical, produit 270 To de fichiers (Analyse et Output) Rapport 3

22 pack_debug RebuildFrequency PackFrequency SeasonalFrequency TimeSeriesFrequency Computing job Post-processing jobs PackFrequency PeriodLength, PeriodNb CMOR

23 compilation calcul rebuild pack_debug pack_restart pack_output create_se create_ts atlasmonitoringCMOR Serveurs IPSL WORKDIR SCRATCHDIR/IGCM_OUT REBUILD STOREDIR/Output RESTART DEBUG STOREDIR/Analyse/SE TS_MO … WORKDIR/MONIT ATLAS WORKDIR/cmip5 STOREDIR dods/store dods/work esgf SCRATCHDIR/RUN_DIR SCRATCHDIR/Out (scripts) BUFFER

24 Compilation, pilotage Calcul Pack Création fichiers temporels Monitoring CMOR Production Figures, suivi dods/work Pilotage, sources Sorties primaires Sorties secondairesdods/store Tampon Sorties distribuées esgf Chaîne de calcul IPSL : étapes de calcul et espaces fichiers

25 Prestation