Attente de cette réunion : redéfinir stratégie commune calendrier rappel demande IPSL février 2014 comparatif CMIP5/CMIP6, ressources et développements loi de Moore détails sur calendrier CMIP6 rappel besoins IPSL revus en oct 2014 après WGCM et maintenant? 20 janvier
A noter : ClimERI : proposition faite pour être proposé en ESFRI. Soutenue par Allenvi, en cours d'examen au niveau Ministère, S Joussaume infrastructure CMIP pour toutes les équipes européennes Lettre INSU janvier 2015 Mars 2015 : formalisation engagement IPSL dans CMIP6 Juin 2015 : version figée du modèle IPSLCM6-LR Automne 2015 : réalisation à blanc d’un noyau de simulations CMIP6, évaluation et validation du modèle Décembre 2015 : configurations figées en fonction de la disponibilité des ressources calcul et stockage : réalisation des simulations Calendrier 2
En discussion au niveau international Calendrier: début 2016-mi 2018 (plus étalé dans le temps que CMIP5) Organisation différente de CMIP5 mais chiffrage sur un nombre d'années simulées comparable Distribution et structure des fichiers similaires (ESGF, net-cdf) Nombre de variables comparable Autres activités = autant que CMIP pour le calcul Les grandes lignes de CMIP6 réunion GENCI/CEA/CNRS/IPSL confidentiel11/02/20143
CMIP6: Calendrier CMIP6 : début 2016-mi 2018 Calcul ( coeurs/400 coeurs): x30 env. Volume stockage (25 Po/2): x12 env. Nombre de fichiers : (5 Mi)idem (mais accumulation) Débit d'écriture (25 Po/2ans) : x12 env. ie 50 To/jour Données à distribuer (/250 To):x10 env. Espace tampon de brassage des données post-simulations-> CMOR Pilotage revu de certaines variables HF -> Réduction volumétrie totale (< x12) Attention : réflexion en cours, facteur 2 En résumé réunion GENCI/CEA/CNRS/IPSL confidentiel11/02/20144
SX9 Coupled Model Intercomparison Project – CMIP5 International communities under strong pressure CMIP5/AR5 cycle Model version set-up Model runs & data archiving Data archive ESGF IPCC AR5 31/07/12 Paper subm 15/03/13 Paper accept 03/11 09/13 AR5 WGI concept 2007 & definition CMIP5 Simulations Data Need very strong argumentation to change things here ! Arrivée NEC-SX9CCCSTORE Arrêt DMF DMF r only GENCI/centres libIGCM v2.0 : ada v2.0_beta : pack v1.6 curie
Coupled Model Intercomparison Project – CMIP6 International communities under strong pressure CMIP6/AR6 cycle + 6 ans Ressources dédiées ? Model version set-up Model runs & data archiving Data archive ESGF IPCC AR6 31/07/18 Paper subm 15/03/19 Paper accept 03/17 concept 2013 & definition CMIP6 Simulations Data Need very strong argumentation to change things here ! 09/19 AR6 WGI Curie2 ? libIGCM Développements GENCI/centres
TOP 500 top500Somme#1#500 11/ Tflops7,2 Tflops94,3 Gflops 11/20077 Pflops478,2 Tflops5,9 Tflops 11/ Pflops34 Pflops118 Tflops Moore : *16*35 *51*70 *66*20 *60 Loi de Moore : doublement tous les 18 mois 6 ans : * cœurs curie 15% curie >100 Tflops 6 ans
Calendrier : forçages et premières expériences DECK
Estimation besoins IPSL pour CMIP6
TGCCIDRISCINESHLRS (G) curie_nfcurie_nladaturingoccigenhermit GENCI9 millions h5 millions h3 millions PRACE13 millions11 millions Grand challenge 10 millions CMIP6 1er semestre millions Allocations tous projets IPSL en 2015
Déconnexion calcul/stockage Heures de calcul : besoin d’assurer le calcul Curie nœuds fins mais aussi Ada et Turing Anticiper les évolutions : curie2 Stockage : plus de latitude Stockage pour études IPSL, pour distribution internationale Revisiter le calendrier d’achat et de déploiement, adéquation aux besoins, espaces tampons, débit Anticiper évolutions : nouveaux espaces? Travail supplémentaire pour pilotage fin des sorties et compression de données : aide ingénieur Suivre les recommandations du WIP : WGCM Infrastructure Panel Et maintenant? réunion GENCI/CEA/CNRS/IPSL confidentiel11/02/201411
Sujets variés : Batch : Priorités entre chaines de calcul Alerte : XIOS en mode 1 fichier et compression incompatibles Sorties : ajout de la compression dans la chaine de calcul ou de traitement Post-traitement : nombre de jobs, performance nœuds larges, parallélisme des post-traitements, nouvelles métriques, … Supervision : environnement plus fragile, soumission Distribution des données : ESGF-France Recommandations WIP : les supporter Développements libIGCM : anticiper, en phase avec les évolutions Besoin de travailler ensemble réunion GENCI/CEA/CNRS/IPSL confidentiel11/02/201412
Réserves
Simulations Très Haute Résolution (en particulier avec nouveau coeur dynamique) Autres : Simulations régionales (CORDEX) Objectifs plus ambitieux réunion GENCI/CEA/CNRS/IPSL confidentiel11/02/201415
Article LMDZ ° 10 Résolutions Nombre de coeurs Temps réel calcul
Eléments chiffrés Deck CMIP6 RésolutionNb cœurs /simulation Nb cœurs maximum Nb heuresDurée (en jours) Stockage (en To) Débit (Go/jour/c œur) CM5A-LR CM6-LR CM6-MR piControl 500 ans AMIP ensemble de 10*31 ans +1%CO2/an140 ans abrupt4xCO2250 ans historical+RCP Total : ans
Nombre d’années de simulation par configuration
mois simulés réglage État initial Chimie-aérosls CMIP5 Arrivée SX9 Date limite Publications AR5 Changement stockage TGCC Publication sur ESG Début production Déroulement des simulations CMIP5 ( )
Pour 1 millions d’heures de calcul IPSLCM5A-LR, sorties niveau historical, produit 900 To de fichiers (Analyse et Output) Pour 1 millions d’heures de calcul IPSLCM6-LR, sorties niveau historical, produit 270 To de fichiers (Analyse et Output) Rapport 3
pack_debug RebuildFrequency PackFrequency SeasonalFrequency TimeSeriesFrequency Computing job Post-processing jobs PackFrequency PeriodLength, PeriodNb CMOR
compilation calcul rebuild pack_debug pack_restart pack_output create_se create_ts atlasmonitoringCMOR Serveurs IPSL WORKDIR SCRATCHDIR/IGCM_OUT REBUILD STOREDIR/Output RESTART DEBUG STOREDIR/Analyse/SE TS_MO … WORKDIR/MONIT ATLAS WORKDIR/cmip5 STOREDIR dods/store dods/work esgf SCRATCHDIR/RUN_DIR SCRATCHDIR/Out (scripts) BUFFER
Compilation, pilotage Calcul Pack Création fichiers temporels Monitoring CMOR Production Figures, suivi dods/work Pilotage, sources Sorties primaires Sorties secondairesdods/store Tampon Sorties distribuées esgf Chaîne de calcul IPSL : étapes de calcul et espaces fichiers
Prestation