Plateforme de modélisation de l'IPSL : présentation et point sur la réalisation des simulations CMIP5 Foujols 1, M-A - Dufresne 2, J-L - Denvil 1, S. – Caubel 3, A. - Marti 3, O. – Aumont 4, O - Balkanski 3, Y - Bekki 5, S – Bellenger 4, H - Benshila 4, R - Bony 2, S - Bopp 3, L - Braconnot 3, P - Brockmann 3, P - Cadule 1, P - Cheruy 2, F - Codron 2, F - Cozic 3, A - Cugnet 5, D - de Noblet 3, N - Duvel 2, J-P - Ethé 1, C - Fairhead 2, L – Fichefet 7, T - Flavoni 4, S - Friedlingstein 3, P - Grandpeix 2, J-Y - Guez 2, L - Guilyardi 4, E – Hauglustaine 3, D - Hourdin 2, F - Idelkadi 2, A - Ghattas 1, J - Joussaume 3, S - Kageyama 3, M – Krinner 6, G - Labetoulle 4, S - Lahellec 2, A – Lefebvre 8, M-P - Lefevre 5, F – Levy 4, C - Li 2, Z. X. – Lloyd 4, J - Lott 2, F – Madec 4, G - Mancip 1, M – Marchand 5, M - Masson 4, S - Meurdesoif 3, Y - Mignot 4, J - Musat 2, I – Parouty 6, S - Polcher 2, J - Rio 2, C - Schulz 3, M - Swingedouw 3, D - Szopa 3, S - Talandier 4, C - Terray 4, P - Viovy 3, N et l’ensemble du pôle de modélisation de l’IPSL 1: IPSL, 2: LMD, 3: LSCE, 4: LOCEAN, 5:LATMOS, 6: LGGE, 7:UCL, 8:LMD/CNRM 1- Dufresne, J-L - Foujols, M-A - Denvil, S. - Caubel, A. - Marti, O. - Aumont, O - Balkanski, Y - Bekki, S - Bellenger, H - Benshila, R - Bony, S - Bopp, L - Braconnot, P - Brockmann, P - Cadule, P - Cheruy, F - Codron, F - Cozic, A - Cugnet, D - de Noblet, N - Duvel, J-P - Ethé, C - Fairhead, L - Fichefet, T - Flavoni, S - Friedlingstein, P - Grandpeix, J-Y - Guez, L - Guilyardi, E - Hauglustaine, D - Hourdin, F - Idelkadi, A - Ghattas, J - Joussaume, S - Kageyama, M - Krinner, G - Labetoulle, S - Lahellec, A - Lefebvre, M-P - Lefevre, F - Levy, C - Li, Z. X. - Lloyd, J - Lott, F - Madec, G - Mancip, M - Marchand, M - Masson, S - Meurdesoif, Y - Mignot, J - Musat, I - Parouty, S - Polcher, J - Rio, C - Schulz, M - Swingedouw, D - Szopa, S - Talandier, C - Terray, P - Viovy, N: Climate change projections using the IPSL-CM5 Earth System Model: from CMIP3 to CMIP5 2- Hourdin F., M-A Foujols, F. Codron, V. Guemas, J-L Dufresne, S. Bony, S. Denvil, L.Guez, F. Lott, J. Ghattas, P. Braconnot, O. Marti, Y. Meurdesoif, L. Bopp : Climate and sensitivity of the IPSL-CM5A coupled model: impact of the LMDZ atmospheric grid configuration 3- Hourdin F., J-Y Grandpeix, C. Rio, S. Bony, A. Jam, F. Cheruy, N. Rochetin, L. Fairhead, A. Idelkadi, I. Musat, J-L Dufresne, M-P. Lefebvre, A. Lahellec, R. Roehrig : From LMDZ5A to LMDZ5B : revisiting the parameterizations of clouds and convection in the atmospheric component of the IPSL-CM5 climate model 4- Szopa S. A. Cozic, M. Shulz, Y. Balkanski, D. Hauglustaine. al. Aerosol and Ozone changes as forcing for Climate Evolution between 1850 and 2100 Marie-Alice Foujols, IPSL, Janvier 2012 Des intérêts scientifiques majeurs Une stratégie assumée Une stratégie présente autour des ressources informatiques Une tâche essentielle : le suivi des simulations Un modèle adapté aux questions posées Des outils à jour Nous avons exprimé nos besoins à de nombreuses reprises et en particulier dans la note IPSL 29 publiée en mars 2007 : Stratégie calcul en modélisation du climat, Synthèse (4p) et Document technique (33p). Cette note dimensionnait les besoins à l'équivalent de 80 processeurs NEC SX-8 par an. GENCI installera au CCRT un calculateur d'architecture connue et dédié aux simulations CMIP5 de l'IPSL: NEC SX-9 (3 noeuds, 48 processeurs). Nous avons également anticipé les besoins de stockage (2 Po) et de distribution internationale des résultats dans le cadre du projet Prodiguer. Les calculateurs nationaux, sur lesquels le portage a été finalisé en 2010, sont utilisés pour les simulations décennales, pour les simulations des climats du passé et pour les simulations de climat régional. L'ensemble des simulations CMIP5 sera réalisé avec une configuration du modèle IPSLCM5 à basse résolution : ORCA2 pour l'océan et 96x95x39 pour l'atmosphère (et les continents). Cette série représente l'engagement formel de l'IPSL pour CMIP5. Un sous-ensemble sera réalisé avec la version moyenne résolution : toujours ORCA2 pour l'océan et 144x142x39 pour l'atmosphère et les continents. Les produits issus de cette série seront recommandés comme forçage des simulations régionales de type Cordex. De plus, un sous ensemble minimal sera réalisé avec la nouvelle physique de l'atmosphère. Il s'agit de prendre acte de cette nouvelle version et de la comparer à l'état de l'art. Enfin, il est également prévu une haute résolution. Cette stratégie est visible dans les étapes de développement du modèle. Les scientifiques de l'IPSL sont impliqués dans de nombreux projets internationaux d'intercomparaison. Cette variété conduit l'IPSL à réaliser l'ensemble des simulations CMIP5. Le modèle IPSLCM5 a été figé en juin Voir article 1. On notera l'ajout du cycle du carbone en standard : PISCES dans l'océan et stomate activé dans ORCHIDEE pour les continents. La chimie a été ajoutée grâce aux modules INCA et Reprobus et la préparation des forçages aérosols et ozone a été réalisée au tout début de la période avec des versions forcées LMDZ-chimie cohérentes. Voir article 4. Le choix de la résolution horizontale est le résultat d'études complètes menées en 2008 et s'est arrêté sur la résolution 96x95 (au lieu de 96x71 pour IPSLCM4). Voir article 2. Le choix de la résolution verticale a été fait pour améliorer significativement la hauteur de la colonne d'atmosphère simulée et s'est arrêté sur 39 niveaux (au lieu de 19 niveaux). Voir article 3. Les outils nécessaires ont été revus pour tenir compte de l'expérience accumulée depuis CMIP3 et le projet ENSEMBLES. Il a fallu également prévoir l'arrivée de nouvelles machines : calculateurs et serveurs et anticiper les évolutions techniques comme l'intégration d'OpenMP. Le parallélisme des composantes atmosphériques et continentales a été intégré dès la version IPSLCM4_v2 (2007) libIGCM est un ensemble de scripts et de fonctions shell regroupées dans une bibliothèque. Son écriture a été initiée sitôt les simulations CMIP3 réalisées et a été utilisée pour la première fois lors des simulations Ensembles. libIGCM a été amélioré au fur et à mesure des besoins pour consolider les traitements répartis et automatiser le lancement d'ensembles,... libIGCM permet d'utiliser les frontales ou d'autres serveurs pour l'ensemble des post-traitements. Toutes les configurations des modèles IPSL gérées par modipsl peuvent tourner avec libIGCM et bénéficier de cet environnement très complet de production de simulations climatiques intégrant des post-traitements complets. Le portage des outils sur toutes les machines disponibles est une tâche de fond indispensable. Le cours sur le modèle et son environnement est disponible. Voir forge.ipsl.jussieu.fr/igcmg/wiki/IPSLCM5A Une simulation doit être mise en route selon le protocole, vérifiée puis lancée. Ensuite, il faut suivre son déroulement et la création de tous les produits qui en sont issus : séries temporelles, moyennes saisonnières, atlas systématiques,... Le suivi des simulations a été beaucoup plus lourd que prévu; la solidarité et le suivi des simulations par les personnels présents ont permis de pallier ce souci. Le cœur des simulations CMIP5 a tourné sur une vingtaine de logins différents sur la NEC SX-9, et sur quelques logins sur les autres machines : Bull au CCRT, NEC SX- 8 et IBM à l'IDRIS. La CMORisation (mise au format standard international) des fichiers a été réalisée sur un seul login pour simplifier la publication des résultats. Occupation de la NEC SX-9 : les parties blanches correspondent aux arrêts de la production liés au retour sur cesium en 2010 ou à l'engorgement du serveur de fichiers en 2010 et 2011 Description des modèles IPSL retenus pour les simulations CMIP5 Programmes internationaux impliquant des scientifiques IPSL et lien avec le protocole CMIP5 Le modèle IPSL montrant les composantes activées ou non selon les simulations visées De nouveaux outils ont aussi été développés : L'intermonitoring permet la comparaison des simulations; Le Trusting permet de valider systématiquement tous les 2 jours la chaîne de calcul; La traduction au format CMOR des variables a été réalisée. Principales difficultés : La frontale NEC SX-9, installée en mai 2010, soit un an après la NEC SX-9, s'est avérée insuffisante et nous avons dû rapatrier les post-traitements sur cesium. Nous avons eu besoin de consolider la chaîne pour tenir compte de toutes les erreurs possibles entre la partie calcul sur SX9 et la partie de post-traitements sur cesium. Une simulation de type historical demande moins de 40 jobs de calcul et plus de 800 jobs de post-traitements. Chiffrages d'une simulation de 10 ans 10 ans de simulation, IPSLCM5A-LR, sorties complètes de type historical 10 ans : 4 procs NEC SX-9 : 30h de temps réel 32 procs scalaires (Bull ou IBM) : 40h fichiers 400 Go La distribution des résultats : le projet Prodiguer Une fois les simulations réalisées, il reste à les faire connaître, à fournir l'environnement pour les analyser et à assurer leur distribution internationale. Le projet Prodiguer a initié et soutenu une démarche d'installation de datanodes (nœud de distribution des données CMIP5) près des différents serveurs de fichiers. A l'IPSL deux datanodes ont été installés pour maîtriser les techniques utilisées et pour pouvoir distribuer les tous premiers résultats CMIP5, les données d'autres projets internationaux et même des jeux d'observations. Deux datanodes ont été installés à l'IDRIS et au CCRT. La réalisation des simulations CMIP5 à l'IPSL s'inscrit dans la stratégie du pôle de modélisation du climat de l'IPSL. Cela a représenté un très long marathon qui a demandé un effort important et régulier à un très grand nombre d'acteurs. Cela a été le résultat de nombreuses actions entamées dès la fin de CMIP3. Il est crucial de rester vigilant sur l'ensemble des problématiques rencontrés : qualité du modèle, ressources informatiques (calcul, stockage, réseau, serveurs), outils, expertise des personnels,... si l'on souhaite poursuivre notre participation à ce type d'exercice international passionnant. La préparation puis la réalisation des simulations CMIP5 se sont étalées entre 2007 et Le modèle utilisé correspond à la 5ème génération de modèles climat de l'IPSL et bénéficie de l'expérience accumulée depuis les premières versions. (Voir pour l'historique des modèles IPSL) Ce poster reprend les grandes étapes pour repérer l'ensemble des voyants au vert qui ont permis d'assurer la bonne réalisation de ces simulations : stratégie scientifique, adéquation du modèle aux questions posées, outils disponibles, anticipation des ressources informatiques nécessaires (calcul, post-traitement, fichiers, réseau), mise en place du projet Prodiguer de distribution des résultats,.... En 2012, la situation générale se dégrade et il ne serait pas possible de démarrer un exercice de même envergure aujourd'hui. Il conviendra donc de travailler sur tous ces fronts pour la préparation des prochains exercices similaires. Nous avons constaté une erreur sur les fichiers aérosols et avons décidé de poursuivre les simulations et de réaliser des simulations complémentaires avec la bonne version. Quelques erreurs ont été détectées sur les variables de sorties, les corrections ont été effectuées.