Septembre 2006

Accès au modèle système terre et Analyse des résultats IPSL - Pôle de modélisation du climat Le modèle système terre : de IPSLCM4_v1 vers le ESM Principes retenus Fonctionnement simplifié de MODIPSL Le script de la simulation type Les fichiers de résultats Le parallélisme Les simulations déjà réalisées NetCDF et les utilitaires nco

Les laboratoires et les tutelles

IPSL Fédération de 5 laboratoires - Observatoire des Sciences de l’Univers : –le Centre d’étude des Environnements Terrestre et Planétaires (CETP), –le Laboratoire de Météorologie Dynamique (LMD) –le Laboratoire d’Océanographie et du Climat : Expérimentation et Approches Numériques (LOCEAN) –le Laboratoire des Sciences du Climat et de l’Environnement (LSCE) –le Service d’Aéronomie (SA) 8 tutelles –Centre National de la Recherche Scientifique (CNRS), –Université Pierre et Marie Curie - Paris 6 –Université Versailles Saint-Quentin en Yvelines –Commissariat à l’Energie Atomique (CEA) –l’Institut de Recherche et Développement (IRD) –Ecole Normale Supérieure –Ecole Polytechnique –Centre National d’Etudes Spatiales (CNES). 800 personnes Projets fédératifs : –Pôle de modélisation du climat - 80 personnes - Pascale Braconnot

Missions : –Fédérer les études multidisciplinaires (scientifiques ou techniques) faisant intervenir les composantes du modèle de l'IPSL –Identifier et coordonner les simulations de références –Fédérer et rationaliser les moyens, les développements techniques –Animation scientifique Modèle climat : –Atmosphère –Océan et glace de mer –Surfaces continentales –Cycle du carbone –Chimie IPSLCM4_v1 Pôle de mod é lisation OPA

LMDZ F. Hourdin Conseil scientifique du pôle de modélisation INCA D. Hauglustaine OPA S. Masson, G. Madec ORCHIDEE N. De Noblet TOP L. Bopp Bureau du CSPOLE Responsable : P. Braconnot L. Fairhead, M.-A. Foujols P. Friedlingstein F. Hourdin, C. Lévy, O. Marti 20e-21eme J.L Dufresne, P. Friedlingstein Tropiques J.P. Duvel, S. Janicot Expertise complémentaire F. Lott, L. Li, S. Bekki, G. Krinner,Th. Fichefet G. Ramstein

Contraintes liées aux différentes activités scientifiques : IPSL_CM4(IPCC) Tests sensibilité -KE/Ti -Flux eau -Paleo -??? IPSL_CM4+(IPCC) IPSL_CM4(loop) IPSL_CM4(chimie-aérosols) Utilisation des sols Paléo végétation Cycle du carbone (Pisces, flux de carbone, transport carbone) INCA Passage LMDZ4 IPSL_CM4(//) Passage Verrions // des modèles Evolution des composantes Haute résolution Nouveau modèle Nouvel exercice GIEC 2009

Historique des versions du modèle couplé IPSLCM4_v1 : –figé en juillet 2004 pour réalisations IPCC IPSLCM4_v1_OASIS3 - version recommandée : –Intègre LMDZ4 tag IPCC –Résolution 144x86x19 ajoutée –Utilisation de OASIS3 fichiers en NetCDF Version issue de PRISM : compilation –Utilisation de IOIPSL 2, version Fortran 90 –Tourne sur brodie (IDRIS) depuis août 2006 IPSLCM4_LOOP - référence LOOP : –Ajout cycle du carbone : stomate (ORCHIDEE), PISCES (OPA) –Intègre LMDZ4 IPSLCM4_v2_PAR - version de développement : –Intègre le parallélisme de LMDZ et Orchidee IPSL_ESM_GES : en cours Principes similaires NEW

Land surface, vegetation ORCHIDEE CO 2 Evaporation, rivers... Circulation, precip... SST, ice extent.. Vegetation, soil carbon Biogeochemistry Chemistry DMS Aérosols Atmosphere LMDZ Ocean, sea-ice ORCA-LIM CH4, COVs, Aérosols CH4, COVs, Aérosols Sea salt Iron NO x, O 3 Energy, water cycle Carbon cycle Chemistry, aerosols Human activities CO2 emissions Polluant emissions Déforestation, land use

Deux centres de calcul : IDRIS/CNRS et CCRT/CEA IDRIS/CNRSCCRT/CEA Calculateurbrodie.idris.fr NEC SX-8 10 noeuds 80 processeurs mercure.ccc.cea.fr NEC SX-6 7 noeuds 56 processeurs Connexionbrodie.idris.fr (filtrage par adresse) idefix1.saclay.cea.fr puis mercure.ccc.cea.fr Compilationbrodie (tx7)Mercure (tx7) Exécutionbrodie[01-10]mercure[0-6] Fichiersgayafer Post-traitementrhodesMercure (tx7) Serveur DODSdods.idris.frdods.extra.cea.fr/data/ NEW

Et sur mon poste de travail? CalculateursServeur local, PC/Linux,Mac OSX,... CVS : accès aux sourcesTout système Unix-like Compilateur Fortran 90 avec jeu d’options testées Produit commercial sur tout système orienté calcul. Compilateur gnu : g95 PGI : pgf90 NAG : f95 IBM : x90 Bibliothèque d’échanges de messages pour coupleur Tout système orienté calcul parallèle : MPI Bibliothèque NetCDF 3.6Tout système orienté calcul ou soi-même Interface Fortran 90 NetCDFÀ compiler avec le même compilateur Espace fichiers de stockagen Gigaoctets Utilitaires ncoTout système orienté calcul climat PythonTout système orienté calcul Assistance-SupportIPSL et modèles Retour d’expérienceapprécié

Version de référence du modèle couplé IPSL-CM4 IPSLCM4_v1 : LMDZ-ORCHIDEE-OASIS-ORCA-LIM-IOIPSL Cette version n’évolue plus. Base des réalisations pour IPCC IPSLCM4_LOOP : LMDZ-ORCHIDEE (stomate)- OASIS-ORCA-LIM-PISCES-IOIPSL2 IPSLCM4_v1_OASIS3 : LMDZ4-ORCHIDEE-OASIS3-ORCA-LIM-IOIPSL2 Cette version a évolué pour inclure LMDZ4, OASIS3, IOIPSL2, une troisième résolution pour LMDZ et a été porté sur brodie (SX-8 de l’IDRIS) IPSLCM4_v2_PAR : version de développement pour inclure le parallélisme dans LMDZ et ORCHIDEE NEW

Version de référence Chaque composante est validée en forcé par les personnes ad hoc – tag fixé – atlas sur le WWW Une expérience type est disponible – 2L24 : préindustrielle - base simulation IPCC Point de départ d’une démarche itérative – Nouvelle étude – Suivi des nouveautés

A. Caubel, MA Foujols et groupe CPLIPSL Compilation, Script exemple IPSLCM4_v1 _OASIS3 key_orca_r4 ou r2 key_ice_lln … 72x45x19, 96x 71x19, 144x96x19 Information A. Caubel et CERFACS CPL J. BellierIoipsl-2-1IOIPSL Équipe système OPA ipsl_cm4_v1_10 ORCA_LIM M. Manciporchidee_1_3ORCHIDEE L Fairhead IPSL-CM4 _IPCC_branch LMDZ4 ResponsablesTagComposante Head OASIS 3 Head Différentes composantes du modèle couplé IPSL IPSLCM4_v1_OASIS3 P Cadule, S Denvil, P Brockmann Utilitaires de post-traitement Post_util ipsl_cm4_v1_6 NEW

Documentation

Documentation wiki.ipsl.jussieu.fr/wiki_ipsl/PoleModelisationClimat

Documentation wiki.ipsl.jussieu.fr/wiki_ipsl/ConfigIpsl

Principes (1/7) ATMOSPHERE LMDZ

ORCHIDEE_OLORCHIDEELMDZ Principes (2/7) PROCESSUS de SURFACE « DRIVER OFFLINE »

Principes (3/7) ORCHIDEE_OLORCHIDEELMDZ LMDZOR Expérience type : 1 an ORCHIDEE_OL Expérience type : 1 an sur le site Cabauw

LMDZ OPALIMTRC Principes (4/7) OCEAN GLACE TRACEUR ORCHIDEE

LMDZOPALIMTRC Principes (5/7) ORCA2_LIM Expérience type : 1 an ORCA2_LIM_TRC Expérience type : 1 an

ORCHIDEELMDZOPALIMOASIS Principes (6/7) COUPLEUR CERFACS IPSLCM4_v1_OASIS3 Expérience type : 3x30 jours : tests informatiques 12x30 jours Post-traitement : OFF

ORCHIDEE_OLORCHIDEELMDZOPALIMTRCOASIS Principes (7/7) IOIPSL/ NETCDF fichiers

Accès au modèle IPSLCM4_v1_OASIS3 (1/11) 1. Accès à modipsl brodie ou mercure : ksh alias cvs_ano=‘cvs –d brodie ou mercure : mkdir IPSLCM4_v1 brodie ou mercure : cd IPSLCM4_v1 brodie ou mercure : cvs_ano login brodie ou mercure : cvs_ano co modipsl IPSLCM4_v1 modipsl scriptsmodeleslibdoc CVSbin tmp util config NEW

LMDZ OPA ORCHIDEE IOIPSL CPL Accès au modèle IPSLCM4_v1_OASIS3 (2/11) Accès aux fichiers sur les serveurs CVS brodie ou mercure : cvs login (passwd=anonymous) brodie ou mercure : cvs –d login (passwd=opa2000) brodie ou mercure : cvs –d login (passwd=lmdzb2000) brodie ou mercure : cvs –d login (passwd=ipsl2000) Création du fichier $HOME/.cvspass MODIPSL

modipsl IPSLCM4_v1 scriptsmodelesconfigdocCVS bin tmputil Installation et configuration des Makefiles Installation et configuration des scripts de lancement Définition pour chaque modèle de leur composant et de leur tag Extraction des modèles validés disponibles mod.def model ins_make ins_script ins_post Accès au modèle IPSLCM4_v1_OASIS3 (3/11) 1. Accès à modipsl brodie ou mercure : cd modipsl/util Installation et configuration des scripts de post_traitement lib

#- $Header: /home/ioipsl/CVSROOT/modipsl/util/mod.def,v /07/25 14:54:00 adm Exp $ # #- Pour chaque modele on definit #- ses composants (prefixe #-C-), leurs "tags" (prefixe #-T-), #- et l'index du serveur CVS correspondant (prefixe #-I-) #- dans la liste des serveurs (prefixe #-S-). #- Le tag "?" est utilise pour les composants sans tag particulier. #- Le tag "-?" est force avec l'option -H activee. # #- Adresses des serveurs CVS #-S- 1 #-S- 2 #-S- 3 #-S- 4 #-S- 5 #-S- 6 # #- Informations relatives aux modeles #-H- IPSLCM4_v1_OASIS3 IPSLCM4_v1_OASIS3 configuration with OASIS3 coupler 23/03/05 #-H- IPSLCM4_v1_OASIS3 ORCA tag ipsl_cm4_v1_10 #-H- IPSLCM4_v1_OASIS3 IOIPSL/src tag ioipsl-2-0 #-H- IPSLCM4_v1_OASIS3 LMDZ4 tag IPSL-CM4_IPCC_branch #-H- IPSLCM4_v1_OASIS3 ORCHIDEE tag orchidee_1_3 #-H- IPSLCM4_v1_OASIS3 OASIS3 #-M- IPSLCM4_v1_OASIS3 #-C- IPSLCM4_v1_OASIS3 IOIPSL/src ORCHIDEE OASIS3 LMDZ4 IPSLCM4_v1_OASIS3 #-T- IPSLCM4_v1_OASIS3 ioipsl-2-1 orchidee_1_3 ? IPSL-CM4_IPCC_branch ? ipsl_cm4_v1_6 #-I- IPSLCM4_v1_OASIS #-D- IPSLCM4_v1_OASIS3.. prism.. post_util... #-L- IPSLCM4_v1_OASIS3 modeles modeles. modeles config. modeles #- Accès au modèle IPSLCM4_v1_OASIS3 (4/11) - fichier mod.def -

1. Accès à MODIPSL cvs_ano co modipsl ; cd modipsl/util 2. Accès à IPSLCM4_v1_OASIS3 brodie ou mercure :./ model IPSLCM4_v1_OASIS3 CVS Accès au modèle IPSLCM4_v1_OASIS3 (5/10) util modipsl IPSLCM4_v1 scriptsmodeleslibdoc bin tmp UTIL OPA LMDZ4 ORCHIDEECVSIOIPSLCPL config IPSLCM4_v1_OASIS3 NEW prism NEW

1. Accès à MODIPSL cvs_ano co modipsl ; cd modipsl/util 2. Accès à IPSLCM4_v1./model IPSLCM4_v1_OASIS3 3. Installation des Makefiles brodie ou mercure :./ins_make Accès au modèle IPSLCM4_v1_OASIS3 (6/11) util modipsl IPSLCM4_v1 scriptsmodeleslibdoc bin tmp CVS IPSLCM4_v1_OASIS3 AA_make.gdef Makefile AA_make.ldef AA_make.gdef AA_make config

1. Accès à MODIPSL cvs_ano co modipsl ; cd modipsl/util 2. Accès à IPSLCM4_v1./model IPSLCM4_v1_OASIS3 3. Installation des Makefiles./ins_make 4. Installation de l’expérience type brodie ou mercure :./ins_script -n XX1 util modipsl IPSLCM4_v1 scriptsmodeleslibdoc bin tmp CVS IPSLCM4_v1_OASIS3 Accès au modèle IPSLCM4_v1_OASIS3 (7/11) EXP00 AA_job Job_XX1 config NEW

post_util modipsl IPSLCM4_v1 modeles Accès au modèle IPSLCM4_v1_OASIS3 (8/11) Tout utilitaire da4mo da4mo.job 1. Accès à MODIPSL cvs_ano co modipsl ; cd modipsl/util 2. Accès à IPSLCM4_v1./model IPSLCM4_v1_OASIS3 3. Installation des Makefiles./ins_make 4. Installation de l’expérience type (inclus post- traitement) brodie ou mercure :./ins_script -n XX1 config NEW

1. Accès à MODIPSL cvs_ano co modipsl ; cd modipsl/util 2. Acces à IPSLCM4_v1./model IPSLCM4_v1_OASIS3 3. Installation des Makefiles./ins_make 4. Installation de l’expérience type./ins_script -n XX1 Installation du répertoire post_util sur rhodes de même nom ou changer R_UTILITAIRES dans Job_XX1 brodie : rsh rhodes mkdir -p IPSLCM4_v1/modipsl/post_util brodie : rcp post_util/* rhodes:testI/modipsl/post_util Accès au modèle IPSLCM4_v1_OASIS3 (9/11) modipsl IPSLCM4_v1 post_util NEW

1. Accès à MODIPSL cvs_ano co modipsl ; cd modipsl/util 2. Acces à IPSLCM4_v1./model IPSLCM4_v1_OASIS3 3. Installation des Makefiles./ins_make 4. Installation de l’expérience type./ins_script -n XX1 Installation du répertoire post_util sur rhodes 5. Compilation brodie ou mercure : cd../config/IPSLCM4_v1_OASIS3 brodie ou mercure : gmake ORCA2xLMD9671 util modipsl IPSLCM4_v1 scriptsconfiglibdoc bin tmp CVS IPSLCM4_v1_OASIS3 Accès au modèle IPSLCM4_v1_OASIS3 (10/11) create_etat0_limit.e gcm.e oasis opa NEW

1. Accès à MODIPSL cvs_ano co modipsl ; cd modipsl/util 2. Acces à IPSLCM4_v1./model IPSLCM4_v1_OASIS3 3. Installation des Makefiles./ins_make 4. Installation de l’expérience type./ins_script -n XX1 Installation du répertoire post_util sur rhodes 5. Compilation cd../config/IPSLCM4_v1_OASIS3 gmake ORCA2xLMD Soumission du Job de lancement brodie ou mercure : cd EXP00 brodie ou mercure : qsub Job_XX1 Accès au modèle IPSLCM4_v1_OASIS3 (11/11) modipsl IPSLCM4_v1 config IPSLCM4_v1_OASIS3 EXP00 README AA_job Job_XX1 dynami.param_ORCA4/2... gcm.def geogram.param inice.param namcouple_ORCA4/2... namelist_ORCA4/2... offline.def orchidee.def output.param physiq.def run.def run.param.li thermo.param

Récupérer, compiler et lancer le modèle couplé IPSLCM4_v1_OASIS3 1. Accès à MODIPSL cvs_ano co modipsl 2. Acces à IPSLCM4_v1 cd modipsl/util ;./model IPSLCM4_v1_OASIS3 3. Installation des Makefiles./ins_make 4. Installation de l’expérience type (et post-traitements)./ins_script -n XX1 rsh rhodes mkdir -p IPSLCM4_v1/modipsl/post_util rcp post_util/* rhodes:IPSLCM4_v1/modipsl/post_util 5. Compilation cd../config/IPSLCM4_v1 ; gmake ORCA2xLMD Soumission du Job de lancement cd EXP00 qsub Job_XX1

Les utilitaires de post-traitement (1/6) modipsl IPSLCM4_v1 post_util atlas_cpl_... monitoring_... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar Atlas saisonniers Basés sur ferret, sur fast : les outils de Patrick Brockmann atlas_cpl_se : lancement de tous les atlas saisonniers atlas_cpl_se_ORCA_LIM : pour océan et glace de mer atlas_cpl_se_LMDZOR : pour atmosphère et surfaces continentales

Les utilitaires de post-traitement (2/6) modipsl IPSLCM4_v1 post_util atlas_cpl_... monitoring_... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar Monitoring monitoring_script : suivi de la simulation en interactif = création de pages WWW monitoring_loop_script : repasser le suivi sur une simulation qui a déjà tourné (plots) monitoring_loop2_script : repasser le suivi sur une simulation qui a déjà tourné (champs 2D et moyenne annuelle)

Les utilitaires de post-traitement (3/6) modipsl IPSLCM4_v1 post_util atlas_cpl_... monitoring_... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar Nouveaux fichiers pour optimiser les analyses mo2se : moyenne saisonnière à partir de fichiers moyennes mensuelles mo2st : série temporelle à partir de fichiers moyennes mensuelles mo2sn : cycle saisonnier à partir de fichiers moyennes mensuelles

Les utilitaires de post-traitement (4/6) modipsl IPSLCM4_v1 post_util atlas_cpl_... monitoring_... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar Nouveaux fichiers pour optimiser les analyses da2st : série temporelle à partir de fichiers journaliers moyennés da2mo : fichiers mensuels à partir de fichiers journaliers moyennés da2ye : fichiers annuels à partir de fichiers journaliers moyennés

Les utilitaires de post-traitement (5/6) modipsl IPSLCM4_v1 post_util atlas_cpl_... monitoring_... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar Nouveaux fichiers pour optimiser les analyses da4mo : fichiers mensuels à partir de fichiers journaliers concaténés da4ye : fichiers annuels à partir de fichiers journaliers concaténés

Les utilitaires de post-traitement (6/6) modipsl IPSLCM4_v1 post_util atlas_cpl_... monitoring_... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar Autres utilitaires tx2tar : création d’archives pour les fichiers texte

Script de référence Ensemble de commandes rassemblées dans un fichier « script » permettant une simulation type A été testé et tourne régulièrement sur : – CEA (mercure : NEC SX-6) – IDRIS (uqbar : NEC SX-5 et brodie : NEC SX-8) Auto-documenté NEW

Initialisation Définition des variables Unix Définition des répertoires Rapatriement des Fichiers d’Entrée Opération de pre-traitement Exécution Opération de post-traitement Chaînage de la simulation suivante Script de référence : AA_job (1/10)

Script de référence : AA_job (2/10) 1. Définition des limites temps CPU* #PBS -l cputim_job=1:00:00 limite en temps CPU pour l’ensemble du job #PBS -l cputim_prc=1:00:00 limite en temps CPU par processus (commande) 2. Définition de la mémoire limite* #PBS -l memsz_job=3Gb limite mémoire 3. Définition du nombre de processeurs (en mono) #PBS -l numcpu_job=2nb de proc pour le job #PBS -l numcpu_prc=2nb de proc par processus Prochainement : Définition du nombre de processeurs (avec LMDZ en parallèle) #PBS -l numcpu_job=6nb de proc pour le job #PBS -l numcpu_prc=4nb de proc par processus Initialisation * Il est impératif de respecter le tableau des classes et de prendre en compte la valeur de NITER_MAX NEW

Script de référence : AA_job (3/10) tableau des classes* IDRIS brodie : news class * Susceptible de changement permanent NEW brodie : #PBS -q multi

Script de référence : AA_job (4/10) tableau des classes* CEA * Susceptible de changement permanent mercure : class

20 minutes 10 minutes Temps CPU 4 Gb 40 minutes mercure:ORCA Gb60 minutes mercure:ORCA Gb25 minutes brodie:ORCA Gb12 minutes brodie:ORCA4... Memoire viveTemps écouléPlateformes 20 minutes 80 minutes Classe du job: brodie um11, um1x, um22 mercure prod Script de référence : AA_job (5/10) Caractéristiques pour une expérience de 1 mois NEW

1. Définition des limites temps CPU 2. Définition de la mémoire limite 3. Définition des dates ##-- First day of experience JOUR_DEBUT_EXP=1 ; MOIS_DEBUT_EXP=1 ; AN_DEBUT_EXP=1979 ##-- ##--Last day of experience JOUR_FIN_JOB=30 ; MOIS_FIN_JOB=12 ; AN_FIN_JOB=1979 ##-- Job length JOURS=30 ; MOIS=0 ; AN=0 ##-- Script de référence : AA_job (6/10) Initialisation CALENDRIER* : 360 jours Mois de 30 jours * Préparation en cours d’un calendrier de 365 jours

1. Définition des limites temps CPU 2. Définition de la mémoire limite 3. Définition des dates 4. Détermination du type de redémarrage Depuis la même simulation OK_restart_SS=nPas de redémarrage #OK_restart_SS=[y/n]Redémarrage à activer Script d’exemple : AA_job (7/10) Initialisation Par défaut, pas de redémarrage

1. Définition des limites temps CPU 2. Définition de la mémoire limite 3. Définition des dates 4. Détermination du type de redémarrage Depuis une autre simulation OK_restart_OS=nPas de redémarrage #OK_restart_OS=[y/n]Redémarrage à activer ## Last day of the experience used as restart #AN_RESTART=1951 ; MOIS_RESTART=12 ; JOUR_RESTART=30 #CEXPER_OS=LJ7Restart simulation name #GROUP=cesGroup and login of restart file proprietary #LOGIN=rces011 ##-- First day of experience JOUR_DEBUT_EXP=1 ; MOIS_DEBUT_EXP=1 ; AN_DEBUT_EXP=1952 ##--Last day of experience JOUR_FIN_JOB=30 ; MOIS_FIN_JOB=12 ; AN_FIN_JOB=2051 Script d’exemple : AA_job (7/10) Initialisation * Valeur à décommenter selon le choix de l’utilisateur

1. Définition des limites temps CPU 2. Définition de la mémoire limite 3. Définition des dates 4. Détermination du type de redémarrage 5. Détermination de la fréquence de sortie* ORCA + LIM #ORCA_NWRITE=15Fréquence de sorties journalières #ORCA_NWRITE=450Fréquence de sorties mensuelles #ORCA_NWRIHF=15Fréquence de sorties haute fréquence ie journalières LMDZ + ORCHIDEE #OK_journe=[y/n]Fréquence de sorties journalières #OK_mensuel=[y/n]Fréquence de sorties mensuelles #OK_instan=[y/n]Fréquence de sorties instantannées #ecritphy=30Fréquence de sorties de la physique (en jours) #iperiod=5Période pour pas Matsuno (en pas de temps) #iphysiq=10Période pour le calcul de la physique (en pas de temps) Script d’exemple : AA_job (8/10) Initialisation Par défaut, sorties mensuelles pour des simulations d’au moins 1 mois * Valeur à décommenter selon le choix de l’utilisateur

1. Définition des limites temps CPU 2. Définition de la mémoire limite 3. Définition des dates 4. Détermination du type de redémarrage 5. Détermination de la fréquence de sortie 6. Flags pour le Post-processing [y/n] OK_POST_monitoring=nPermet ou pas le suivi en ligne de certaines variables en lançant l’utilitaire monitoring_script.job** OK_POST_SE=nPermet de créer les moyennes saisonnières à une fréquence définie (freq_SE par défaut 10 ans) OK_POST_ATLAS_SE=nPermet de lancer ou pas les atlas sur les fichiers saisonniers** en lançant les utilitaires mo2se.job et atlas_cpl_se.job Script d’exemple : AA_job (9/10) Initialisation * Valeur à décommenter selon le choix de l’utilisateur ** Visualisation graphique Par défaut, n pour OFF

1. Définition des limites temps CPU 2. Défintion de la mémoire limite 3. Définition des dates 4. Détermination du type de redémarrage 5. Détermination de la fréquence de sortie 6. Flags pour le Post-processing [y/n]* OK_POST_MO2ST=nPermet de générer des séries temporelles à partir des fichiers mensuels à une fréquence définie (freq_MO2ST_LL par défaut 10 ans) OK_POST_MO2ST_SL=nOK_DODS_MO2ST=n OK_POST_MO2SN=n OK_DODS_MO2SN=n OK_POST_MO2YE=n OK_DODS_MO2YE=n OK_POST_MO4YE=n OK_DODS_MO4YE=n OK_POST_txt2tar=n freq_txt2tar=10 (10 ans par défaut) Script d’exemple : AA_job (9/10) Initialisation * Valeur à décommenter selon le choix de l’utilisateur Par défaut, n pour OFF

1. Définition des limites temps CPU 2. Défintion de la mémoire limite 3. Définition des dates 4. Détermination du type de redémarrage 5. Détermination de la fréquence de sortie 6. Flags pour le Post-processing 7. Enchainement des jobs* NITER_MAX =1Permet le bouclage dans le script pour traiter plusieurs exécutions de 1 mois dans un seul job et d’éviter de reprendre la file d’attente d’une classe à la fin de chaque job Script d’exemple : AA_job (10/10) Initialisation * A prendre en compte dans la détermination des contraintes temps

Fichiers d’entrée texte Fichiers d’entrée binaires (netCDF) Exécutable Fichiers de sorties binaires (netCDF) Fichiers de sorties texte Fichiers de redémarrage Flux des données (1/4)

OPA + LIM Flux des données (2/4) OPA + LIM namelist_ORCA2xLMD9671 _ORCA4xLMD7245 geogra.param output.param run.param.li thermo.param dynami.param_ORCA2xLMD9671 _ORCA4xLMD7245 inice.param coordinates.nc bathymetry ahmcoef LEVITUS_1m_… runoff_1m_... À analyser avec les outils de post-traitements restart.nc rest_ice.om orcaini.nc rest.om …_grid_ … …_diaznl_… …icemod… meshmask.nc ocean.output solver.stat time.step ice_evolu ice_mouchard

OASIS3 flxat.nc sstoc.nc flxat.nc sstoc.nc cf_name_table.txt namcouple _ORCA2xLMD9671 _ORCA4xLMD7245 grids.nc masks.nc areas.nc wa2o.flx wa2o.run wa2o.cal wo2a.tsg cpl_oce_tau.nc cpl_oce_flx.nc cpl_oce_sst.nc cpl_atm_tauflx.nc cpl_atm_sst.nc Oasis.prt opa.xx.prt0 lmdz.x.prt0 cplout Flux des données (3/4) OASIS À analyser avec les outils de post-traitements

LMDZ + ORCHIDEE restart.nc restartphy.nc sechiba_rest.nc start.nc startphy.nc start_sech.nc physiq.def gcm.def run.def orchidee.def Flux des données (4/4) LMDZ + ORCHIDEE invtab.formated limit.nc carteveg5km.nc soils_param.nc routing.nc flux_iceberg amipbc_sic....nc Albedo.nc Rugos.nc tautab.format so4.run.nat.cd f ECDYN.nc ECPHY.nc Relief.nc Rugos.nc landiceref.nc o2a.nc lai2D.nc create_etat0_limit.e À analyser avec les outils de post-traitements etat0_visu.nc dyn_hist[ v_ave].nc dynzon.nc histhf.nc histmth.nc listing nistNMC.nc histREGDYN.nc sechiba_out.nc stomate_history.nc

Nomenclature des noms des fichiers de sortie ${JOB}_DUREE_JOB_${DATE_DEB_JOB}_${DATE_FIN_JOB}_NomFichier.nc ${DATE_DEB_JOB} : ${AN_DEB_JOB}${MOIS_DEB_JOB}${JOUR_DEB_JOB} AAAA MM JJ ${DATE_FIN_JOB} : ${AN_FIN_JOB}${MOIS_FIN_JOB}${JOUR_FIN_JOB} AAAA MM JJ DUREE_JOB : ${NB_SEC_JOB} < 5 x d ${NB_SEC_JOB} = 5 x d 5 x < ${NB_SEC_JOB} < 360 x m ${NB_SEC_JOB} >= 360 x y

Arborescence sur serveur fichiers TS10_SE DA2YEMOMO2YE YE SORTIES_CPL_IPSL Oce Srf Cpl More Exe LJ8 AtmOutLim Restart Analyse Output [INS]DA[HF] MO Debug MonitDes UtilAtlas OutScript WWW rhodes : cd /u/rech/ces/rces599/ mercure : cd /dmnfs/p86cadul/

Le parallélisme Première étape : LMDZ ORCHIDEE sur 4 processeurs Préciser le nombre de processeurs PBS Mémoire plus importante Prise en compte du nombre de processeurs lors du lancement de la simulation mpirun dans le coupleur Génération de fichiers identiques : océan, coupleur, restart atmosphère-continent Génération de fichiers différentes : dynamique : dyn_hist_[0-3].nc, dyn_hist_ave_[0-3].nc, dyn_histv_[0-3].nc physique : histNMC_000 [0-3].nc, histhmth_000 [0-3].nc, histrac_000 [0-3].nc continent : sechiba_history_000[0-3].nc, stomate_history_000 [0-3].nc Nécessité de les recombiner : commande rebuild sur les NEC rebuild -o histmth.nc histmth*.nc Script mis à disposition dans IPSLCM4_v2_PAR

mc2.ipsl.jussieu.fr

mc2.ipsl.jussieu.fr/simules.html

Auto descriptif Portable à Accès direct Modifiable Partageable Le fichier contient l’information sur les variables contenues Fichiers accessibles par des machines ayant des modes différents de stockage des entiers, des caractères et des nombres à virgules flottantes Possibilité d’accéder à une donnée sans avoir à parcourir l’ensemble des données qui la précède Possibilité d’ajouter des données dans un fichier Possibilité d’avoir simultanément un accès en écriture et plusieurs accès en lecture Caractéristiques d’un fichier netCDF

Informations sur les dimensions Informations sur les attributs (voir conventions CF) Informations sur les attributs des variables ( sans leurs valeurs) (voir conventions CF) Structure du fichier netCDF – En-tête dimensions: lon = 72 ; lat = 46 ; presnivs = 19 ; time_counter = UNLIMITED ; // (1 currently) // global attributes: :Conventions = "GDT 1.3" ; :file_name = "histmth.nc" ; :production = "An IPSL model" ; :TimeStamp = "2003-MAR-05 10:37:38 GMT+0100" ; :associate_file = "dyn_hist_ave.nc dynzon.nc histhf.nc histmth.nc sechiba_out.nc cpl_atm_tauflx.nc cpl_atm_sst.nc" ; variables: float lon(lon) ; lon:units = "degrees_east" ; lon:valid_min = -180.f ; lon:valid_max = 175.f ; lon:long_name = "Longitude" ; lon:nav_model = "Default grid" ; float lat(lat) ; lat:units = "degrees_north" ; lat:valid_min = -90.f ; lat:valid_max = 90.f ; lat:long_name = "Latitude" ; lat:nav_model = "Default grid" ; float presnivs(presnivs) ; presnivs:units = "mb" ; presnivs:positive = "unknown" ; presnivs:valid_min = f ; presnivs:valid_max = f ; presnivs:title = "presnivs" ; presnivs:long_name = "Vertical levels" ; float time_counter(time_counter) ; time_counter:units = "seconds since :00:00" ; time_counter:calendar = "360d" ; time_counter:title = "Time" ; time_counter:long_name = "Time axis" ; time_counter:time_origin = " 1979-JAN-01 00:00:00" ; float tsol(time_counter, lat, lon) ; tsol:units = "K" ; tsol:missing_value = 1.e+20f ; tsol:valid_min = 1.e+20f ; tsol:valid_max = -1.e+20f ; tsol:long_name = "Surface Temperature" ; tsol:short_name = "tsol" ; tsol:online_operation = "ave(X)" ; tsol:axis = "TYX" ; tsol:interval_operation = 1800.f ; tsol:interval_write = f ; tsol:associate = "time_counter nav_lat nav_lon" ; ncdump -h COURS_1m_ _ _histmth.nc

données de taille fixe données de taille variable Structure du fichier netCDF - Données data: tsol = , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , …

Utilitaires netCDF - ncgen - ncgen : génère un fichier netCDF ou un programme C ou FORTRAN permettant de créer un fichier netCDF. Si aucune option n’est spécifiée lors de l’invocation de ncgen, le programme se limite à vérifier la syntaxe de l’entrée CDL produisant des erreurs lors de la violation de la syntaxe

Utilitaires netCDF - ncgen - Syntaxe UNIX : ncgen [ -b ] [ -o netcdf-file] [-c] [-f] [-n] [input-file] -b : Créée un fichier (binaire) netCDF. Si l’option « -o » est absente un nom par défaut sera construit à partir du nom netCDF (spécifié après le mot clef netcdf) en y ajoutant l’extension «.nc » ATTENTION : si un fichier portant ce nom existe, il sera écrasé. -o netcdf-file : spécifie le nom du fichier créé. Si cette option est présente, elle implique la présence de l’option « -b ». -c : Génère un code source en C qui va créer un ficier netCDF correspondant à la spécification netCDF. Le code source est écrit sur la sortie standard. Ce n’est utile que pour des fichiers CDL relativement petits, du fait que toutes les données sont incuses dans les variables d’initialisation du programme généré.

Utilitaires netCDF - ncgen - -f : Génère un code source en FORTRAN qui va créer un fichier netCDF correspondant à la spécification netCDF. Le code source est écrit sur la sortie standard. Ce n’est utile que pour des fichiers CDL relativement petits, du fait que toutes les données sont incuses dans les variables d’initialisation du programme généré. -n : Cette option est dépréciée. Fonctionne selon le même principe que l’option « -b » sauf que l’extension est «.cdf ». Cette option n’est supportée que pour assurer la compatibilité ascendante.

Utilitaires netCDF - ncdump - ncdump : génère sur la sortie standard une représentation textuelle CDL d’un ensemble de meta-données netCDF avec la possibilité d’exclure tout ou partie de données variables. La sortie de ncdump doit pouvoir servir d’entrée à ncgen ncdump et ncgen peuvent donc être utilisées comme fonctions inverses pour passer d’une représentation textuelle à une représentation binaire et inversement. ncdump peut être aussi simplement utilisée pour explorer les fichiers netCDF dans le but d’afficher : les noms et longueurs des dimensions les noms, types et formes des variables les noms et valeurs des attributs et optionnellement les valeurs des données pour les variables d’un fichier netCDF

Utilitaires netCDF - ncdump - Syntaxe UNIX : ncdump [ -c | -h ] [ -v var1, …] [-b lang] [-f lang] [-l len] [-p fdig[, ddig]] [-n name] [input-file] -c : affiche les valeurs des variables coordonnées ainsi que les déclarations de toutes les dimensions, variables, et attributs des valeurs. La valeur des données des variables non coordonnées ne sont pas affichées. Cette option et la plus adaptée pour une rapide visualisation de la structure et du contenu d’un ensemble de données netCDF -h : affiche seulement l’information d’en-tête. C’est à dire seulement les déclarations des dimensions, variables et attributs d’un fichier mais pas les valeurs des variables. Le résultat de l’utilisation de cette option est identique à celui de l’option « -c » à l’exception du fait que les valeurs de variables coordonnées ne sont pas incluses.

Utilitaires netCDF - ncdump - -v var1, … : le résultat va inclure la valeur des données des variables spécifiées, en plus des déclarations des dimensions, variables et des attributs. Une liste d’une ou plusieurs variables, séparées par des virgules, doit être spécifiée à la suite de l’option. La liste doit représenter un seul argument pour l’option. Elle ne doit donc pas contenir de blanc ou autre caractère espace. Les noms des variables indiquées doivent effectivement exister dans le fichier d’entrée netCDF. Par défaut, en l’absence de cette option et en l’absence des options « -c » ou « -h » les valeurs des données de toutes les variables sont affichées.

Utilitaires netCDF - ncdump - -b lang : une brève annotation, au format CDL (texte commencant par les caractères’//’) sera incluse dans la section des données à l’affichage pour chaque ‘ligne’ de données afin d’identifier les valeurs des données des variables multi-dimensionnelles. Si lang débute avec la lettre ‘C’ ou ‘c’ les conventions du langage C seront utilisées (indices basés sur zéro et dernière dimension variant la plus vite) Si lang débute avec la lettre ‘F’ ou ‘f’, les convention du langage FORTRAN seront utilisées (indices basés sur un et première dimension variant la plus vite) - f lang : Même principe que précédemment à l’exception que l’annotation sera complète. - l len : Change la valeur par défaut de la longueur d’une ligne à l’affichage (80 caractères)

-p float_digits[,double_digits] spécifié la précision par défaut (nombre de chiffre significatifs) à utiliser lors de l’affichage des valeurs des données, double précision ou flottant, des attributs et des variables. Si spécifiée, cette valeur surchage la valeur de l’attribut C_format, s’il existe, d’une variable. Les flottants seront affichés avec float_digits pour les nombres significatifs. Si le champ double_digits est aussi spécifié, les valeurs en double précision seront affichées avec le nombre de chiffres significatifs correspondant. En l’absence de l’option « -p » les valeurs par défaut de la précision sont respectivement 7 et 15 pour les flottant et la double-précision. La précision requise influe sur la taille du fichier CDL. Si les deux champs sont spécifiés, ils doivent être séparés par une virgule et apparaître comme un seul argument pour l’option (pas de blancs). Utilitaires netCDF - ncdump -

Utilitaires netCDF - ncdump - - n name : CDL requière un nom pour un ensemble de données netCDF afin d’être utilisé par « ncgen –b » pour la génération du nom par défaut d’un ensemble de données netCDF. Par défaut ncdump construit ce nom à partir du dernier champ du nom de l’ensemble des données netCDF d’entrée, en y enlevant toute extension. L’option « -n » sert à spécifier un autre nom. Même si le nom du fichier de sortie utilisé par « ncgen –b » peut être spécifié, il est préférable : - d’utiliser ncdump pour changer le nom par défaut afin d’éviter d’écraser un ensemble de données netCDF lors de l’utilisation de ncdump. - d’éditer le fichier CDL résultant - et d’utiliser « ncgen –b » pour générer un ensemble de données netCDF à partir du fichier CDL édité.

rhodes : cd ${HOMEGAYA}/SORTIES_CPL_IPSL/COURS/Atm/Output/MO mercure : cd ${DMFDIR}/SORTIES_CPL_IPSL/COURS/Atm/Output/MO rhodes ou mercure : ncdump -h COURS_1m_ _ _histmth.nc rhodes ou mercure : ncdump -h COURS_1m_ _ _histmth.nc > toto rhodes ou mercure : ncdump -c COURS_1m_ _ _histmth.nc > tata rhodes ou mercure: diff toto tata rhodes ou mercure : \rm –f toto tata Utilitaires netCDF - ncdump - - ncgen - Affiche sur la sortie standard les valeurs des variables coordonnées

Utilitaires netCDF - ncdump - - ncgen - rhodes ou mercure : ncdump –b f COURS_1m_ _ _histmth.nc > COURS_1m_ _ cdl rhodes ou mercure : emacs COURS_1m_ _ cdl & rhodes ou mercure : ncgen –o COURS_1m_ _ nc COURS_1m_ _ cdl Permet de faire des modifs « à la main » dans les fichiers netCDF

ncrcat [-A] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] input-files output-files ncrcat concatène des variables enregistrées parmi un nombre arbitraire de fichiers d'entrée. La dimension du fichier netCDF de sortie est par défaut la somme des dimensions des fichiers netCDF d’entrée. Les fichiers d'entrée peuvent avoir des tailles différentes mais tous doivent avoir des dimensions spécifiées. L’enregistrement des coordonnées doit avoir la même syntaxe. Utilitaires nco - ncrcat -

Utilitaires nco - ncrcat - ncrcat –v tsol COURS_1m_19790[1-9]01_19790[1-9]30_histmth.nc COURS_1m_19791[0-2]01_19791[0-2]30_histmth.nc COURS_1m_19880[1-9]01_19880[1-9]30_histmth.nc COURS_1m_19881[0-2]01_19881[0-2]30_histmth.nc COURS_1m_ _ _TSOL.nc Série temporelle de la variable TSOL sur 10 ans

Utilitaires nco - ncra - ncra [-A] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] [-y op_typ] input-files output-files ncra calcule la moyenne sur un nombre variable de fichiers d’entrée. C’est une moyenne temporelle sur la grille spatiale. Ce qui donne 1 seule valeur dans les fichiers de sorties. ncra ne calcule pas de moyenne pondérée.

ncra COURS_1m_19??0101_19??0130_histmth.nc COURS_SE01_1979_1988_histmth.nc ncra COURS_1m_ _ _histmth.nc COURS_1m_198[0-8]0101_*_histmth.nc COURS_SE01_1979_1988_histmth.nc Permet de faire une moyenne sur tous les mois 01 de 1979 à 1988 Permet de faire une moyenne sur tous les mois 01 présents dans le répertoire Utilitaires nco - ncra - ncrcat COURS_SE*_1979_1988_histmth.nc COURS_SE_1979_1988_histmth.nc Moyenne saisonnière sur 10 ans

Utilitaires nco - ncea - ncea [-A] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] [-y op_typ] input-files output-files ncea calcule la moyenne sur un nombre variable de fichiers d’entrée. C’est une moyenne spatiale sur une grille temporelle. Ce qui donne autant de valeurs de moyenne que de pas de temps.

Utilitaires nco - ncea - ncea COURS_1m_1979??01_1979??30_histmth.nc 1979.nc ncea COURS_1m_1988??01_1988??30_histmth.nc 1988.nc ncea –n 10,4,1 COURS_1m_ 1979_1988 _histmth.nc Moyenne saisonnière sur 10 ans Car 1 sortie mensuelle par fichier ATTENTION : ncea fait la moyenne « fichier à fichier » sur chaque point de l’axe des temps ATTENTION : ncra fait la moyenne « fichier à fichier » sur l’ensemble des points de l’axe des temps t t t Nombre de valeurs de moyenne égale au nombre de sorties par fichiers 1 unique valeur de moyenne

Utilitaires nco - ncks - ncks [-A] [-a] [-B] [-b binary-files] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-H] [-h] [-l path] [-M] [-m] [-O] [-p path] [-q] [-R] |-r] [-s format] [-u] [-v var[,…]] [-x] input-files output-files ncks permet d’extraire une série de données qu’il écrit sur la sortie standard sous forme ASCII (comme ncdump) et qu’il écrit également sous forme d’un fichier binaire netCDF.

Utilitaires nco - ncks - ncks -v sosstsst COURS_1m_ _ _grid_T.nc COURS_1m_ _ _SOSSTSST.nc … ncks -v sosstsst COURS_1m_ _ _grid_T.nc COURS_1m_ _ _SOSSTSST.nc ncrcat –v sosstsst COURS_1m_19790[1-9]01_19790[1-9]30_grid_T.nc COURS_1m_19791[0-2]01_19791[0-2]30_grid_T.nc COURS_1m_19880[1 9]01_19880[1-9]30_grid_T.nc COURS_1m_19881[0-2]01_19881[0 2]30_grid_T.nc COURS_1m_ _ _grid_T.nc Série temporelle de la variable SOSSTSST sur 10 ans

Utilitaires nco - ncdiff - ncdiff [-A] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] file_1 file_2 file_3 ncdiff soustrait des variables dans file_2 des variables correspondantes dans file_1 et stockent les résultats dans file_3.

Utilitaires nco - ncdiff - ncdiff –v tsol COURS_1m_ _ _histmth.nc COURS_1m_ _ _histmth.nc COURS_1m_ _ _TSOL_D.nc Différence sur la grille spatiale de la variable TSOL

netCDF, nco Convention CF