Version 2.2 Septembre 2008 ESCI. Accès au modèle système terre et Analyse des résultats IPSL - Pôle de modélisation du climat Le modèle système terre.

Présentation au sujet: "Version 2.2 Septembre 2008 ESCI. Accès au modèle système terre et Analyse des résultats IPSL - Pôle de modélisation du climat Le modèle système terre."— Transcription de la présentation:

1 Version 2.2 Septembre 2008 ESCI

2 Accès au modèle système terre et Analyse des résultats IPSL - Pôle de modélisation du climat Le modèle système terre : de IPSLCM4_v1 vers le ESM Principes retenus Fonctionnement simplifié de MODIPSL (SVN) Les nouveaux scripts basés sur libIGCM Les fichiers de résultats Le parallélisme Les simulations déjà réalisées NetCDF et les utilitaires nco, cdo

3 Les laboratoires et les tutelles

4 IPSL Fédération de 5 laboratoires - Observatoire des Sciences de l’Univers : –le Centre d’étude des Environnements Terrestre et Planétaires (CETP), –le Laboratoire de Météorologie Dynamique (LMD) –le Laboratoire d’Océanographie et du Climat : Expérimentation et Approches Numériques (LOCEAN) –le Laboratoire des Sciences du Climat et de l’Environnement (LSCE) –le Service d’Aéronomie (SA) 8 tutelles –Centre National de la Recherche Scientifique (CNRS), –Université Pierre et Marie Curie - Paris 6 –Université Versailles Saint-Quentin en Yvelines –Commissariat à l’Energie Atomique (CEA) –l’Institut de Recherche et Développement (IRD) –Ecole Normale Supérieure –Ecole Polytechnique –Centre National d’Etudes Spatiales (CNES). 800 personnes Projets fédératifs : –Pôle de modélisation du climat - 80 personnes - Pascale Braconnot

5 Pôle de mod é lisation Missions : –Fédérer les études multidisciplinaires (scientifiques ou techniques) faisant intervenir les composantes du modèle de l'IPSL –Identifier et coordonner les simulations de références –Fédérer et rationaliser les moyens, les développements techniques –Animation scientifique Modèle climat : –Atmosphère –Océan et glace de mer –Surfaces continentales –Cycle du carbone –Chimie IPSLCM4_v2 NEMO/OPA NEMO/TOP/PISCES INCA

6 Conseil scientifique du pôle de modélisation LMDZ F. Hourdin INCA M. Schulz ORCHIDEE N. De Noblet NEMO-OPA S. Masson, G. Madec NEMO-TOP L. Bopp Bureau du CSPOLE Responsable : J.-L. Dufresne P. Braconnot, L. Fairhead, M.-A. Foujols P. Friedlingstein F. Hourdin, C. Lévy, O. Marti 20e-21eme J.L Dufresne, P. Friedlingstein Tropiques J.P. Duvel, S. Janicot Expertise compl é mentaire F. Lott, L. Li, S. Bekki, G. Krinner,Th. Fichefet G. Ramstein

7 Contraintes liées aux différentes activités scientifiques : IPSL_CM4(IPCC) Tests sensibilité -KE/Ti -Flux eau -Paleo -??? IPSL_CM4+(IPCC) IPSL_CM4(loop) IPSL_CM4(chimie-aérosols) Utilisation des sols Paléo végétation Cycle du carbone (Pisces, flux de carbone, transport carbone) INCA Passage LMDZ4 IPSL_CM4(//) Passage Versions // des modèles Evolution des composantes Haute résolution Nouveau modèle Nouvel exercice GIEC 2009 IPSLCM4_v1 IPSLCM4_v2 IPSLCM5 IPSL_ESM_V1

8 Historique des versions du modèle couplé IPSLCM4_v1 : figé en juillet 2004 pour réalisations IPCC IPSLCM4_v1_OASIS3 - version recommandée jusqu’en juillet 2007 : –Intègre LMDZ4 tag IPCC –Résolutions 144x96x19 et 144X142x19 ajoutées pour essais –Utilisation de OASIS3 (fichiers en NetCDF, compilation type PRISM) –Utilisation de IOIPSL 2, version Fortran 90 –Peut tourner avec nouveaux scripts communs (libIGCM) IPSLCM4_LOOP - référence LOOP : –Ajout cycle du carbone : stomate (ORCHIDEE), PISCES (OPA) –Intègre LMDZ4 IPSLCM4_v2 - version recommandée depuis juillet 2007 - –Nouveaux scripts (libIGCM) –Modipsl, IOIPSL et CONFIG gérés sous svn/forge –Trac pour wiki et suivi tickets –Dernières versions LMDZ et Orchidee (inclus parallélisme) IPSL_ESM_V1, IPSLCM5 : en cours Principes similaires, utilisables pour toute configuration NEW

9 Land surface, vegetation ORCHIDEE CO 2 Evaporation, rivers... Circulation, precip... SST, ice extent.. Vegetation, soil carbon Biogeochemistry Chemistry DMS Aérosols Atmosphere LMDZ Ocean, sea-ice ORCA-LIM CH4, COVs, Aérosols CH4, COVs, Aérosols Sea salt Iron NO x, O 3 Energy, water cycle Carbon cycle Chemistry, aerosols Human activities CO2 emissions Polluant emissions Déforestation, land use

10 Deux centres de calcul privilégiés: IDRIS/CNRS et CCRT/CEA IDRIS/CNRSCCRT/CEA Calculateurbrodie.idris.fr NEC SX-8, été 2006 10 noeuds 80 processeurs mercure.ccc.cea.fr NEC SX-8R, nov 2006 8 noeuds 64 processeurs Connexionbrodie.idris.fr (filtrage par adresse) idefix1.saclay.cea.fr puis mercure.ccc.cea.fr Compilationbrodie (tx7)mercure (tx7) Exécutionbrodie[01-10]mercure[10-17] Fichiersgayafer Post-traitementrhodesmercure (tx7) Serveur DODSdods.idris.frdods.extra.cea.fr/data/ Assistance-Supportassist@idris.frhotline.ccrt@cea.fr 01 69 35 85 5501 69 26 66 66 www.idris.frwww-ccrt.ccc.cea.fr:8000

11 Et sur mon poste de travail? CalculateursServeur local, PC/Linux, Mac OSX,... CVS : accès aux sourcesTout système Unix-like SVN : accès aux sourcesA installer en plus du système de base. Voir http://subversion.tigris.org/ et packages http://subversion.tigris.org/ Compilateur Fortran 90 avec jeu d’options testées Compilateur sur tout système orienté calcul Compilateur conseillé : g95 Compilateur gnu : gfortran PGI : pgf90 NAG : f95 Intel : ifort Bibliothèque d’échanges de messages pour coupleur Tout système orienté calcul parallèle : MPI Bibliothèque NetCDF 3.6.2Tout système orienté calcul ou soi-même Interface Fortran 90 NetCDFÀ compiler avec le même compilateur Espace fichiers de stockagen Gigaoctets Utilitaires nco, cdoTout système orienté calcul climat Python, FerretTout système orienté calcul Assistance-SupportGroupe ESCI Retour d’expérienceApprécié

12 Historique des versions de référence du modèle couplé IPSL depuis IPSLCM4_v1 IPSLCM4_v1 : LMDZ-ORCHIDEE-OASIS-ORCA-LIM-IOIPSL Cette version n’évolue plus. Base des réalisations pour IPCC IPSLCM4_LOOP : LMDZ-ORCHIDEE (stomate)- OASIS-ORCA-LIM-PISCES-IOIPSL2 IPSLCM4_v1_OASIS3 : LMDZ4-ORCHIDEE-OASIS3-ORCA-LIM-IOIPSL2 Cette version a évolué pour inclure LMDZ4, OASIS3, une troisième résolution pour LMDZ et a été portée sur brodie (SX-8 de l’IDRIS) et mercure (SX-8R du CCRT). Elle n’évolue plus. IPSLCM4_v2 : version en cours de validation finale, inclut toutes les évolutions récentes. Premier couplé avec LMDZ/ORCHIDEE parallèle IPSL_ESM_V1 : première version du Earth System Model incluant Chimie: LMDZ-ORCHIDEE-OASIS-ORCA-LIM-IOIPSL-INCA IPSLCM5 : En cours. Premier couplé avec NEMO. NEW

13 Version de référence Chaque composante est validée en forcé par les personnes ad hoc – tag fixé – atlas sur les serveurs dods IDRIS et CCRT. Une expérience type est disponible (site http://mc2.ipsl.jussieu.fr) – IPSLCM4_v1 : 2L24 (préindustrielle - base simulation IPCC), 2L20 (actuel) – IPSLCM4_v2 : CDT5v2CT (144x142) Poursuite de la démarche itérative – Nouvelle étude – Suivi des nouveautés Orchidee 1_9_2 LMDZ4 avec parallélisme LMDZ4_V3_4 Nouveaux scripts (libIGCM_v1) Configurations cohérentes en plus grand nombre – LMDZ4INCA_v2, ORCA2LIM_v2, LMDZ4OR_v2 – IPSL_ESM_V1, IPSLCM5

14 A. Caubel, MA Foujols et groupe CPLIPSL Compilation et fichiers d’entrée IPSLCM4_v2 key_orca_r2 key_ice_lln … 72x45x19, 96x71x19, 144x96x19, 144x143x19 Information A. Caubel et CERFACS CPL J. Bellierv2_1_3IOIPSL Équipe système OPA ipsl_cm4_v2 ORCA_LIM M. Manciporchidee_1_9_2ORCHIDEE L. Fairhead LMDZ4_V3_4 LMDZ4 Responsables ESCI TagComposante IPSLCM4_v2_2 OASIS 3 Head Différentes composantes du modèle couplé IPSLCM4_v2 S Denvil, P Brockmann, M Mancip Nouveaux scripts exécution et post-traitements libIGCM libIGCM_v1 NEW SVN

15 Documentations Wiki Pôle : http://forge.ipsl.jussieu.fr/igcmg http://forge.ipsl.jussieu.fr/igcmg – Accès sources SVN – Accès aux tickets d’incident – Accès aux pages wiki – Contrainte : être inscrit dans le projet (demande aux administrateurs) pour pouvoir modifier wiki, tickets et sources. – Compte commun : climato/climato – Machine commune de gestion des projets - Olivier Thauvin (SA) Wiki IPSL (intranet) : http://wiki.ipsl.jussieu.fr/wiki_ipsl Wiki IPSLCM4_v2 : http://forge.ipsl.jussieu.fr/igcmg/wiki/IPSLCM4_v2_PAR http://forge.ipsl.jussieu.fr/igcmg/wiki/IPSLCM4_v2_PAR Documentation libIGCM (inclut exemple IPSLCM4_v2) : http://forge.ipsl.jussieu.fr/libigcm/wiki

16 Documentation forge.ipsl.jussieu.fr/igcmg WIKISources SVN Tickets

17 Principes (1/7) ATMOSPHERE LMDZ

18 ORCHIDEE_OLORCHIDEELMDZ Principes (2/7) PROCESSUS de SURFACE « DRIVER OFFLINE »

19 Principes (3/7) ORCHIDEE_OLORCHIDEELMDZ LMDZOR Expérience type : 1 an ORCHIDEE_OL Expérience type : 1 an sur le site Cabauw

20 LMDZ OPALIMTRC Principes (4/7) OCEAN GLACE TRACEUR ORCHIDEE

21 LMDZOPALIMTRC Principes (5/7) ORCA2_LIM Expérience type : 1 an ORCA2_LIM_TRC Expérience type : 1 an

22 ORCHIDEELMDZOPALIMOASIS Principes (6/7) COUPLEUR CERFACS IPSLCM4_v2 Expérience type : 10 ans Etats initiaux

23 ORCHIDEE_OLORCHIDEELMDZOPALIMTRCOASIS Principes (7/7) IOIPSL/ NETCDF fichiers

24 Accès au modèle IPSLCM4_v2 (1/9) 1. Accès à modipsl (SVN) brodie ou mercure : mkdir IPSLCM4_v2 brodie ou mercure : cd IPSLCM4_v2 brodie ou mercure : svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl IPSLCM4_v2 modipsl modeleslibdoc.svnbin tmp util config

25 modipsl IPSLCM4_v2 modelesconfigdoc.svn bin tmputil Installation et configuration des Makefiles Installation et configuration des scripts de lancement Définition pour chaque configuration de leurs composantes et de leurs tags Extraction des modèles validés disponibles mod.def model ins_make ins_job Accès au modèle IPSLCM4_v2 (2/9) 1. Accès à modipsl (SVN) brodie ou mercure : cd modipsl/util lib

26 1 #- $Id$ 2 #--------------------------------------------------------------------- 3 #-This file is the definition file of the script "model". 4 #--------------------------------------------------------------------- 5 #- Each model is defined by 6 #- (prefix #-H-) model informations, 7 #- (prefix #-M-) the email address of the model manager, 8 #- (prefix #-C-) elements to extract for the model, in the order : 9 #- name of the component in the repository 10 #- tag/revision of the component 11 #- index of the repository in the server table 12 #- installation path in the local working directory 13 #- local working directory in modipsl 14 #- (prefix #-S-) containing the control system and server address. 15 #- 16 #- The tag "?" correspond to the default model version. 17 #- Invoking "model" with -H overrides any tag with "?". 18 #--------------------------------------------------------------------- 19 #- Repository informations 20 #- 21 #-S- 1 cvs anonymous@cvs.ipsl.jussieu.fr:/home/ioipsl/CVSROOT 22 #-S- 2 cvs sechiba@cvs.ipsl.jussieu.fr:/home/ssipsl/CVSREP 23 #-S- 3 cvs lmdzbrowse@cvs.lmd.jussieu.fr:/home/cvsroot 24 #-S- 4 cvs opa@cvs.ipsl.jussieu.fr:/home/opalod/CVSROOT 25 #-S- 5 cvs nemo@cvs.ipsl.jussieu.fr:/home/opalod/NEMOCVSROOT 26 #-S- 6 cvs inca@cvs.ipsl.jussieu.fr:/home/incaipsl/CVSROOT 27 #-S- 7 svn --username nemo_user http://forge.ipsl.jussieu.fr/nemo/svn 28 #-S- 8 svn http://forge.ipsl.jussieu.fr/igcmg/svn 29 #------------------------------------------------------------------ Accès au modèle IPSLCM4_v2 (3/9) - fichier mod.def -

27 85#- 87 #-H- IPSLCM4_v2 IPSLCM4_v2 configuration with parallel LMDZ4 and ORCHIDEE 88 #-H- IPSLCM4_v2 official release : october 2007 89 #-H- IPSLCM4_v2 ORCA tag ipsl_cm4_v2 90 #-H- IPSLCM4_v2 IOIPSL/src svn tags/v2_1_3 91 #-H- IPSLCM4_v2 LMDZ4 tag LMDZ4_V3_4 92 #-H- IPSLCM4_v2 ORCHIDEE tag orchidee_1_9_2 93 #-H- IPSLCM4_v2 OASIS3 tag HEAD 94 #-H- IPSLCM4_v2 IPSLCM4_v2 svn new scripts 95 #-M- IPSLCM4_v2 arnaud.caubel@lsce.ipsl.fr 96 #-C- IPSLCM4_v2 IOIPSL/tags/v2_1_3/src HEAD 8 IOIPSL/src modeles 97 #-C- IPSLCM4_v2 ORCHIDEE orchidee_1_9_2 2. modeles 98 #-C- IPSLCM4_v2 OASIS3 ? 1 prism. 99 #-C- IPSLCM4_v2 LMDZ4 LMDZ4_V3_4 3. modeles 100 #-C- IPSLCM4_v2 CONFIG/tags/IPSLCM4_v2/IPSLCM4_v2_2 HEAD 8 IPSLCM4_v2 config 101 #-C- IPSLCM4_v2 tags/libIGCM_v1 ? 1.. 102 #-C- IPSLCM4_v2 OPA/SRC_ORCA ipsl_cm4_v2 4. modeles 103 #-C- IPSLCM4_v2 OPA/SRC_UCL ipsl_cm4_v2 4. modeles 104 #-C- IPSLCM4_v2 UTIL/fait_AA_make ipsl_cm4_v1_8 4. modeles Accès au modèle IPSLCM4_v2 (3/9 - suite) - fichier mod.def -

28 1. Accès à MODIPSL (SVN) svn_ano ; cd modipsl/util 2. Accès à IPSLCM4_v2 brodie ou mercure :./ model IPSLCM4_v2 (la 1 ère fois, voir Annexe 1 pour login et mots de passe).svn Accès au modèle IPSLCM4_v2 (4/9) util modipsl IPSLCM4_v2 modeleslibIGCMdoc bin tmp UTIL OPA LMDZ4 ORCHIDEECVSIOIPSLCPL config IPSLCM4_v2 prismlib

29 1. Accès à MODIPSL (SVN) svn_ano ; cd modipsl/util 2. Accès à IPSLCM4_v2./model IPSLCM4_v2 3. Installation des Makefiles brodie ou mercure :./ins_make Accès au modèle IPSLCM4_v2 (5/9) util modipsl IPSLCM4_v2 prismmodeleslibdoc bin tmp.svn IPSLCM4_v2 AA_make.gdef Makefile AA_make.ldef AA_make configlibIGCM

30 1. Accès à MODIPSL (SVN) svn_ano ; cd modipsl/util 2. Accès à IPSLCM4_v2./model IPSLCM4_v2 3. Installation des Makefiles./ins_make 4. Installation de l’expérience type brodie ou mercure : # Editer../config/IPSLCM4_v2/EXP00/config.card # Modifier JobName, JobNumProcTot, JobClass(Brodie)./ins_job util modipsl IPSLCM4_v2 modeles lib doc bin tmp.svn IPSLCM4_v2 Accès au modèle IPSLCM4_v2 (6/9) EXP00 Job_JobName config NEW libIGCM AA_job config.card

31 libIGCM modipsl IPSLCM4_v2 modeles Accès au modèle IPSLCM4_v2 (7/9) AA_atlas_LMDZ AA_atlas_ORCHIDEE AA_atlas_ORCA_LIM AA_create_ts AA_create_se atlas_LMDZ.job atlas_ORCHIDEE.job atlas_ORCA_LIM.job create_ts.job create_se.job 1. Accès à MODIPSL svn_ano ; cd modipsl/util 2. Accès à IPSLCM4_v2./model IPSLCM4_v2 3. Installation des Makefiles./ins_make vi../config/IPSLCM4_v2/EXP00/config.card 4. Installation de l’expérience type (partie post-traitement) brodie ou mercure :./ins_job config NEW

32 1. Accès à MODIPSL (SVN) svn_ano ; cd modipsl/util 2. Acces à IPSLCM4_v2./model IPSLCM4_v2 3. Installation des Makefiles./ins_make 4. Installation de l’expérience type vi../config/IPSLCM4_v2/EXP00/config.card./ins_job 5. Compilation brodie ou mercure : cd../config/IPSLCM4_v2 brodie ou mercure : gmake util modipsl IPSLCM4_v2 configlibdoc bin tmp.svn IPSLCM4_v2 Accès au modèle IPSLCM4_v2 (8/9) create_etat0_limit.e gcm.e oasis opa NEW Makefile

33 1. Accès à MODIPSL (SVN) svn_ano ; cd modipsl/util 2. Acces à IPSLCM4_v2./model IPSLCM4_v2 3. Installation des Makefiles./ins_make 4. Installation de l’expérience type vi../config/IPSLCM4_v2/EXP00/config.card./ins_job 5. Compilation cd../config/IPSLCM4_v2 gmake # attention brodie 6. Soumission du Job de lancement brodie ou mercure : cd EXP00 brodie ou mercure : qsub Job_JobName Accès au modèle IPSLCM4_v2 (9/9) modipsl IPSLCM4_v2 config IPSLCM4_v2 dynami.param gcm.def geogram.para m inice.param namcouple namelist offline.def orchidee.def output.param physiq.def run.def run.param.li thermo.param EXP00 Job_JobName COMPPARAM lim.card lim.driver lmdz.card lmdz.driver oasis.card oasis.driver opa.card opa.driver orchidee.card orchidee.driver

34 Récupérer, compiler et lancer le modèle couplé IPSLCM4_v2 1. Accès à MODIPSL (SVN) svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl 2. Acces à IPSLCM4_v2 cd modipsl/util ;./model IPSLCM4_v2 3. Installation des Makefiles./ins_make 4. Installation de l’expérience type (et post-traitements) Modifier «JobName» dans../config/IPSLCM4_v2/EXP00/config.card./ins_job 5. Compilation cd../config/IPSLCM4_v2 ; gmake 6. Soumission du Job de lancement cd EXP00 qsub Job_JobName

35 Nouveaux scripts : libIGCM Infrastructure commune cohérente de script : – libIGCM : libIGCM/AA_job : un script commun à toutes les configurations libIGCM/libIGCM_card, liBIGCM_comp, libIGCM_config, libIGCM_date, libIGCM_debug, libIGCM_post, libIGCM_sys.ksh : des bibliothèques de fonctions en ksh utilisées par les jobs libIGCM/libIGCM_sys/libIGCM_sys_brodie.ksh, libIGCM_sys_mercure.ksh, … : des fonctions système spécifique à chaque machine – CARD : Des couples de fichiers card et driver décrivent les fichiers et programment le fonctionnement de chaque composante d’une configuration – PARAM : Des fichiers de paramètres des différentes composantes – config.card : une fiche descriptive d’une configuration pour une simulation donnée – run.card (run.card.init): Une fiche d’information sur la simulation en cours d’exécution NEW

36 Script de référence : libIGCM/AA_job

37 Schéma synoptique de la libIGCM

38 1 # 2 # This is config.card file for restart with an NEW libIGCM simulation tree. 3 # 4 #======================================================================== 5 #D-- Compatibility - 6 [Compatibility] 7 libIGCM=1.0 8 #D-- UserChoices - 9 [UserChoices] 10 #============================ 11 #-- (<8 chars MAX for JobName) 12 JobName=LO1 13 LongName="SCRIPT_V1" 14 TagName=IPSLCM4_v2 15 #============================ 16 #-- leap, noleap, 360d 17 CalendarType=360d 18 #-- Début et fin de Job 19 #-- "YYYY-MM-DD" 20 DateBegin=1860-01-01 21 DateEnd=1869-12-30 22 #============================ 23 #-- 1Y, 1M, 5D, 1D 24 PeriodLength=1M 25 #============================ config.card : UserChoices

39 25 #============================ 26 #-- PBS Class (required on brodie mono/multi) 27 #JobClass=mono 28 JobClass=multi 29 #============================ 30 #-- Total Number of Processors (minimum is 2 for a coupled configuration) 31 #JobNumProcTot=2 32 JobNumProcTot=4 config.card : Batch

40 config.card : Composantes 33 #======================================================================== 34 #D-- ListOfComponents - 35 [ListOfComponents] 36 #D- For each component, Name of component, Tag of component 37 ATM= (lmdz, LMDZ.4) 38 SRF= (orchidee, ORCHIDEE.1.9) 39 OCE= (opa, OPA8.2) 40 ICE= (lim, LIM.1) 41 CPL= (oasis, OASIS3) 42 #======================================================================== 43 #D-- Executable - 44 [Executable] 45 Name=run_file 46 #D- For each component, Real name of executable, Name of executable for oasis 47 ATM= (gcm.e, lmdz.x) 48 SRF= ("", "") 49 OCE= (opa, opa.xx) 50 ICE= ("", "") 51 CPL= (oasis, oasis)

41 53 #======================================================================== 54 #D-- Restarts - 55 [Restarts] 56 #D- If you want a GENERAL RULE FOR RESTARTS, put this flag to 'y' 57 OverRule=n 58 #D- Last day of the experience used as restart 59 RestartDate=1869-12-30 60 #D- Define restart simulation name (=> JOB_OS) 61 RestartJobName=CD1 62 #D- Path Server Group Login (=> PSGL) 63 RestartPath=/u/rech/ces/rces452/IGCM_OUT/IPSLCM4_v1_OASIS3 64 # Attention login depend de la machine 66 #======================================================================== 67 #D-- Post - 68 [Post] 69 #D- Do we rebuild parallel output, this flag determines 70 #D- frequency of rebuild submission 71 RebuildFrequency=NONE 72 #D- If you want to monitor variables, this flag determines 73 #D- frequency of post-processing submission 74 MonitoringFrequency=NONE 75 #D- If you want to produce time series, this flag determines 76 #D- frequency of post-processing submission 77 TimeSeriesFrequency=10Y 78 #D- If you want to produce seasonal average, this flag determines 79 #D- the period of this average 80 SeasonalFrequency=10Y config.card : Restarts y pour un redémarrage depuis une autre simulation Donner la date, le nom de la simulation et le chemin d’accès aux fichiers

42 53 #======================================================================== 54 #D-- Restarts - 55 [Restarts] 56 #D- If you want a GENERAL RULE FOR RESTARTS, put this flag to 'y' 57 OverRule=n 58 #D- Last day of the experience used as restart 59 RestartDate=1869-12-30 60 #D- Define restart simulation name (=> JOB_OS) 61 RestartJobName=CD1 62 #D- Path Server Group Login (=> PSGL) 63 RestartPath=/u/rech/ces/rces452/IGCM_OUT/IPSLCM4_v1_OASIS3 64 # Attention login depend de la machine 66 #======================================================================== 67 #D-- Post - 68 [Post] 69 #D- Do we rebuild parallel output, this flag determines 70 #D- frequency of rebuild submission 71 RebuildFrequency=NONE 72 #D- If you want to monitor variables, this flag determines 73 #D- frequency of post-processing submission 74 MonitoringFrequency=NONE 75 #D- If you want to produce time series, this flag determines 76 #D- frequency of post-processing submission 77 TimeSeriesFrequency=10Y 78 #D- If you want to produce seasonal average, this flag determines 79 #D- the period of this average 80 SeasonalFrequency=10Y config.card : Post

43 82 #======================================================================== 83 #D-- ATM - 84 [ATM] 85 # 86 WriteFrequency="1M 1D HF" 87 # If config_Restarts_OverRule == 'n' all params are read 88 Restart= n 89 # Last day of the experience used as restart 90 RestartDate=1999-12-30 91 # Define restart simulation name 92 RestartJobName=2L18 93 RestartPath=${ARCHIVE}/p86denv/SORTIES_CPL_IPSL 94 # Old component name for restart (if empty, use new name) 95 OldName= 96 97 #======================================================================== 98 #D-- OCE - 99 [OCE] 100 WriteFrequency="1M 1D" 101 Restart= n 102 ##-- Last day of the experience used as restart 103 RestartDate=1999-12-30 104 # Define restart simulation name 105 RestartJobName=2L18 106 RestartPath=${ARCHIVE}/p86denv/SORTIES_CPL_IPSL 107 # Old component name for restart (if empty, use new name) 108 OldName= config.card : une composante type ATM y pour un redémarrage ATM depuis une autre simulation Donner la date, le nom de la simulation et le chemin d’accès aux fichiers

44 # contient la date du run en cours ou du run en attente # last date of loop ==.suivi [Configuration] #last PREFIX OldPrefix= HVMPSTOI_00071231 #Compute date of loop ==.suivi PeriodDateBegin= 0008-01-01 PeriodDateEnd= 0015-12-31 CumulPeriod= 2 # State of Job "Start", "Running", "OnQueue", "Completed" PeriodState= Running # contient la trace des executions [PostProcessing] # postraitements state ==.date PostState = Start MonitoringRunning=n MonitoringCompleted= TimeSeriesRunning=n TimeSeriesCompleted= SeasonalRunning=n SeasonalCompleted= run.card : le fichier de suivi

45 [Log] # Executable Size LastExeSize= ( 0, 13871536 )‏ # CumulPeriod | PeriodDateBegin | PeriodDateEnd | RunDateBegin | RunDateEnd | RealCpuTime | UserCpuTime | SysCpuTime | ExeDate 1 | 18600101 | 18600130 | 20060203_12:00:03 | 20060203_13:02:12 | 3049 | 2895 | 135 | ATM_Aug_2_15:35-CPL_Aug_1_16:28 2 | 18600201 | 18600230 | 20060203_12:00:03 | 20060203_13:02:12 | 3065 | 2959 | 125 | ATM_Aug_2_15:35-CPL_Aug_1_16:28 run.card : le fichier de suivi

46 Job_JobName 1. Définition de la mémoire limite #PBS -l memsz_job=4.0gb limite mémoire 2. Définition du nombre de processeurs #PBS -v PBS_NUM_PROC_TOT=::JobNumProcTot:: provient de config.card 3. Définition des limites temps CPU Sur Brodie : #PBS -l cputim_job=1:00:00 limite en temps CPU pour l’ensemble du job Sur Mercure : #PBS -l elapstim_req=1:00:00 limite en temps réel ‘elapsed’ pour l’ensemble du job Initialisation des paramètres de batch (exemple PBS) NEW

47 Job_JobName : PBS tableau des classes* IDRIS brodie : news class ^ -l cputim_job (limite en temps CPU par job) | 10:00:00 +----------------+----------------+----------------+ (10H) | | | | | t2 | t2L | | | | | | | TMPDIR <= 30Gb | TMPDIR <= 90Gb | t2XL | 2:00:00 +----------------+----------------+ | (2H) | | | | | t1 | t1L | TMPDIR <= 90Gb | | | | | | TMPDIR <= 30Gb | TMPDIR <= 30Gb | | 0:30:00 +----------------+----------------+----------------+ (1/2H) | | | | t0 | t0XL | | | | | TMPDIR <= 30Gb | TMPDIR <= 90Gb | +----------------+----------------+----------------+-> 6Gb 10Gb 20Gb -l memsz_job (limite memoire par job) * Susceptible de changement permanent

48 Job_JobName : PBS tableau des classes* IDRIS brodie : news class (suite) ======================================================================= Classes multiprocesseurs (<=8) au sein d'un noeud (MPI ou OpenMP) ======================================================================== Parametres NQSII a specifier : #PBS -q multi #PBS -l cpunum_job= # Nombre de processeurs (1 <= Nproc <= 8) ^ -l cputim_job (limite en temps CPU par job) | 12:00:00 +-----------------+ (12H) | | | p2t2 | | | | 1 <= Nproc <= 2 | | TMPDIR <= 45Gb | 1:00:00 +-----------------+ (1H) | | | p2t1 | | | | 1 <= Nproc <= 2 | | TMPDIR <= 45Gb | +-----------------+--> -l memsz_job (limite memoire par job) 15Gb * Susceptible de changement permanent NEW

49 Job_JobName : PBS tableau des classes* IDRIS brodie : news class (suite) ^ -l cputim_job (limite en temps CPU par job) | 24:00:00 +---------------------------+ (24H) | | | p4t2 | | | | 3 <= Nproc <= 4 | | TMPDIR <= 90Gb | 1:00:00 +-----------------+ | (1H) | | | | p4t1 | | | | | | 3 <= Nproc <= 4 | | TMPDIR <= 45Gb | | +-----------------+---------+-> -l memsz_job 15Gb 30Gb ^ -l cputim_job 24:00:00 +---------------------------+ (24H) | | | p6t2 | | | | 5 <= Nproc <= 6 | | TMPDIR <= 90Gb | 1:00:00 +---------------------------| (1H) | | | p6t1 | | | | 5 <= Nproc <= 6 | | TMPDIR <= 90Gb | +---------------------------+--> -l memsz_job 30Gb * Susceptible de changement permanent NEW ^ -l cputim_job | 48:00:00 +----------------------------- (48H) | | p8t2 | | 7 <= Nproc <= 8 | TMPDIR <= 300Gb 2:00:00 +----------------------------- (2H) | | p8t1 | | 7 <= Nproc <= 8 | TMPDIR <= 100Gb +----------------------------> -l memsz_job 60Gb

50 Job_JobName : PBS tableau des classes* CCRT * Susceptible de changement permanent mercure : class QUEUE ACT TYPE CPU NODE TIME MEM LIM/USER HOSTS test Oui Urgent 1 1 1h00 32G 8 2 mercure10,mercure11,…,mercure17 prod Oui Normal 1 1 24h00 20G - -(20) mercure10,mercure11,…,mercure17 bigmem Oui Normal 1 1 24h00 64G - - mercure10,mercure11 bigtime Oui Normal 1 1 100h00 32G 3 -(1) mercure16,mercure17 testpara Oui Urgent 8 8 30m00 52G 3 1 mercure10,mercure11,…,mercure17 parallel Oui Normal 8 1 24h00 32G - - mercure10,mercure11,…,mercure17 para8 Oui Normal 8 4 24h00 52G - - mercure10,mercure11,…,mercure17 scalaire Oui - 1 1 24h00 8G 8 3 mercure NEW

51 1000 à 1700 s 1200 à 1600 s Temps CPU 3.7 Gb (4.1 Gb 1 er mois) 1000 à 1700 s Mercure : 4 procs 2.5 Gb (3.2 Gb 1 er mois) 1100 à 1300 s Mercure : 2 procs 3.7 Gb (4.1 Gb 1 er mois) 520 à 700 s Brodie : 4 procs 2.5 Gb (3.2 Gb 1 er mois) 1200 à 1800 s Brodie : 2 procs MémoireTemps écouléPlateforme 1600 à 1700 s 450 à 700 s Job_JobName : PBS Caractéristiques pour une expérience de 1 mois ORCA2xLMD9671 Classe du job: brodie t1, p2t2, p4t2 mercure prod, parallel NEW

52 Job_JobName : PBS_NUM_PROC_TOT Pour gagner en temps de restitution, il est possible de lancer LMDZ/ORCHIDEE sur plusieurs processeurs en parallèle. Cela est efficace sur les NEC tant que l’on garde des domaines de taille suffisante pour garder la vectorisation efficace. A la résolution standard (96x71), il est recommandé d’utiliser 4 processeurs en tout : 3 processeurs pour LMDZ/ORCHIDEE et 1 processeur qu’oasis et OPA se partagent. A préciser par le paramètre JobNumProcTot de config.card avant le lancement de la commande ins_job A changer dans les entêtes batch de Job_JobName Attention! Modifier aussi le paramètre PBS de la mémoire en conséquence. #PBS -l memsz_job=5.0gb Lancement de LMDZ/ORCHIDEE sur plusieurs processeurs

53 Job_JobName : PeriodNb Pour éviter de lancer une foule de petits jobs qui reprennent la file d’attente à chaque fois, il est possible de lancer en boucle n périodes par job. Le paramètre à modifier est dans Job_JobName (1 par défaut) : PeriodNb=1 Attention! Modifier le paramètre PBS du temps en conséquence. 1. Définition des limites temps CPU Sur Brodie : #PBS -l cputim_job=10:00:00 limite en temps CPU pour l’ensemble du job Sur Mercure : #PBS -l elapstim_req=10:00:00 limite en temps réel ‘elapsed’ pour l’ensemble du job Lancement de plusieurs périodes par job

54 Job_JobName : DRYRUN Pour tester une nouvelle expérience et ne lancer que certaines étapes de la simulation, il est possible par la variable DRYRUN de diminuer les actions lancées. Elle est positionnée à 0 par défaut. Tests de l’expérience

55 Les utilitaires de post-traitement CCRT, IDRIS modipsl IPSLCM4_v2 libIGCM create_ts create_se atlas_... create_ts.job : create_se.job : Retour des jobs là : rhodes : $WORKDIR/IGCM_OUT/IPSLCM4_v2/JobName mercure : $SCRATCHDIR/IGCM_OUT/IPSLCM4_v2/JobName atlas_ORCA_LIM : pour océan et glace de mer atlas_LMDZ : pour atmosphère atlas_ORCHIDEE : pour surfaces continentales Les atlas sont basés sur ferret et sur fast : http://dods.ipsl.jussieu.fr/fast/

56 Un fichier descriptif par composante (par ex opa.card) Fichiers d’entrée texte (namelist) Fichiers d’entrée binaires : conditions initiales conditions limites (bathymetry) Exécutable (opa.xx) Fichiers de sorties binaires (netCDF) Fichiers de sorties texte (ocean.output) Fichiers de redémarrage (restart.nc) Flux des données (1/6)

57 Flux des données (2/6) [UserChoices] OPA_NPDT_JOURS=15 [InitialStateFiles] List=()‏ [BoundaryFiles] List=()‏ ListNonDel= (${R_BC}/OCE/${config_UserChoices_TagName}/{RESOL_OCE}/LEVITUS_1m_Temperature_Pot_Ice _nomask.nc,.), \ (${R_BC}/OCE/${config_UserChoices_TagName}/${RESOL_OCE}/runoff_1m_nomask.nc,.)‏ [ParametersFiles] List=(${SUBMIT_DIR}/PARAM/namelist_${RESOL_OCE}, namelist)‏ [RestartFiles] List=(${config_UserChoices_JobName}_${PeriodDateEnd}_restart.nc, restart.nc, orcaini.nc)‏ [OutputText] List= (ocean.output, opa.xx.prt, solver.stat, ftrace.out.2.0)‏ [

58 Flux des données (3/6) [OutputFiles] List=(${PREFIX_NWRITE}_${DATE_OPA}_grid_T.nc, ${R_OUT_OCE_NWRITE}/${PREFIX}_${WF1}_grid_T.nc, Post_1M_grid_T),\ (${PREFIX_NWRITE}_${DATE_OPA}_diaznl.nc, ${R_OUT_OCE_NWRITE}/${PREFIX}_${WF1}_diaznl.nc, Post_1M_diaznl),\ (${PREFIX_NWRIHF}_${DATE_OPA}_grid_V.nc, ${R_OUT_OCE_NWRIHF}/${PREFIX}_${WF2}_grid_V.nc, NONE)‏ [Post_1M_grid_T] Patches = ()‏ GatherWithInternal = (nav_lon, nav_lat, deptht, time_counter)‏ MonitoringVars = (sosstsst, sossheig, sohefldo, sowaflup, sosaline, soicecov)‏ TimeSeriesVars = (iowaflup, sohtc300, sohefldo, soicecov, somxl010, sorunoff, sosaline, sossheig, sosstsst, sowaflep, sowaflcd, sowaflup)‏ [Post_1M_diaznl] Patches = ()‏ GatherWithInternal = (lon, lat, deptht, time_counter)‏ MonitoringVars = (sozonfha, sozonfhd, sozonfhe)‏ TimeSeriesVars = (zotempeg, zotempea, zosaling, zosalina, sozonfha, sozanfha, sozonfhd, sozanfhd, sozonfhe, sozanfhe, sozonfhg, sozanfhg, sozonfho, sozanfho, sozonfsd, sozanfsd, sozonfsg, sozanfsg, sozonfso, sozanfso)‏

59 OPA + LIM Flux des données (4/6) OPA + LIM namelist_ORCA2 geogra.param output.param run.param.li thermo.param dynami.param_ORCA2 inice.param coordinates.nc bathymetry… ahmcoef LEVITUS_1m_… runoff_1m_... À analyser avec les outils de post-traitements restart.nc rest_ice.om orcaini.nc rest.om …_grid_ … …_diaznl_… …icemod… meshmask.nc ocean.output solver.stat time.step ice_evolu ice_mouchard

60 OASIS3 flxat.nc sstoc.nc flxat.nc sstoc.nc cf_name_table.txt namcouple _ORCA2xLMD9671 _ORCA2xLMD7245 … grids.nc masks.nc areas.nc wa2o.flx wa2o.run wa2o.cal wo2a.tsg cpl_oce_tau.nc cpl_oce_flx.nc cpl_oce_sst.nc cpl_atm_tauflx.nc cpl_atm_sst.nc Oasis.prt opa.xx.prt0 lmdz.x.prt0 cplout Flux des données (5/6) OASIS À analyser avec les outils de post-traitements

61 LMDZ + ORCHIDEE restart.nc restartphy.nc sechiba_rest.nc start.nc startphy.nc start_sech.nc physiq.def gcm.def run.def orchidee.def Flux des données (6/6) LMDZ + ORCHIDEE invtab.formated limit.nc carteveg5km.nc soils_param.nc routing.nc flux_iceberg amipbc_sic....nc Albedo.nc Rugos.nc tautab.format so4.run.nat.cd f ECDYN.nc ECPHY.nc Relief.nc Rugos.nc landiceref.nc o2a.nc lai2D.nc create_etat0_limit.e À analyser avec les outils de post-traitements etat0_visu.nc dyn_hist[ v_ave].nc dynzon.nc histhf.nc histmth.nc listing nistNMC.nc histREGDYN.nc sechiba_out.nc stomate_history.nc

62 Nomenclature des noms des fichiers de sortie Output, Analyse, Debug, … ${JobName}_${PeriodDateBegin}_${PeriodDateEnd}_XX_NomFichier Output/DA et Analyse/TS_DA: XX1D Output/MO et Analyse/TS_MO XX 1M Analyse/SE : ${JobName}_SE_${PeriodDateBegin}_${PeriodDateEnd}_NomFichier Restart : ${JobName}_${PeriodDateEnd}_NomFichier

63 Arborescence sur serveur fichiers TS_DA TS_MO IPSLCM4_v2 OCE SRF CPL Exe JobName ATM ATLAS ICE Restart Analyse Output [INS]DA[HF] MO Debug SE_1860_1969 rhodes : cd $HOMEGAYA/IGCM_OUT mercure : cd $DMFDIR/IGCM_OUT Out OCE_[TUVW]SRF ATMICE SE

64 Arborescence sur serveur fichiers rhodes : cd $HOMEGAYA mercure : cd $DMFDIR IGCM_OUT/ `-- IPSLCM4_v2 `-- JobName |-- ATLAS |-- ATM | |-- Analyse | | |-- SE | | |-- TS_DA | | |-- TS_HF | | `-- TS_MO | |-- Debug | |-- Output | | |-- DA | | `-- HF | | `-- MO | `-- Restart |-- CPL | |-- Analyse | | `-- SE | |-- Debug | |-- Output | | `-- MO | `-- Restart |-- Exe |-- ICE | |-- Analyse | | |-- SE | | `-- TS_MO | |-- Debug | |-- Output | | `-- MO | `-- Restart |-- MONITORING |-- OCE | |-- Analyse | | |-- SE | | `-- TS_MO | |-- Debug | |-- Output | | |-- DA | | `-- MO | `-- Restart |-- Out `-- SRF |-- Analyse | |-- SE | `-- TS_MO |-- Debug |-- Output | `-- MO `-- Restart

65 mc2.ipsl.jussieu.fr

66 mc2.ipsl.jussieu.fr/simules.html

67 mc2.ipsl.jussieu.fr/testing.php?exp=VV20 Time Series UtilitaireRépertoire gaya LancementDods IDRIS : dods.ipsl.jussieu.fr Dods IPSL : dods.ipsl.jussieu.fr/ mc2ipsl/calculo/ Nouveaux scripts 1xYearly 1 fichier par variable create_ts_yeAtm/Analyse /TS_YE À la mainOK_DODS_MO2ST=n Atm/TS_YE Synchro IPSL (SD)Pas encore 1xMonthly idem create_tsAtm/Analyse /TS OK_POST_MO2ST=nOK_DODS_MO2ST=n Atm/TS Synchro IPSL (SD)Oui Atm/TS_MO 1xDaily idem create_tsAtm/Analyse /DA2TS A la mainOK_DODS_MO2ST=n Atm/DA Synchro IPSL (SD)Oui Atm/TS_DA 4xDaily idem create_tsAtm/Analyse /HF2TS A la mainOK_DODS_MO2ST=n Atm/HF Synchro IPSL (SD)Oui Atm/TS_HF

68 mc2.ipsl.jussieu.fr/testing.php?exp=VV20 Seasonnal cycle UtilRépertoire gayaLancementDods IDRIS : dods.ipsl.jussieu.fr Dods IPSL : dods.ipsl.jussieu.fr/ mc2ipsl/calculo/ Nouveaux scripts MO2SE base atlas, 1 fichier, 12 mois, moyenne 10 ans mo2seAtm/Analyse/MO2SEOK_POST_S E=y Toujours Atm/MO2SE Synchro IPSL (SD)Oui Atm/MO2SE MO2YE 1 fichier 1 moyenne annuelle mo2yeAtm/Analyse/MO2YEOK_POST_M O2YE=y OK_DODS_MO2 YE=y Atm/MO2YE NonPas encore MO2SNmo2snAtm/Analyse/MO2SNOK_POST_M O2SN=y OK_DODS_MO2 SN=y Atm/MO2SN NonPas encore

69 mc2.ipsl.jussieu.fr/testing.php?exp=VV20 UtilitaireRépertoire gayaLancementDods IDRIS : dods.ipsl.jussieu.fr Dods IPSL : dods.ipsl.jussieu.fr/ mc2ipsl/calculo/ Nouveaux scripts Monitoring create_tsMore/Monit/WW W/Monitoring OK_POST_monitor ing=y toujours Monitoring Synchro IPSL (SD)Pas encore Atlasmo2yeMore/Atlas/WW W/VV20/SE_186 0_1869 OK_POST_ATAS_ SE=y toujours SE_1860_1869 Synchro IPSL (SD)Oui Atm/MO2SE Ocean additionals mo2snMore/Atlas/WW W/VV20/Images A la main TKE2.jobToujours (si dispo) Images Synchro IPSL (SD)Pas encore

70

71

72

73

74 LMDZ OPA ORCHIDEE IOIPSL Annexe 1 : Accès au modèle IPSLCM4_v2 Accès direct aux fichiers sur les serveurs SVN et CVS brodie ou mercure : svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl’ brodie ou mercure : cvs –d :pserver:opa@cvs.ipsl.jussieu.fr:/home/opalod/CVSROOT login (passwd=opa2000) brodie ou mercure : cvs –d :pserver:lmdzbrowse@piaf.lmd.jussieu.fr:/users/lmdz/cvsroot login (passwd=lmdzb2000) brodie ou mercure : cvs –d :pserver:sechiba@cvs.ipsl.jussieu.fr:/home/ssipsl/CVSREP login (passwd=ipsl2000) Création du fichier $HOME/.cvspass MODIPSL CPL brodie ou mercure : svn co http://forge.ipsl.jussieu.fr/igcmg/svn/IOIPSL/trunk/src src brodie ou mercure : cvs –d:pserver:anonymous@cvs.ipsl.jussieu.fr:/home/ioipsl/CVSROOT login (passwd=anonymous) Création du répertoire./.svn

75 Auto descriptif Portable à Accès direct Modifiable Partageable Le fichier contient l’information sur les variables contenues Fichiers accessibles par des machines ayant des modes différents de stockage des entiers, des caractères et des nombres à virgules flottantes Possibilité d’accéder à une donnée sans avoir à parcourir l’ensemble des données qui la précède Possibilité d’ajouter des données dans un fichier Possibilité d’avoir simultanément un accès en écriture et plusieurs accès en lecture Annexe 2:Caractéristiques d’un fichier netCDF

76 Informations sur les dimensions Informations sur les attributs (voir conventions CF) Informations sur les attributs des variables ( sans leurs valeurs) (voir conventions CF) Structure du fichier netCDF – En-tête dimensions: lon = 72 ; lat = 46 ; presnivs = 19 ; time_counter = UNLIMITED ; // (1 currently) // global attributes: :Conventions = "GDT 1.3" ; :file_name = "histmth.nc" ; :production = "An IPSL model" ; :TimeStamp = "2003-MAR-05 10:37:38 GMT+0100" ; :associate_file = "dyn_hist_ave.nc dynzon.nc histhf.nc histmth.nc sechiba_out.nc cpl_atm_tauflx.nc cpl_atm_sst.nc" ; variables: float lon(lon) ; lon:units = "degrees_east" ; lon:valid_min = -180.f ; lon:valid_max = 175.f ; lon:long_name = "Longitude" ; lon:nav_model = "Default grid" ; float lat(lat) ; lat:units = "degrees_north" ; lat:valid_min = -90.f ; lat:valid_max = 90.f ; lat:long_name = "Latitude" ; lat:nav_model = "Default grid" ; float presnivs(presnivs) ; presnivs:units = "mb" ; presnivs:positive = "unknown" ; presnivs:valid_min = 388.2433f ; presnivs:valid_max = 100426.5f ; presnivs:title = "presnivs" ; presnivs:long_name = "Vertical levels" ; float time_counter(time_counter) ; time_counter:units = "seconds since 1979-01-01 00:00:00" ; time_counter:calendar = "360d" ; time_counter:title = "Time" ; time_counter:long_name = "Time axis" ; time_counter:time_origin = " 1979-JAN-01 00:00:00" ; float tsol(time_counter, lat, lon) ; tsol:units = "K" ; tsol:missing_value = 1.e+20f ; tsol:valid_min = 1.e+20f ; tsol:valid_max = -1.e+20f ; tsol:long_name = "Surface Temperature" ; tsol:short_name = "tsol" ; tsol:online_operation = "ave(X)" ; tsol:axis = "TYX" ; tsol:interval_operation = 1800.f ; tsol:interval_write = 2592000.f ; tsol:associate = "time_counter nav_lat nav_lon" ; ncdump -h COURS_1m_19790101_1979 0130_histmth.nc

77 données de taille fixe données de taille variable Structure du fichier netCDF - Données data: tsol = 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 248.3489, 248.3532, 248.3445, 248.003, 247.5628, 247.1862, 246.7824, …

78 Utilitaires netCDF - ncgen - ncgen : génère un fichier netCDF ou un programme C ou FORTRAN permettant de créer un fichier netCDF. Si aucune option n’est spécifiée lors de l’invocation de ncgen, le programme se limite à vérifier la syntaxe de l’entrée CDL produisant des erreurs lors de la violation de la syntaxe

79 Utilitaires netCDF - ncgen - Syntaxe UNIX : ncgen [ -b ] [ -o netcdf-file] [-c] [-f] [-n] [input-file] -b : Créée un fichier (binaire) netCDF. Si l’option « -o » est absente un nom par défaut sera construit à partir du nom netCDF (spécifié après le mot clef netcdf) en y ajoutant l’extension «.nc » ATTENTION : si un fichier portant ce nom existe, il sera écrasé. -o netcdf-file : spécifie le nom du fichier créé. Si cette option est présente, elle implique la présence de l’option « -b ». -c : Génère un code source en C qui va créer un ficier netCDF correspondant à la spécification netCDF. Le code source est écrit sur la sortie standard. Ce n’est utile que pour des fichiers CDL relativement petits, du fait que toutes les données sont incluses dans les variables d’initialisation du programme généré.

80 Utilitaires netCDF - ncgen - -f : Génère un code source en FORTRAN qui va créer un fichier netCDF correspondant à la spécification netCDF. Le code source est écrit sur la sortie standard. Ce n’est utile que pour des fichiers CDL relativement petits, du fait que toutes les données sont incuses dans les variables d’initialisation du programme généré. -n : Cette option est dépréciée. Fonctionne selon le même principe que l’option « -b » sauf que l’extension est «.cdf ». Cette option n’est supportée que pour assurer la compatibilité ascendante.

81 Utilitaires netCDF - ncdump - ncdump : génère sur la sortie standard une représentation textuelle CDL d’un ensemble de meta-données netCDF avec la possibilité d’exclure tout ou partie de données variables. La sortie de ncdump doit pouvoir servir d’entrée à ncgen ncdump et ncgen peuvent donc être utilisées comme fonctions inverses pour passer d’une représentation textuelle à une représentation binaire et inversement. ncdump peut être aussi simplement utilisée pour explorer les fichiers netCDF dans le but d’afficher : les noms et longueurs des dimensions les noms, types et formes des variables les noms et valeurs des attributs et optionnellement les valeurs des données pour les variables d’un fichier netCDF

82 Utilitaires netCDF - ncdump - Syntaxe UNIX : ncdump [ -c | -h ] [ -v var1, …] [-b lang] [-f lang] [-l len] [-p fdig[, ddig]] [-n name] [input-file] -c : affiche les valeurs des variables coordonnées ainsi que les déclarations de toutes les dimensions, variables, et attributs des valeurs. La valeur des données des variables non coordonnées ne sont pas affichées. Cette option et la plus adaptée pour une rapide visualisation de la structure et du contenu d’un ensemble de données netCDF -h : affiche seulement l’information d’en-tête. C’est à dire seulement les déclarations des dimensions, variables et attributs d’un fichier mais pas les valeurs des variables. Le résultat de l’utilisation de cette option est identique à celui de l’option « -c » à l’exception du fait que les valeurs de variables coordonnées ne sont pas incluses.

83 Utilitaires netCDF - ncdump - -v var1, … : le résultat va inclure la valeur des données des variables spécifiées, en plus des déclarations des dimensions, variables et des attributs. Une liste d’une ou plusieurs variables, séparées par des virgules, doit être spécifiée à la suite de l’option. La liste doit représenter un seul argument pour l’option. Elle ne doit donc pas contenir de blanc ou autre caractère espace. Les noms des variables indiquées doivent effectivement exister dans le fichier d’entrée netCDF. Par défaut, en l’absence de cette option et en l’absence des options « -c » ou « -h » les valeurs des données de toutes les variables sont affichées.

84 Utilitaires netCDF - ncdump - -b lang : une brève annotation, au format CDL (texte commencant par les caractères’//’) sera incluse dans la section des données à l’affichage pour chaque ‘ligne’ de données afin d’identifier les valeurs des données des variables multi-dimensionnelles. Si lang débute avec la lettre ‘C’ ou ‘c’ les conventions du langage C seront utilisées (indices basés sur zéro et dernière dimension variant la plus vite) Si lang débute avec la lettre ‘F’ ou ‘f’, les convention du langage FORTRAN seront utilisées (indices basés sur un et première dimension variant la plus vite) - f lang : Même principe que précédemment à l’exception que l’annotation sera complète. - l len : Change la valeur par défaut de la longueur d’une ligne à l’affichage (80 caractères)

85 -p float_digits[,double_digits] spécifié la précision par défaut (nombre de chiffre significatifs) à utiliser lors de l’affichage des valeurs des données, double précision ou flottant, des attributs et des variables. Si spécifiée, cette valeur surchage la valeur de l’attribut C_format, s’il existe, d’une variable. Les flottants seront affichés avec float_digits pour les nombres significatifs. Si le champ double_digits est aussi spécifié, les valeurs en double précision seront affichées avec le nombre de chiffres significatifs correspondant. En l’absence de l’option « -p » les valeurs par défaut de la précision sont respectivement 7 et 15 pour les flottant et la double-précision. La précision requise influe sur la taille du fichier CDL. Si les deux champs sont spécifiés, ils doivent être séparés par une virgule et apparaître comme un seul argument pour l’option (pas de blancs). Utilitaires netCDF - ncdump -

86 Utilitaires netCDF - ncdump - - n name : CDL requière un nom pour un ensemble de données netCDF afin d’être utilisé par « ncgen –b » pour la génération du nom par défaut d’un ensemble de données netCDF. Par défaut ncdump construit ce nom à partir du dernier champ du nom de l’ensemble des données netCDF d’entrée, en y enlevant toute extension. L’option « -n » sert à spécifier un autre nom. Même si le nom du fichier de sortie utilisé par « ncgen –b » peut être spécifié, il est préférable : - d’utiliser ncdump pour changer le nom par défaut afin d’éviter d’écraser un ensemble de données netCDF lors de l’utilisation de ncdump. - d’éditer le fichier CDL résultant - et d’utiliser « ncgen –b » pour générer un ensemble de données netCDF à partir du fichier CDL édité.

87 rhodes : cd ${HOMEGAYA}/IGCM_OUT/IPSLCM4_V2/COURS/ATM/Output/MO mercure : cd ${DMFDIR}/IGCM_OUT/IPSLCM4_V2/COURS/ATM/Output/MO rhodes ou mercure : ncdump -h COURS_1m_19790101_19790130_histmth.nc rhodes ou mercure : ncdump -h COURS_1m_19790101_19790130_histmth.nc > toto rhodes ou mercure : ncdump -c COURS_1m_19790101_19790130_histmth.nc > tata rhodes ou mercure: diff toto tata rhodes ou mercure : \rm –f toto tata Utilitaires netCDF - ncdump - - ncgen - Affiche sur la sortie standard les valeurs des variables coordonnées

88 Utilitaires netCDF - ncdump - - ncgen - rhodes ou mercure : ncdump –p15 –b f COURS_1m_19790101_19790130_histmth.nc > COURS_1m_19790101_19790130.cdl rhodes ou mercure : emacs COURS_1m_19790101_19790130.cdl & rhodes ou mercure : ncgen –o COURS_1m_19790101_19790130.nc COURS_1m_19790101_19790130.cdl Permet de faire des modifs « à la main » dans les fichiers netCDF

89 ncrcat [-A] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] input-files output-files ncrcat concatène des variables enregistrées parmi un nombre arbitraire de fichiers d'entrée. La dimension du fichier netCDF de sortie est par défaut la somme des dimensions des fichiers netCDF d’entrée. Les fichiers d'entrée peuvent avoir des tailles différentes mais tous doivent avoir des dimensions spécifiées. L’enregistrement des coordonnées doit avoir la même syntaxe. Utilitaires nco - ncrcat -

90 Utilitaires nco - ncrcat - ncrcat –v tsol COURS_1m_19790[1-9]01_19790[1-9]30_histmth.nc COURS_1m_19791[0-2]01_19791[0-2]30_histmth.nc COURS_1m_19880[1-9]01_19880[1-9]30_histmth.nc COURS_1m_19881[0-2]01_19881[0-2]30_histmth.nc COURS_1m_19790101_19880130_TSOL.nc Série temporelle de la variable TSOL sur 10 ans

91 Utilitaires nco - ncra - ncra [-A] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] [-y op_typ] input-files output-files ncra calcule la moyenne sur un nombre variable de fichiers d’entrée. C’est une moyenne temporelle sur la grille spatiale. Ce qui donne 1 seule valeur dans les fichiers de sorties. ncra ne calcule pas de moyenne pondérée.

92 ncra COURS_1m_19??0101_19??0130_histmth.nc COURS_SE01_1979_1988_histmth.nc ncra COURS_1m_19790101_19790130_histmth.nc COURS_1m_198[0-8]0101_*_histmth.nc COURS_SE01_1979_1988_histmth.nc Permet de faire une moyenne sur tous les mois 01 de 1979 à 1988 Permet de faire une moyenne sur tous les mois 01 présents dans le répertoire Utilitaires nco - ncra - ncrcat COURS_SE*_1979_1988_histmth.nc COURS_SE_1979_1988_histmth.nc Moyenne saisonnière sur 10 ans

93 Utilitaires nco - ncea - ncea [-A] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] [-y op_typ] input-files output-files ncea calcule la moyenne sur un nombre variable de fichiers d’entrée. C’est une moyenne spatiale sur une grille temporelle. Ce qui donne autant de valeurs de moyenne que de pas de temps.

94 Utilitaires nco - ncea - ncea COURS_1m_1979??01_1979??30_histmth.nc 1979.nc ncea COURS_1m_1988??01_1988??30_histmth.nc 1988.nc ncea –n 10,4,1 COURS_1m_ 1979_1988 _histmth.nc Moyenne saisonnière sur 10 ans Car 1 sortie mensuelle par fichier ATTENTION : ncea fait la moyenne « fichier à fichier » sur chaque point de l’axe des temps ATTENTION : ncra fait la moyenne « fichier à fichier » sur l’ensemble des points de l’axe des temps t t t Nombre de valeurs de moyenne égale au nombre de sorties par fichiers 1 unique valeur de moyenne

95 Utilitaires nco - ncks - ncks [-A] [-a] [-B] [-b binary-files] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-H] [-h] [-l path] [-M] [-m] [-O] [-p path] [-q] [-R] |-r] [-s format] [-u] [-v var[,…]] [-x] input-files output-files ncks permet d’extraire une série de données qu’il écrit sur la sortie standard sous forme ASCII (comme ncdump) et qu’il écrit également sous forme d’un fichier binaire netCDF.

96 Utilitaires nco - ncks - ncks -v sosstsst COURS_1m_19790101_19790130_grid_T.nc COURS_1m_19790101_19790130_SOSSTSST.nc … ncks -v sosstsst COURS_1m_19881201_19881230_grid_T.nc COURS_1m_19881201_19881230_SOSSTSST.nc ncrcat –v sosstsst COURS_1m_19790[1-9]01_19790[1-9]30_grid_T.nc COURS_1m_19791[0-2]01_19791[0-2]30_grid_T.nc COURS_1m_19880[1 9]01_19880[1-9]30_grid_T.nc COURS_1m_19881[0-2]01_19881[0 2]30_grid_T.nc COURS_1m_19790101_19880130_grid_T.nc Série temporelle de la variable SOSSTSST sur 10 ans

97 Utilitaires nco - ncdiff - ncdiff [-A] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] file_1 file_2 file_3 ncdiff soustrait des variables dans file_2 des variables correspondantes dans file_1 et stockent les résultats dans file_3.

98 Utilitaires nco - ncdiff - ncdiff –v tsol COURS_1m_19790101_19790130_histmth.nc COURS_1m_19790201_19790230_histmth.nc COURS_1m_19790101_19790230_TSOL_D.nc Différence sur la grille spatiale de la variable TSOL

99 Utilitaires cdo (Climate Data Operator)

100

101  File information (info, sinfo, diff,...)  File operations (copy, cat, merge, split,...)  Selection (selcode, selvar, sellevel, seltimestep,...)  Missing values (setctomiss, setmisstoc, setrtomiss)  Arithmetic (add, sub, mul, div,...)  Mathematical functions (sqrt, exp, log, sin, cos,...)  Comparision (eq, ne, le, lt, ge, gt,...)  Conditions (ifthen, ifnotthen, ifthenc, ifnotthenc)  Field statistic (fldsum, fldavg, fldstd, fldmin, fldmax,...)  Vertical statistic (vertsum, vertavg, vertstd, vertmin,...)  Time range statistic (timavg, yearavg, monavg, dayavg,...)  Ensemble statistic (enssum, ensavg, ensstd, ensmin,...)  Regression (detrend)  Field interpolation (remapbil, remapcon, remapdis,...)  Vertical interpolation (ml2pl, ml2hl)  Time interpolation (inttime, intyear)

102 Utilitaires cdo (Climate Data Operator) Interrogation des fichiers cdo infov OCE/Analyse/TS_MO/TEST1Y_10010101_10041230_1M_sosstsst.nc -1 : Date Time Varname Level Size Miss : Minimum Mean Maximum 1 : 1001-01-16 00:00 sosstsst 0 27118 10367 : -1.9459 13.667 30.129 2 : 1001-02-16 00:00 sosstsst 0 27118 10367 : -1.9315 13.862 30.436 …… 48 : 1001-12-16 00:00 sosstsst 0 27118 10367 : -2.0008 14.019 32.187 cdo infov: Processed 1301664 values from 1 variable over 48 timesteps. ( 0.09s ) cdo sinfov OCE/Analyse/TS_MO/TEST1Y_10010101_10041230_1M_sosstsst.nc File format: netCDF -1 : Institut Source Varname Time Typ Grid Size Num Levels Num 1 : unknown unknown sosstsst variable F32 27118 1 1 1 Horizontal grids : 1 : curvilinear > size : dim = 27118 nx = 182 ny = 149 …

103 Utilitaires cdo (Climate Data Operator) Cycle diurne moyen T500.nc : un fichier toute les 6 heures cdo timselmean,30 -seltimestep,1/72000/4 T500.nc final_01.nc cdo timselmean,30 -seltimestep,2/72000/4 T500.nc final_02.nc cdo timselmean,30 -seltimestep,3/72000/4 T500.nc final_03.nc cdo timselmean,30 -seltimestep,4/72000/4 T500.nc final_04.nc cdo mergetime final_0* final.nc cdo -r settaxis,1951-01-01,03:00,180hou final.nc final2.nc

104 Utilitaires cdo (Climate Data Operator) Changement de grille  En interpolant directement : cdo setgrid,IPSL.ORCA2_gridCF.nc sst.nc inter.nc cdo remapbic,r360x180 inter.nc sst_regular.nc  En pré calculant le fichier de poids : cdo setgrid,IPSL.ORCA2_gridCF.nc sst.nc inter.nc cdo genbic,r360x180 inter.nc remapweight.nc cdo remap, remapweight.nc inter.nc sst_regular.nc

105 netCDF, nco Convention CF http://www.unidata.ucar.edu/packages/netcdf/ http://www.cgd.ucar.edu/cms/eaton/cf-metadata/ http://nco.sourceforge.net/

106 Contributions L’ensemble du groupe ESCI : équipe système climat IPSL esci@ipsl.jussieu.fr