Septembre 2007 ESCI.

Présentation au sujet: "Septembre 2007 ESCI."— Transcription de la présentation:

1 Septembre 2007 ESCI

2 Accès au modèle système terre et Analyse des résultats
IPSL - Pôle de modélisation du climat Le modèle système terre : de IPSLCM4_v1 vers le ESM Principes retenus Fonctionnement simplifié de MODIPSL (SVN) Les nouveaux scripts basés sur libIGCM Les fichiers de résultats Le parallélisme Les simulations déjà réalisées NetCDF et les utilitaires nco

3 Les laboratoires et les tutelles

4 IPSL Fédération de 5 laboratoires - Observatoire des Sciences de l’Univers : le Centre d’étude des Environnements Terrestre et Planétaires (CETP), le Laboratoire de Météorologie Dynamique (LMD) le Laboratoire d’Océanographie et du Climat : Expérimentation et Approches Numériques (LOCEAN) le Laboratoire des Sciences du Climat et de l’Environnement (LSCE) le Service d’Aéronomie (SA) 8 tutelles Centre National de la Recherche Scientifique (CNRS), Université Pierre et Marie Curie - Paris 6 Université Versailles Saint-Quentin en Yvelines Commissariat à l’Energie Atomique (CEA) l’Institut de Recherche et Développement (IRD) Ecole Normale Supérieure Ecole Polytechnique Centre National d’Etudes Spatiales (CNES). 800 personnes Projets fédératifs : Pôle de modélisation du climat - 80 personnes - Pascale Braconnot

5 Pôle de modélisation Missions : Modèle climat : IPSLCM4_v2
Fédérer les études multidisciplinaires (scientifiques ou techniques) faisant intervenir les composantes du modèle de l'IPSL Identifier et coordonner les simulations de références Fédérer et rationaliser les moyens, les développements techniques Animation scientifique Modèle climat : Atmosphère Océan et glace de mer Surfaces continentales Cycle du carbone Chimie IPSLCM4_v2 OPA

6 du pôle de modélisation
Conseil scientifique du pôle de modélisation LMDZ F. Hourdin INCA D. Hauglustaine ORCHIDEE N. De Noblet NEMO-OPA S. Masson, G. Madec NEMO-TOP L. Bopp Bureau du CSPOLE Responsable : P. Braconnot J.-L. Dufresne,L. Fairhead, M.-A. Foujols P. Friedlingstein F. Hourdin, C. Lévy, O. Marti 20e-21eme J.L Dufresne, Tropiques J.P. Duvel, S. Janicot Expertise complémentaire F. Lott, L. Li, S. Bekki, G. Krinner,Th. Fichefet G. Ramstein

7 Contraintes liées aux différentes activités scientifiques :
Tests sensibilité KE/Ti Flux eau Paleo ??? IPSL_CM4(IPCC) IPSLCM4_v1 IPSL_CM4+(IPCC) Utilisation des sols Paléo végétation Cycle du carbone (Pisces, flux de carbone, transport carbone) IPSL_CM4(loop) Passage LMDZ4 Passage Verrions // des modèles IPSL_CM4(chimie-aérosols) INCA IPSL_ESM_V1 IPSL_CM4(//) IPSLCM4_v2 Haute résolution Nouvel exercice GIEC 2009 Evolution des composantes IPSLCM5 Nouveau modèle

8 Historique des versions du modèle couplé
IPSLCM4_v1 : figé en juillet 2004 pour réalisations IPCC IPSLCM4_v1_OASIS3 - version recommandée jusqu’en juillet 2007 : Intègre LMDZ4 tag IPCC Résolutions 144x96x19 et 144X142x19 ajoutées pour essais Utilisation de OASIS3 (fichiers en NetCDF, compilation type PRISM) Utilisation de IOIPSL 2, version Fortran 90 Peut tourner avec nouveaux scripts communs (libIGCM) IPSLCM4_LOOP - référence LOOP : Ajout cycle du carbone : stomate (ORCHIDEE), PISCES (OPA) Intègre LMDZ4 IPSLCM4_v2 - version recommandée depuis juillet Nouveaux scripts (libIGCM) Modipsl, IOIPSL et CONFIG gérés sous svn/forge Trac pour wiki et suivi tickets Dernières versions LMDZ et Orchidee (inclus parallélisme) IPSL_ESM_V1 : en cours Principes similaires, utilisables pour toute configuration NEW

9 Land surface, vegetation
ORCHIDEE Atmosphere LMDZ Ocean, sea-ice ORCA-LIM Energy, water cycle Evaporation, rivers... Circulation, precip... SST, ice extent.. Human activities CO2 emissions Polluant emissions Déforestation, land use Vegetation, soil carbon Carbon cycle CO2 Biogeochemistry NOx, O3 DMS Iron CH4, COVs, Aérosols Chemistry, aerosols Chemistry Sea salt Aérosols

10 Deux centres de calcul privilégiés: IDRIS/CNRS et CCRT/CEA
Calculateur brodie.idris.fr NEC SX-8, été 2006 10 noeuds 80 processeurs mercure.ccc.cea.fr NEC SX-8R, nov 2006 8 noeuds 64 processeurs Connexion brodie.idris.fr (filtrage par adresse) idefix1.saclay.cea.fr puis mercure.ccc.cea.fr Compilation brodie (tx7) Mercure (tx7) Exécution brodie[01-10] mercure[10-17] Fichiers gaya fer Post-traitement rhodes Serveur DODS dods.idris.fr dods.extra.cea.fr/data/ Assistance-Support www-ccrt.ccc.cea.fr:8000

11 Et sur mon poste de travail?
Calculateurs Serveur local, PC/Linux,Mac OSX, ... CVS : accès aux sources Tout système Unix-like SVN : accès aux sources A installer en plus du système de base. Voir et packages Compilateur Fortran 90 avec jeu d’options testées Produit commercial sur tout système orienté calcul. Compilateur gnu : g95 PGI : pgf90 NAG : f95 IBM : x90 Bibliothèque d’échanges de messages pour coupleur Tout système orienté calcul parallèle : MPI Bibliothèque NetCDF 3.6 Tout système orienté calcul ou soi-même Interface Fortran 90 NetCDF À compiler avec le même compilateur Espace fichiers de stockage n Gigaoctets Utilitaires nco Tout système orienté calcul climat Python Tout système orienté calcul Assistance-Support IPSL et modèles Retour d’expérience apprécié

12 Historique des versions de référence du modèle couplé IPSL depuis IPSLCM4_v1
IPSLCM4_v1 : LMDZ-ORCHIDEE-OASIS-ORCA-LIM-IOIPSL Cette version n’évolue plus. Base des réalisations pour IPCC IPSLCM4_LOOP : LMDZ-ORCHIDEE (stomate)- OASIS-ORCA-LIM-PISCES-IOIPSL2 IPSLCM4_v1_OASIS3 : LMDZ4-ORCHIDEE-OASIS3-ORCA-LIM-IOIPSL2 Cette version a évolué pour inclure LMDZ4, OASIS3, IOIPSL2, une troisième résolution pour LMDZ et a été porté sur brodie (SX-8 de l’IDRIS) et mercure (SX-8R du CCRT) IPSLCM4_v2 : version en cours de validation finale, inclut toutes les évolutions récentes. Premier couplé avec LMDZ/ORCHIDEE parallèle IPSL_ESM_V1 : première version du Earth System Model incluant Chimie: LMDZ-ORCHIDEE-OASIS-ORCA-LIM-IOIPSL-INCA NEW

13 Version de référence Chaque composante est validée en forcé par les personnes ad hoc tag fixé atlas sur le WWW Une expérience type est disponible IPSLCM4_v1 : 2L24 (préindustrielle - base simulation IPCC) IPSLCM4_v2 : XXXXX Poursuite de la démarche itérative Nouvelle étude Suivi des nouveautés Orchidee 1_9 LMDZ4 avec parallélisme Nouveaux scripts (libIGCM) Configurations cohérentes en plus grand nombre LMDZINCA_v2, ORCA2LIM_v2, LMDZOR_v2 IPSL_ESM_V1

14 Différentes composantes du modèle couplé IPSL IPSLCM4_v2
Responsables ESCI Composante Information Tag 72x45x19, 96x 71x19, 144x96x19 LMDZ4 Sans (HEAD) L Fairhead ORCHIDEE orchidee_1_9 M. Mancip key_orca_r2 key_ice_lln … ipsl_cm4_v1_11 ORCA_LIM Équipe système OPA IOIPSL SVN v2_1_1 J. Bellier A. Caubel et CERFACS CPL OASIS 3 Head Compilation et fichiers d’entrée A. Caubel, MA Foujols et groupe CPLIPSL IPSLCM4_v2 Head Nouveaux scripts exécution et post-traitements S Denvil, P Brockmann, M Mancip libIGCM NEW Sans (HEAD)

15 Documentations Wiki Pôle : http://forge.ipsl.jussieu.fr/igcmg
Accès sources SVN Accès aux tickets Accès aux pages wiki Contrainte : avoir un compte sur forge.ipsl.jussieu.fr pour pouvoir modifier wiki, tickets et sources Machine commune de gestion des projets - Olivier Thauvin (SA) Wiki IPSLCM4_v2 : Documentation libIGCM (inclut exemple IPSLCM4_v2) :

16 Documentation forge.ipsl.jussieu.fr/igcmg
WIKI Sources SVN Tickets

17 Principes (1/7) ATMOSPHERE LMDZ

18 Principes (2/7) « DRIVER OFFLINE » PROCESSUS de SURFACE ORCHIDEE_OL
LMDZ

19 Principes (3/7) ORCHIDEE_OL ORCHIDEE LMDZ ORCHIDEE_OL
Expérience type : 1 an sur le site Cabauw LMDZOR Expérience type : 1 an

20 Principes (4/7) OCEAN GLACE TRACEUR ORCHIDEE LMDZ OPA LIM TRC

21 Principes (5/7) ORCHIDEE LMDZ OPA LIM TRC ORCA2_LIM ORCA2_LIM_TRC
Expérience type : 1 an ORCA2_LIM_TRC Expérience type : 1 an

22 Principes (6/7) COUPLEUR CERFACS ORCHIDEE LMDZ OASIS OPA LIM
IPSLCM4_v2 Expérience type : 1 an Etats initiaux

23 Principes (7/7) IOIPSL/ NETCDF ORCHIDEE_OL ORCHIDEE LMDZ OASIS OPA LIM
fichiers ORCHIDEE_OL ORCHIDEE LMDZ OASIS OPA LIM TRC

24 Accès au modèle IPSLCM4_v2 (1/10)
Accès à modipsl (SVN) brodie ou mercure : ksh alias svn_ano=‘svn co modipsl’ brodie ou mercure : mkdir IPSLCM4_v2 brodie ou mercure : cd IPSLCM4_v2 brodie ou mercure : svn_ano IPSLCM4_v2 modipsl .svn bin doc lib config modeles tmp util

25 Accès au modèle IPSLCM4_v2 (2/10)
Accès aux fichiers sur les serveurs SVN et CVS MODIPSL brodie ou mercure : svn co modipsl’ IOIPSL brodie ou mercure : svn co src Création du répertoire ./.svn CPL brodie ou mercure : cvs login                                                                                                                 (passwd=anonymous) OPA brodie ou mercure : cvs –d login (passwd=opa2000) LMDZ brodie ou mercure : cvs –d login (passwd=lmdzb2000) brodie ou mercure : cvs –d login (passwd=ipsl2000) ORCHIDEE Création du fichier $HOME/.cvspass

26 Accès au modèle IPSLCM4_v2 (3/10)
Accès à modipsl (SVN) brodie ou mercure : cd modipsl/util modipsl .svn bin doc lib config modeles tmp util mod.def model ins_make ins_job Définition pour chaque configuration de leurs composantes et de leurs tags Extraction des modèles validés disponibles Installation et configuration des Makefiles Installation et configuration des scripts de lancement

27 Accès au modèle IPSLCM4_v2 (4/10)
- fichier mod.def - 1 #- $Id$ 2 # 3 #-This file is the definition file of the script "model". 4 # 5 #- Each model is defined by 6 #- (prefix #-H-) model informations, 7 #- (prefix #-M-) the address of the model manager, 8 #- (prefix #-C-) elements to extract for the model, in the order : 9 #- name of the component in the repository 10 #- tag/revision of the component 11 #- index of the repository in the server table 12 #- installation path in the local working directory 13 #- local working directory in modipsl 14 #- (prefix #-S-) containing the control system and server address. 15 #- 16 #- The tag "?" correspond to the default model version. 17 #- Invoking "model" with -H overrides any tag with "?". 18 # 19 #- Repository informations 20 #- 21 #-S- 1 cvs 22 #-S- 2 cvs 23 #-S- 3 cvs 24 #-S- 4 cvs 25 #-S- 5 cvs 26 #-S- 6 cvs 27 #-S- 7 svn --username nemo_user 28 #-S- 8 svn 29 #

28 Accès au modèle IPSLCM4_v2 (4/10 - suite)
- fichier mod.def - 85 #- 86 #-H- IPSLCM4_v2 IPSLCM4_v2 configuration with parallel LMDZ4 and ORCHIDEE 87 #-H- IPSLCM4_v2 working configuration 88 #-H- IPSLCM4_v2 ORCA tag ipsl_cm4_v1_11 89 #-H- IPSLCM4_v2 IOIPSL/src svn tags/v2_1_1 90 #-H- IPSLCM4_v2 LMDZ4 tag HEAD !!! WARNING : It is not a tagged version !!! 91 #-H- IPSLCM4_v2 ORCHIDEE tag orchidee_1_9 92 #-H- IPSLCM4_v2 OASIS3 tag HEAD 93 #-H- IPSLCM4_v2 IPSLCM4_v2 svn new scripts 94 #-M- IPSLCM4_v2 95 #-C- IPSLCM4_v2 IOIPSL/tags/v2_1_1/src HEAD 8 IOIPSL/src modeles 96 #-C- IPSLCM4_v2 ORCHIDEE orchidee_1_ modeles 97 #-C- IPSLCM4_v2 OASIS ? prism . 98 #-C- IPSLCM4_v2 LMDZ ? modeles 99 #-C- IPSLCM4_v2 CONFIG/trunk/IPSLCM4_v2 ? IPSLCM4_v2 config 100 #-C- IPSLCM4_v2 libIGCM ? 101 #-C- IPSLCM4_v2 OPA/SRC_ORCA ipsl_cm4_v1_ modeles 102 #-C- IPSLCM4_v2 OPA/SRC_UCL ipsl_cm4_v1_ modeles 103 #-C- IPSLCM4_v2 UTIL/fait_AA_make ipsl_cm4_v1_ modeles 104 #-

29 Accès au modèle IPSLCM4_v2 (5/10)
Accès à MODIPSL (SVN) svn_ano ; cd modipsl/util Accès à IPSLCM4_v2 brodie ou mercure : ./model IPSLCM4_v2 IPSLCM4_v2 modipsl bin .svn doc lib libIGCM prism config modeles tmp util IPSLCM4_v2 CVS IOIPSL CPL UTIL ORCHIDEE OPA LMDZ4

30 Accès au modèle IPSLCM4_v2 (6/10)
Accès à MODIPSL (SVN) svn_ano ; cd modipsl/util Accès à IPSLCM4_v2 ./model IPSLCM4_v2 Installation des Makefiles brodie : ./ins_make mercure : ./ins_make -t sx6nec IPSLCM4_v2 modipsl .svn bin doc lib libIGCM config modeles prism tmp util AA_make.gdef IPSLCM4_v2 Makefile AA_make.ldef AA_make.gdef AA_make

31 Accès au modèle IPSLCM4_v2 (7/10)
Accès à MODIPSL (SVN) svn_ano ; cd modipsl/util Accès à IPSLCM4_v2 ./model IPSLCM4_v2 Installation des Makefiles ./ins_make [ -t sx6nec ] Installation de l’expérience type brodie ou mercure : vi ../config/IPSLCM4_v2/EXP00/config.card # Modifier JobName= LO1 par défaut ./ins_job IPSLCM4_v2 modipsl .svn bin doc lib libIGCM config modeles tmp util IPSLCM4_v2 AA_job NEW EXP00 Job_JobName config.card

32 Accès au modèle IPSLCM4_v2 (8/10)
Accès à MODIPSL svn_ano ; cd modipsl/util Accès à IPSLCM4_v2 ./model IPSLCM4_v2 Installation des Makefiles ./ins_make [-t sx6nec] vi ../config/IPSLCM4_v2/EXP00/config.card Installation de l’expérience type (partie post-traitement) brodie ou mercure : ./ins_job IPSLCM4_v2 modipsl NEW config modeles libIGCM atlas_LMDZ.job atlas_ORCHIDEE.job atlas_ORCA_LIM.job create_ts.job mo2se.job AA_atlas_LMDZ AA_atlas_ORCHIDEE AA_atlas_ORCA_LIM AA_create_ts AA_mo2se

33 Accès au modèle IPSLCM4_v2 (9/10)
Accès à MODIPSL (SVN) svn_ano ; cd modipsl/util Acces à IPSLCM4_v2 ./model IPSLCM4_v2 Installation des Makefiles ./ins_make [-t sx6nec] Installation de l’expérience type vi ../config/IPSLCM4_v2/EXP00/config.card ./ins_job Compilation brodie ou mercure : cd ../config/IPSLCM4_v2 mercure : gmake IPSLCM4_v2 modipsl NEW .svn bin doc lib config tmp util create_etat0_limit.e gcm.e oasis opa IPSLCM4_v2 Makefile

34 Accès au modèle IPSLCM4_v2 (9/10 - suite)
Accès à MODIPSL (SVN) svn_ano ; cd modipsl/util Acces à IPSLCM4_v2 ./model IPSLCM4_v2 Installation des Makefiles ./ins_make [-t sx6nec] Installation de l’expérience type vi ../config/IPSLCM4_v2/EXP00/config.card ./ins_job Compilation brodie : gmake # sur brodie attendre la fin du job de compilation puis gmake ORCA2xLMD9671 IPSLCM4_v2 modipsl NEW .svn bin doc lib config tmp util create_etat0_limit.e gcm.e oasis opa IPSLCM4_v2

35 Accès au modèle IPSLCM4_v2 (10/10)
Accès à MODIPSL (SVN) svn_ano ; cd modipsl/util Acces à IPSLCM4_v2 ./model IPSLCM4_v2 Installation des Makefiles ./ins_make [-t sx6nec] Installation de l’expérience type vi ../config/IPSLCM4_v2/EXP00/config.card ./ins_job Compilation cd ../config/IPSLCM4_v2 gmake # attention brodie Soumission du Job de lancement brodie ou mercure : cd EXP00 brodie ou mercure : qsub Job_JobName modipsl config IPSLCM4_v2 EXP00 Job_JobName COMP PARAM dynami.param gcm.def geogram.param inice.param namcouple namelist offline.def orchidee.def output.param physiq.def run.def run.param.li thermo.param lim.card lim.driver lmdz.card lmdz.driver oasis.card oasis.driver opa.card opa.driver orchidee.card orchidee.driver

36 Récupérer, compiler et lancer le modèle couplé IPSLCM4_v2
Accès à MODIPSL (SVN) svn_ano Acces à IPSLCM4_v2 cd modipsl/util ; ./model IPSLCM4_v2 Installation des Makefiles ./ins_make [-t sx6nec] Installation de l’expérience type (et post-traitements) vi ../config/IPSLCM4_v2/EXP00/config.card # JobName=LO1 ./ins_job Compilation cd ../config/IPSLCM4_v2 ; gmake # sur brodie attendre la fin du job de compilation puis gmake ORCA2xLMD9671 Soumission du Job de lancement cd EXP00 qsub Job_JobName

37 Nouveaux scripts : libIGCM
NEW Infrastructure commune cohérente de script : libIGCM : libIGCM/AA_job : un script commun à tous libIGCM/libIGCM_card, liBIGCM_comp, libIGCM_config, libIGCM_date, libIGCM_debug, libIGCM_post, libIGCM_sys.ksh : des fonctions en ksh communes à tous libIGCM/libIGCM_sys/libIGCM_sys_brodie.ksh, libIGCM_sys_mercure.ksh, … : des fonctions particulières par machine utilisée CARD : Des fichiers driver et card décrivant les fichiers des composantes d’une configuration et programmant leur fonctionnement PARAM : Des fichiers texte d’entrée des différentes composantes config.card : une fiche descriptive d’une configuration pour une simulation type run.card (run.card.init): Une fiche bilan de la simulation en cours d’exécution

38 Nouveaux scripts : libIGCM
Mise en œuvre prototype pour : IPSLCM4_v1_OASIS3 (CHILI) Mise en œuvre validée pour un ensemble de configurations cohérentes : IPSLCM4_v2, LMDZINCA_v2, IPSL_ESM_V1, … A été testé et tourne régulièrement sur : CEA (mercure : NEC SX-8R) IDRIS (brodie : NEC SX-8) Documentation : NEW

39 Script de référence : libIGCM/AA_job

40 Schéma synoptique de la libIGCM

41 config.card : UserChoices
1 # 2 # This is config.card file for restart with an NEW libIGCM simulation tree. 3 # 4 #======================================================================== 5 #D-- UserChoices - 6 [UserChoices] 7 #============================ 8 #-- (<8 chars MAX for JobName) 9 JobName=LO1 10 LongName=SCRIPT_V1 11 TagName=IPSLCM4_v2 12 #============================ 13 #-- leap, noleap, 360d 14 CalendarType=360d 15 #-- Début et fin de Job 16 #-- "YYYY-MM-DD" 17 DateBegin= 18 DateEnd= 19 #============================ 20 #-- 1Y, 1M, 5D, 1D 21 PeriodLength=1M 22 #============================ 23 # config.card configuration options : 24 #R_INIT=/home/mancip/PROG/IPSL/FORCAGE_OL/INIT 25 #R_BC=/home/mancip/PROG/IPSL/FORCAGE_OL/BC 26 #PeriodNb=2 27 #============================

42 config.card : Restarts 53 #======================================================================== 54 #D-- Restarts - 55 [Restarts] 56 #D- If you want a GENERAL RULE FOR RESTARTS, put this flag to 'y' 57 OverRule=n 58 #D- Last day of the experience used as restart 59 RestartDate= 60 #D- Define restart simulation name (=> JOB_OS) 61 RestartJobName=CD1 62 #D- Path Server Group Login (=> PSGL) 63 RestartPath=/u/rech/ces/rces452/IGCM_OUT/IPSLCM4_v1_OASIS3 64 # Attention login depend de la machine 66 #======================================================================== 67 #D-- Post - 68 [Post] 69 #D- Do we rebuild parallel output, this flag determines 70 #D- frequency of rebuild submission 71 RebuildFrequency=NONE 72 #D- If you want to monitor variables, this flag determines 73 #D- frequency of post-processing submission 74 MonitoringFrequency=NONE 75 #D- If you want to produce time series, this flag determines 76 #D- frequency of post-processing submission 77 TimeSeriesFrequency=10Y 78 #D- If you want to produce seasonal average, this flag determines 79 #D- the period of this average 80 SeasonalFrequency=10Y y pour un redémarrage depuis une autre simulation Donner la date, le nom de la simulation et le chemin d’accès aux fichiers

43 config.card : Post 53 #======================================================================== 54 #D-- Restarts - 55 [Restarts] 56 #D- If you want a GENERAL RULE FOR RESTARTS, put this flag to 'y' 57 OverRule=n 58 #D- Last day of the experience used as restart 59 RestartDate= 60 #D- Define restart simulation name (=> JOB_OS) 61 RestartJobName=CD1 62 #D- Path Server Group Login (=> PSGL) 63 RestartPath=/u/rech/ces/rces452/IGCM_OUT/IPSLCM4_v1_OASIS3 64 # Attention login depend de la machine 66 #======================================================================== 67 #D-- Post - 68 [Post] 69 #D- Do we rebuild parallel output, this flag determines 70 #D- frequency of rebuild submission 71 RebuildFrequency=NONE 72 #D- If you want to monitor variables, this flag determines 73 #D- frequency of post-processing submission 74 MonitoringFrequency=NONE 75 #D- If you want to produce time series, this flag determines 76 #D- frequency of post-processing submission 77 TimeSeriesFrequency=10Y 78 #D- If you want to produce seasonal average, this flag determines 79 #D- the period of this average 80 SeasonalFrequency=10Y

44 config.card : ATM 82 #======================================================================== 83 #D-- ATM - 84 [ATM] 85 # 86 WriteFrequency="1M 1D HF" 87 # If config_Restarts_OverRule == 'n' all params are read 88 Restart= n 89 # Last day of the experience used as restart 90 RestartDate= 91 # Define restart simulation name 92 RestartJobName=2L18 93 RestartPath=${ARCHIVE}/p86denv/SORTIES_CPL_IPSL 94 # Old component name for restart (if empty, use new name) 95 OldName= 96 97 #======================================================================== 98 #D-- OCE - 99 [OCE] 100 WriteFrequency="1M 1D" 101 Restart= n 102 ##-- Last day of the experience used as restart 103 RestartDate= 104 # Define restart simulation name 105 RestartJobName=2L18 106 RestartPath=${ARCHIVE}/p86denv/SORTIES_CPL_IPSL 107 # Old component name for restart (if empty, use new name) 108 OldName= y pour un redémarrage ATM depuis une autre simulation Donner la date, le nom de la simulation et le chemin d’accès aux fichiers

45 config.card : OCE 82 #======================================================================== 83 #D-- ATM - 84 [ATM] 85 # 86 WriteFrequency="1M 1D HF" 87 # If config_Restarts_OverRule == 'n' all params are read 88 Restart= n 89 # Last day of the experience used as restart 90 RestartDate= 91 # Define restart simulation name 92 RestartJobName=2L18 93 RestartPath=${ARCHIVE}/p86denv/SORTIES_CPL_IPSL 94 # Old component name for restart (if empty, use new name) 95 OldName= 96 97 #======================================================================== 98 #D-- OCE - 99 [OCE] 100 WriteFrequency="1M 1D" 101 Restart= n 102 ##-- Last day of the experience used as restart 103 RestartDate= 104 # Define restart simulation name 105 RestartJobName=2L18 106 RestartPath=${ARCHIVE}/p86denv/SORTIES_CPL_IPSL 107 # Old component name for restart (if empty, use new name) 108 OldName= y pour un redémarrage OCE depuis une autre simulation Donner la date, le nom de la simulation et le chemin d’accès aux fichiers

46 config.card : ICE et SRF 110 #======================================================================== 111 #D-- ICE - 112 [ICE] 113 WriteFrequency="1M" 114 Restart= n 115 ##-- Last day of the experience used as restart 116 RestartDate= 117 # Define restart simulation name 118 RestartJobName=2L18 119 RestartPath=${ARCHIVE}/p86denv/SORTIES_CPL_IPSL 120 # Old component name for restart (if empty, use new name) 121 OldName= 122 123 #======================================================================== 124 #D-- SRF - 125 [SRF] 126 WriteFrequency="1M" 127 Restart=n 128 ##-- Last day of the experience used as restart 129 RestartDate= 130 # Define restart simulation name 131 RestartJobName=2L18 132 RestartPath=${ARCHIVE}/p86denv/SORTIES_CPL_IPSL 133 #-- Old component name for restart (if empty, use new name) 134 OldName= y pour un redémarrage ICE depuis une autre simulation Donner la date, le nom de la simulation et le chemin d’accès aux fichiers y pour un redémarrage SRF depuis une autre simulation Donner la date, le nom de la simulation et le chemin d’accès aux fichiers

47 config.card : CPL 136 #======================================================================== 137 #D-- CPL - 138 [CPL] 139 WriteFrequency="1D" 140 Restart= n 141 ##-- Last day of the experience used as restart 142 RestartDate= 143 # Define restart simulation name 144 RestartJobName=2L18 145 RestartPath=${ARCHIVE}/p86denv/SORTIES_CPL_IPSL 146 # Old component name for restart (if empty, use new name) 147 OldName= 148 149 #======================================================================== y pour un redémarrage CPL depuis une autre simulation Donner la date, le nom de la simulation et le chemin d’accès aux fichiers

48 Job_JobName : PBS Initialisation des paramètres de batch (PBS)
Définition de la mémoire limite #PBS -l memsz_job=4.0gb limite mémoire Définition du nombre de processeurs #PBS -v PBS_NUM_PROC_TOT=2 nb de proc pour le job Sur Brodie : pour mettre plus de 2, ajouter aussi la ligne : #PBS -q multi Définition des limites temps CPU Sur Brodie : #PBS -l cputim_job=1:00:00 limite en temps CPU pour l’ensemble du job Sur Mercure : #PBS -l elapstim_req=1:00:00 limite en temps ‘elapsed’ pour l’ensemble du job NEW NEW

49 tableau des classes* IDRIS
Job_JobName : PBS tableau des classes* IDRIS brodie : news class            ^ -l cputim_job (limite en temps CPU par job) | 10:00: (10H) | | | | | t | t2L | | | | | | | TMPDIR <= 30Gb | TMPDIR <= 90Gb | t2XL | 2:00: | (2H) | | | | | t | t1L | TMPDIR <= 90Gb | | TMPDIR <= 30Gb | TMPDIR <= 30Gb | | 0:30: (1/2H) | | | | t | t0XL | | | | | TMPDIR <= 30Gb | TMPDIR <= 90Gb | > 6Gb Gb Gb -l memsz_job (limite memoire par job) * Susceptible de changement permanent

50 tableau des classes* IDRIS
Job_JobName : PBS tableau des classes* IDRIS brodie : news class (suite)    ======================================================================= Classes multiprocesseurs (<=8) au sein d'un noeud (MPI ou OpenMP) ======================================================================== Parametres NQSII a specifier : #PBS -q multi #PBS -l cpunum_job=<Nproc> # Nombre de processeurs (1 <= Nproc <= 8) ^ -l cputim_job (limite en temps CPU par job) | 12:00: (12H) | | | p2t | | | | 1 <= Nproc <= 2 | | TMPDIR <= 45Gb | 1:00: (1H) | | | p2t | > -l memsz_job (limite memoire par job) 15Gb NEW * Susceptible de changement permanent

51 tableau des classes* IDRIS
Job_JobName : PBS tableau des classes* IDRIS brodie : news class (suite)     ^ -l cputim_job (limite en temps CPU par job) | 24:00: (24H) | | | p4t | | | | <= Nproc <= 4     | | TMPDIR <= 90Gb | 1:00: | (1H) | | | | p4t | | | | | | 3 <= Nproc <= 4    |   | TMPDIR <= 45Gb | | > -l memsz_job 15Gb Gb ^ -l cputim_job | p6t | | <= Nproc <=      |     | TMPDIR <= 90Gb | 1:00: | (1H) | | | p6t | | <= Nproc <=      | > -l memsz_job 30Gb NEW  ^ -l cputim_job   | 48:00: (48H) | | p8t2 | | <= Nproc <= 8 | TMPDIR <= 300Gb 2:00: (2H) | | p8t1 | TMPDIR <= 100Gb > -l memsz_job 60Gb * Susceptible de changement permanent

52 tableau des classes* CCRT
Job_JobName : PBS tableau des classes* CCRT mercure : class QUEUE ACT TYPE CPU NODE TIME MEM LIM/USER HOSTS test Oui Urgent h00 32G mercure10,mercure11,…,mercure17 prod Oui Normal h00 20G - -(20) mercure10,mercure11,…,mercure17 bigmem Oui Normal h00 64G mercure10,mercure11 bigtime Oui Normal h00 32G 3 -(1) mercure16,mercure17 testpara Oui Urgent m00 52G mercure10,mercure11,…,mercure17 parallel Oui Normal h00 32G mercure10,mercure11,…,mercure17 para8 Oui Normal h00 52G mercure10,mercure11,…,mercure17 scalaire Oui h00 8G mercure NEW * Susceptible de changement permanent

53 Caractéristiques pour une expérience de 1 mois
Job_JobName : PBS Caractéristiques pour une expérience de 1 mois ORCA2xLMD9671 NEW Plateforme Temps CPU Temps écoulé Mémoire Brodie : 2 procs 1200 à 1600 s 1200 à 1800 s 2.5 Gb Brodie : 4 procs 1600 à 1700 s 520 à 700 s 3.7 Gb Mercure : 2 procs 1000 à 1700 s 1100 à 1300 s 2.5 Gb Mercure : 4 procs 1000 à 1700 s 450 à 700 s 3.7 Gb Classe du job: brodie t1, p2t2, p4t2 mercure prod, parallel

54 Job_JobName : PBS_NUM_PROC_TOT
Lancement de LMDZ/ORCHIDEE sur plusieurs processeurs Pour gagner en temps de restitution, il est possible de lancer LMDZ/ORCHIDEE sur plusieurs processeurs en parallèle. Cela est efficace sur les NEC tant que l’on garde des domaines de taille suffisante pour garder la vectorisation efficace. A la résolution standard (96x71), il est recommandé d’utiliser 4 processeurs en tout : 3 processeurs pour LMDZ/ORCHIDEE et 1 processeur qu’oasis et OPA se partagent. A préciser par le paramètre PBS_NUM_PROC_TOT (dans l’entête de Job_JobName) qui est à 2 par défaut. #PBS -v PBS_NUM_PROC_TOT=2 Attention! Modifier aussi le paramètre PBS de la mémoire en conséquence. #PBS -l memsz_job=5.0gb

55 Job_JobName : PeriodNb
Lancement de plusieurs périodes par job Pour éviter de lancer une foule de petits jobs qui reprennent la file d’attente à chaque fois, il est possible de lancer en boucle n périodes par job. Le paramètre à modifier est dans Job_JobName (1 par défaut) : PeriodNb=1 Attention! Modifier le paramètre PBS du temps en conséquence. Définition des limites temps CPU Sur Brodie : #PBS -l cputim_job=10:00:00 limite en temps CPU pour l’ensemble du job Sur Mercure : #PBS -l elapstim_req=10:00:00 limite en temps ‘elapsed’ pour l’ensemble du job

56 Job_JobName : DRYRUN Tests de l’expérience
Pour tester une nouvelle expérience et ne lancer que certaines étapes de la simulation, il est possible par la variable DRYRUN de diminuer les actions lancées. Elle est positionnée à 0 par défaut.

57 Post-Traitements à revoir
MAF 30 juillet 2007

58 Les utilitaires de post-traitement (1/6)
IPSLCM4_v1 Atlas saisonniers Basés sur ferret, sur fast : les outils de Patrick Brockmann atlas_cpl_se : lancement de tous les atlas saisonniers atlas_cpl_se_ORCA_LIM : pour océan et glace de mer atlas_cpl_se_LMDZOR : pour atmosphère et surfaces continentales modipsl post_util atlas_cpl_... monitoring_ ... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar

59 Les utilitaires de post-traitement (2/6)
IPSLCM4_v1 Monitoring monitoring_script : suivi de la simulation en interactif = création de pages WWW monitoring_loop_script : repasser le suivi sur une simulation qui a déjà tourné (plots) monitoring_loop2_script : repasser le suivi sur une simulation qui a déjà tourné (champs 2D et moyenne annuelle) modipsl post_util atlas_cpl_... monitoring_ ... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar

60 Les utilitaires de post-traitement (3/6)
IPSLCM4_v1 Nouveaux fichiers pour optimiser les analyses mo2se : moyenne saisonnière à partir de fichiers moyennes mensuelles mo2st : série temporelle à partir de fichiers moyennes mensuelles mo2sn : cycle saisonnier à partir de fichiers moyennes mensuelles modipsl post_util atlas_cpl_... monitoring_ ... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar

61 Les utilitaires de post-traitement (4/6)
IPSLCM4_v1 Nouveaux fichiers pour optimiser les analyses da2st : série temporelle à partir de fichiers journaliers moyennés da2mo : fichiers mensuels à partir de fichiers journaliers moyennés da2ye : fichiers annuels à partir de fichiers journaliers moyennés modipsl post_util atlas_cpl_... monitoring_ ... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar

62 Les utilitaires de post-traitement (5/6)
IPSLCM4_v1 Nouveaux fichiers pour optimiser les analyses da4mo : fichiers mensuels à partir de fichiers journaliers concaténés da4ye : fichiers annuels à partir de fichiers journaliers concaténés modipsl post_util atlas_cpl_... monitoring_ ... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar

63 Les utilitaires de post-traitement (6/6)
IPSLCM4_v1 Autres utilitaires tx2tar : création d’archives pour les fichiers texte modipsl post_util atlas_cpl_... monitoring_ ... mo2se, mo2st, mo2sn da2st, da2mo, da2ye da4mo, da4ye txt2tar

64 Flux des données (1/4) Fichiers d’entrée texte (IGCM_comp_GetInputParametersFiles) Fichiers d’entrée binaires (netCDF) : conditions initiales (IGCM_comp_GetInputInitialStateFiles) conditions limites (IGCM_comp_GetInputBoundaryFiles) Exécutable Fichiers de sorties binaires (netCDF) Fichiers de sorties texte Fichiers de redémarrage (IGCM_comp_GetInputRestartFiles)

65 Flux des données (2/4) OPA + LIM OPA + LIM
namelist_ORCA2 geogra.param output.param run.param.li thermo.param dynami.param_ORCA2 inice.param coordinates.nc bathymetry… ahmcoef LEVITUS_1m_… runoff_1m_... restart.nc rest_ice.om orcaini.nc rest.om OPA + LIM …_grid_ … …_diaznl_… …icemod… meshmask.nc ocean.output solver.stat time.step ice_evolu ice_mouchard À analyser avec les outils de post-traitements

66 Flux des données (3/4) OASIS OASIS3
grids.nc masks.nc areas.nc wa2o.flx wa2o.run wa2o.cal wo2a.tsg cf_name_table.txt namcouple _ORCA2xLMD9671 _ORCA2xLMD7245 … flxat.nc sstoc.nc OASIS3 cpl_oce_tau.nc cpl_oce_flx.nc cpl_oce_sst.nc cpl_atm_tauflx.nc cpl_atm_sst.nc Oasis.prt opa.xx.prt0 lmdz.x.prt0 cplout À analyser avec les outils de post-traitements

67 Flux des données (4/4) LMDZ + ORCHIDEE LMDZ + ORCHIDEE
invtab.formated limit.nc carteveg5km.nc soils_param.nc routing.nc flux_iceberg amipbc_sic....nc Albedo.nc Rugos.nc tautab.format so4.run.nat.cdf ECDYN.nc ECPHY.nc Relief.nc landiceref.nc o2a.nc lai2D.nc create_etat0_limit.e physiq.def gcm.def run.def orchidee.def restart.nc restartphy.nc sechiba_rest.nc start.nc startphy.nc start_sech.nc LMDZ + ORCHIDEE etat0_visu.nc dyn_hist[ v_ave].nc dynzon.nc histhf.nc histmth.nc listing nistNMC.nc histREGDYN.nc sechiba_out.nc stomate_history.nc À analyser avec les outils de post-traitements

68 Nomenclature des noms des fichiers de sortie
Output, Analyse, Debug, … ${JobName}_${PERIODE_DATE_BEGIN}_${PERIODE_DATE_END}_XX_NomFichier Output/DA et Analyse/TS_DA: XX 1D Output/MO et Analyse/TS_MO XX 1M Restart ${JobName}_${PERIODE_DATE_END}_NomFichier

69 Arborescence sur serveur fichiers
IPSLCM4_v2 rhodes : cd $HOMEGAYA/IGCM_OUT mercure : cd $DMFDIR/IGCM_OUT JobName ATM OCE ICE SRF CPL Exe Out ATLAS Output Analyse Restart Debug SE_1860_1969 TS_DA TS_MO ATM OCE_[TUVW] ICE SRF DA [HF] MO [INS]

70 mc2.ipsl.jussieu.fr

71 mc2.ipsl.jussieu.fr/simules.html

72

73

74

75

76 Caractéristiques d’un fichier
netCDF Auto descriptif Portable à Accès direct Modifiable Partageable Le fichier contient l’information sur les variables contenues Fichiers accessibles par des machines ayant des modes différents de stockage des entiers, des caractères et des nombres à virgules flottantes Possibilité d’accéder à une donnée sans avoir à parcourir l’ensemble des données qui la précède Possibilité d’ajouter des données dans un fichier Possibilité d’avoir simultanément un accès en écriture et plusieurs accès en lecture

77 Structure du fichier netCDF – En-tête
Informations sur les dimensions Informations sur les attributs (voir conventions CF) Informations sur les attributs des variables ( sans leurs valeurs) dimensions: lon = 72 ; lat = 46 ; presnivs = 19 ; time_counter = UNLIMITED ; // (1 currently) // global attributes: :Conventions = "GDT 1.3" ; :file_name = "histmth.nc" ; :production = "An IPSL model" ; :TimeStamp = "2003-MAR-05 10:37:38 GMT+0100" ; :associate_file = "dyn_hist_ave.nc dynzon.nc histhf.nc histmth.nc sechiba_out.nc cpl_atm_tauflx.nc cpl_atm_sst.nc" ; variables: float lon(lon) ; lon:units = "degrees_east" ; lon:valid_min = -180.f ; lon:valid_max = 175.f ; lon:long_name = "Longitude" ; lon:nav_model = "Default grid" ; float lat(lat) ; lat:units = "degrees_north" ; lat:valid_min = -90.f ; lat:valid_max = 90.f ; lat:long_name = "Latitude" ; lat:nav_model = "Default grid" ; float presnivs(presnivs) ; presnivs:units = "mb" ; presnivs:positive = "unknown" ; presnivs:valid_min = f ; presnivs:valid_max = f ; presnivs:title = "presnivs" ; presnivs:long_name = "Vertical levels" ; float time_counter(time_counter) ; time_counter:units = "seconds since :00:00" ; time_counter:calendar = "360d" ; time_counter:title = "Time" ; time_counter:long_name = "Time axis" ; time_counter:time_origin = " 1979-JAN-01 00:00:00" ; float tsol(time_counter, lat, lon) ; tsol:units = "K" ; tsol:missing_value = 1.e+20f ; tsol:valid_min = 1.e+20f ; tsol:valid_max = -1.e+20f ; tsol:long_name = "Surface Temperature" ; tsol:short_name = "tsol" ; tsol:online_operation = "ave(X)" ; tsol:axis = "TYX" ; tsol:interval_operation = 1800.f ; tsol:interval_write = f ; tsol:associate = "time_counter nav_lat nav_lon" ; ncdump -h COURS_1m_ _ _histmth.nc

78 Structure du fichier netCDF - Données
données de taille fixe données de taille variable data: tsol = , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , …

79 Utilitaires netCDF - ncgen -
ncgen : génère un fichier netCDF ou un programme C ou FORTRAN permettant de créer un fichier netCDF. Si aucune option n’est spécifiée lors de l’invocation de ncgen, le programme se limite à vérifier la syntaxe de l’entrée CDL produisant des erreurs lors de la violation de la syntaxe

80 Utilitaires netCDF - ncgen -
Syntaxe UNIX : ncgen [ -b ] [ -o netcdf-file] [-c] [-f] [-n] [input-file] -b : Créée un fichier (binaire) netCDF. Si l’option « -o » est absente un nom par défaut sera construit à partir du nom netCDF (spécifié après le mot clef netcdf) en y ajoutant l’extension « .nc » ATTENTION : si un fichier portant ce nom existe, il sera écrasé. -o netcdf-file : spécifie le nom du fichier créé. Si cette option est présente, elle implique la présence de l’option « -b ». -c : Génère un code source en C qui va créer un ficier netCDF correspondant à la spécification netCDF. Le code source est écrit sur la sortie standard. Ce n’est utile que pour des fichiers CDL relativement petits, du fait que toutes les données sont incuses dans les variables d’initialisation du programme généré.

81 Utilitaires netCDF - ncgen -
-f : Génère un code source en FORTRAN qui va créer un fichier netCDF correspondant à la spécification netCDF. Le code source est écrit sur la sortie standard. Ce n’est utile que pour des fichiers CDL relativement petits, du fait que toutes les données sont incuses dans les variables d’initialisation du programme généré. -n : Cette option est dépréciée. Fonctionne selon le même principe que l’option « -b » sauf que l’extension est « .cdf ». Cette option n’est supportée que pour assurer la compatibilité ascendante.

82 Utilitaires netCDF - ncdump -
ncdump : génère sur la sortie standard une représentation textuelle CDL d’un ensemble de meta-données netCDF avec la possibilité d’exclure tout ou partie de données variables. La sortie de ncdump doit pouvoir servir d’entrée à ncgen ncdump et ncgen peuvent donc être utilisées comme fonctions inverses pour passer d’une représentation textuelle à une représentation binaire et inversement. ncdump peut être aussi simplement utilisée pour explorer les fichiers netCDF dans le but d’afficher : les noms et longueurs des dimensions les noms, types et formes des variables les noms et valeurs des attributs et optionnellement les valeurs des données pour les variables d’un fichier netCDF

83 Utilitaires netCDF - ncdump -
Syntaxe UNIX : ncdump [ -c | -h ] [ -v var1, …] [-b lang] [-f lang] [-l len] [-p fdig[, ddig]] [-n name] [input-file] -c : affiche les valeurs des variables coordonnées ainsi que les déclarations de toutes les dimensions, variables, et attributs des valeurs. La valeur des données des variables non coordonnées ne sont pas affichées. Cette option et la plus adaptée pour une rapide visualisation de la structure et du contenu d’un ensemble de données netCDF -h : affiche seulement l’information d’en-tête. C’est à dire seulement les déclarations des dimensions, variables et attributs d’un fichier mais pas les valeurs des variables. Le résultat de l’utilisation de cette option est identique à celui de l’option « -c » à l’exception du fait que les valeurs de variables coordonnées ne sont pas incluses.

84 Utilitaires netCDF - ncdump -
-v var1, … : le résultat va inclure la valeur des données des variables spécifiées, en plus des déclarations des dimensions, variables et des attributs. Une liste d’une ou plusieurs variables, séparées par des virgules, doit être spécifiée à la suite de l’option. La liste doit représenter un seul argument pour l’option. Elle ne doit donc pas contenir de blanc ou autre caractère espace. Les noms des variables indiquées doivent effectivement exister dans le fichier d’entrée netCDF. Par défaut, en l’absence de cette option et en l’absence des options « -c » ou « -h » les valeurs des données de toutes les variables sont affichées.

85 Utilitaires netCDF - ncdump -
-b lang : une brève annotation, au format CDL (texte commencant par les caractères’//’) sera incluse dans la section des données à l’affichage pour chaque ‘ligne’ de données afin d’identifier les valeurs des données des variables multi-dimensionnelles. Si lang débute avec la lettre ‘C’ ou ‘c’ les conventions du langage C seront utilisées (indices basés sur zéro et dernière dimension variant la plus vite) Si lang débute avec la lettre ‘F’ ou ‘f’, les convention du langage FORTRAN seront utilisées (indices basés sur un et première dimension variant la plus vite) - f lang : Même principe que précédemment à l’exception que l’annotation sera complète. - l len : Change la valeur par défaut de la longueur d’une ligne à l’affichage (80 caractères)

86 Utilitaires netCDF - ncdump -
-p float_digits[,double_digits] spécifié la précision par défaut (nombre de chiffre significatifs) à utiliser lors de l’affichage des valeurs des données, double précision ou flottant, des attributs et des variables. Si spécifiée, cette valeur surchage la valeur de l’attribut C_format, s’il existe, d’une variable. Les flottants seront affichés avec float_digits pour les nombres significatifs. Si le champ double_digits est aussi spécifié, les valeurs en double précision seront affichées avec le nombre de chiffres significatifs correspondant. En l’absence de l’option « -p » les valeurs par défaut de la précision sont respectivement 7 et 15 pour les flottant et la double-précision. La précision requise influe sur la taille du fichier CDL. Si les deux champs sont spécifiés, ils doivent être séparés par une virgule et apparaître comme un seul argument pour l’option (pas de blancs).

87 Utilitaires netCDF - ncdump -
- n name : CDL requière un nom pour un ensemble de données netCDF afin d’être utilisé par « ncgen –b » pour la génération du nom par défaut d’un ensemble de données netCDF. Par défaut ncdump construit ce nom à partir du dernier champ du nom de l’ensemble des données netCDF d’entrée, en y enlevant toute extension. L’option « -n » sert à spécifier un autre nom. Même si le nom du fichier de sortie utilisé par « ncgen –b » peut être spécifié, il est préférable : - d’utiliser ncdump pour changer le nom par défaut afin d’éviter d’écraser un ensemble de données netCDF lors de l’utilisation de ncdump. - d’éditer le fichier CDL résultant - et d’utiliser « ncgen –b » pour générer un ensemble de données netCDF à partir du fichier CDL édité.

88 Utilitaires netCDF ncdump - ncgen -
rhodes : cd ${HOMEGAYA}/SORTIES_CPL_IPSL/COURS/Atm/Output/MO mercure : cd ${DMFDIR}/SORTIES_CPL_IPSL/COURS/Atm/Output/MO rhodes ou mercure : ncdump -h COURS_1m_ _ _histmth.nc rhodes ou mercure : ncdump -h COURS_1m_ _ _histmth.nc > toto rhodes ou mercure : ncdump -c COURS_1m_ _ _histmth.nc > tata rhodes ou mercure: diff toto tata rhodes ou mercure : \rm –f toto tata Affiche sur la sortie standard les valeurs des variables coordonnées

89 Utilitaires netCDF ncdump - ncgen -
rhodes ou mercure : ncdump –b f COURS_1m_ _ _histmth.nc > COURS_1m_ _ cdl rhodes ou mercure : emacs COURS_1m_ _ cdl & rhodes ou mercure : ncgen –o COURS_1m_ _ nc COURS_1m_ _ cdl Permet de faire des modifs « à la main » dans les fichiers netCDF

90 Utilitaires nco ncrcat -
ncrcat [-A] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] input-files output-files ncrcat concatène des variables enregistrées parmi un nombre arbitraire de fichiers d'entrée. La dimension du fichier netCDF de sortie est par défaut la somme des dimensions des fichiers netCDF d’entrée. Les fichiers d'entrée peuvent avoir des tailles différentes mais tous doivent avoir des dimensions spécifiées. L’enregistrement des coordonnées doit avoir la même syntaxe.

91 Utilitaires nco ncrcat -
ncrcat –v tsol COURS_1m_19790[1-9]01_19790[1-9]30_histmth.nc COURS_1m_19791[0-2]01_19791[0-2]30_histmth.nc COURS_1m_19880[1-9]01_19880[1-9]30_histmth.nc COURS_1m_19881[0-2]01_19881[0-2]30_histmth.nc COURS_1m_ _ _TSOL.nc Série temporelle de la variable TSOL sur 10 ans

92 Utilitaires nco ncra - ncra [-A] [-C] [-c] [-D dbg]
[-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] [-y op_typ] input-files output-files ncra calcule la moyenne sur un nombre variable de fichiers d’entrée. C’est une moyenne temporelle sur la grille spatiale. Ce qui donne 1 seule valeur dans les fichiers de sorties. ncra ne calcule pas de moyenne pondérée.

93 Utilitaires nco ncra - Permet de faire une moyenne sur tous les mois 01 de 1979 à 1988 ncra COURS_1m_ _ _histmth.nc COURS_1m_198[0-8]0101_*_histmth.nc COURS_SE01_1979_1988_histmth.nc Permet de faire une moyenne sur tous les mois 01 présents dans le répertoire ncra COURS_1m_19??0101_19??0130_histmth.nc COURS_SE01_1979_1988_histmth.nc ncrcat COURS_SE*_1979_1988_histmth.nc COURS_SE_1979_1988_histmth.nc Moyenne saisonnière sur 10 ans

94 Utilitaires nco ncea - ncea [-A] [-C] [-c] [-D dbg]
[-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] [-y op_typ] input-files output-files ncea calcule la moyenne sur un nombre variable de fichiers d’entrée. C’est une moyenne spatiale sur une grille temporelle. Ce qui donne autant de valeurs de moyenne que de pas de temps.

95 Utilitaires nco ncea - Moyenne saisonnière sur 10 ans
Car 1 sortie mensuelle par fichier ncea COURS_1m_1979??01_1979??30_histmth.nc 1979.nc ncea COURS_1m_1988??01_1988??30_histmth.nc 1988.nc ncea –n 10,4,1 COURS_1m_ 1979_1988 _histmth.nc ATTENTION : ncea fait la moyenne « fichier à fichier » sur chaque point de l’axe des temps Nombre de valeurs de moyenne égale au nombre de sorties par fichiers t ATTENTION : ncra fait la moyenne « fichier à fichier » sur l’ensemble des points de l’axe des temps 1 unique valeur de moyenne t

96 Utilitaires nco ncks - ncks [-A] [-a] [-B] [-b binary-files] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-H] [-h] [-l path] [-M] [-m] [-O] [-p path] [-q] [-R] |-r] [-s format] [-u] [-v var[,…]] [-x] input-files output-files ncks permet d’extraire une série de données qu’il écrit sur la sortie standard sous forme ASCII (comme ncdump) et qu’il écrit également sous forme d’un fichier binaire netCDF.

97 Utilitaires nco ncks - ncks -v sosstsst COURS_1m_ _ _grid_T.nc COURS_1m_ _ _SOSSTSST.nc … ncks -v sosstsst COURS_1m_ _ _grid_T.nc COURS_1m_ _ _SOSSTSST.nc ncrcat –v sosstsst COURS_1m_19790[1-9]01_19790[1-9]30_grid_T.nc COURS_1m_19791[0-2]01_19791[0-2]30_grid_T.nc COURS_1m_19880[1 9]01_19880[1-9]30_grid_T.nc COURS_1m_19881[0-2]01_19881[0 2]30_grid_T.nc COURS_1m_ _ _grid_T.nc Série temporelle de la variable SOSSTSST sur 10 ans

98 Utilitaires nco ncdiff -
ncdiff [-A] [-C] [-c] [-D dbg] [-d dim,[min][,[max]][,[stride]]] [-F] [-h] [-l path] [-n loop] [-O] [-p path] [-R] |-r] [-v var[,…]] [-x] file_1 file_2 file_3 ncdiff soustrait des variables dans file_2 des variables correspondantes dans file_1 et stockent les résultats dans file_3.

99 Différence sur la grille spatiale de la variable TSOL
Utilitaires nco ncdiff - ncdiff –v tsol COURS_1m_ _ _histmth.nc COURS_1m_ _ _histmth.nc COURS_1m_ _ _TSOL_D.nc Différence sur la grille spatiale de la variable TSOL

100 netCDF, nco Convention CF

101 Contributions Patricia Cadule, Arnaud Caubel, Marie-Alice Foujols
et l’ensemble du groupe ESCI : équipe système climat IPSL