Analyses multi-modèles ; multi-ensembles CMIP5. Le projet Prodiguer.

Présentation au sujet: "Analyses multi-modèles ; multi-ensembles CMIP5. Le projet Prodiguer."— Transcription de la présentation:

1 Analyses multi-modèles ; multi-ensembles CMIP5. Le projet Prodiguer.
(IPSL Climate Modeling Center) Sébastien Denvil, Ashish Bhardwaj, Franck Corsini, Mark Morgan, Hans Moulron, Jérôme Raciazek, Philippe Weill, JL. Dufresne.

2 Laboratoires et tutelles
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012. 2 2

3 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
PLAN L’activité de modélisation du Climat D’un projet CMIP à l’autre Accès et organisation des données CMIP5 Prodiguer et CMIP5 Analyses CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

4 Modèle du système Terre (ESM) Conditions aux limites
Modèles de l'IPSL Modèle du système Terre (ESM) Conditions aux limites Composition Physique - Transport Biogéochimie Chimie tropo & aérosols (INCA) Émissions autres que CO2 O3 aéro-sols Climat Atmosphère (LMDZ) Continent (Orchidée) Coupleur (OASIS) Océan (Nemo) Glace de mer (LIM) Ozone starto. (Reprobus) Émissions CO2 Carbone / CO2 (Orchidée, Pisces) CO2 Utilisation des sols Autres GES Volcans Insolation Relief Descente d’échelles régionales : Statistique Dynamique CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

5 IPSL Earth System Model (ESM)
Tropospheric chemistry & aerosols (INCA) Emissions Physic – Transport Atmosphere (LMDZ) Surface (ORCHIDEE) Ocean (NEMO/OPA) Sea ice (NEMO/LIM2) Coupler (OASIS) Land use Carbon / CO2 (ORCHIDEE, NEMO/PISCES) Global climate Volcanoes Solar irradiance Stratospheric chemistry / ozone (REPROBUS) Various kind of Model Impacts studies 1’ Dynamical Downscaling Regional climate Statistical Downscaling CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

6 IPSL Earth System Model (ESM)
Tropospheric chemistry & aerosols (INCA) Emissions Physic – Transport Atmosphere (LMDZ) Surface (ORCHIDEE) Ocean (NEMO/OPA) Sea ice (NEMO/LIM2) Coupler (OASIS) Land use Carbon / CO2 (ORCHIDEE, NEMO/PISCES) Global climate Volcanoes Solar irradiance Stratospheric chemistry / ozone (REPROBUS) Various kind of Model Impacts studies 1’ Dynamical Downscaling Regional climate Statistical Downscaling CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

7 Climate Model (AOGCM) Earth System Model (ESM)
An Earth System Model (ESM) closes the carbon cycle Atmospheric circulation and radiation Climate Model (AOGCM) Sea Ice Land physics and hydrology Ocean circulation Atmospheric circulation and radiation Allows Interactive CO2 Earth System Model (ESM) Top – Typical AR4 model – physical climate model with atmosphere, ocean, land sea ice components Bottom – Earth System Model – many definitions, for AR5 – closed carbon cycle (green boxes), no implications for fidelity of the atm chemistry. Our ESMs currently have no atmospheric chemistry in this generation model. See our plans for making CM3 an earth system model. Sea Ice Plant ecology and land use Ocean ecology and Biogeochemistry Land physics and hydrology Ocean circulation CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012. 7

8 Une simulation climatique
METAFOR schema : METAFOR site : Why What How Experiment Simulation Model Model Input: Coupling Output: Data Software Component 1..* 0..* 0..1 Parent Requirement I could talk about coupling and connections too A Coupling is a high-level mapping between components. A Connection is a low-level mapping between properties. The latter's attributes can "override" the former's. Conformance Name Properties Description Coupling Framework 0..* Child CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012. 8

9 Initialization: How is this done? Implications for you
Modelers make a long Pre-industrial control Typically 1850 or 1860 conditions Perturbation runs start from control Model related to real years only through radiative forcing Solar, volcanoes, human emissions, land use, etc. Each ensemble member an equally likely outcome Do not expect wiggles to match – model vs obs CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

10 Coupled Model Intercomparison Project(s)
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

11 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
CMIP3/AR4 About 18 groups using 24 models participated. More than 1000 papers written using CMIP3 database Downloads continue at very high rate CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012. 11

12 Un intérêt qui ne se dément pas
CMIP3/AR4 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

13 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
CMIP3/AR4 Quelques chiffres AR 4 (Assessment Report #4), 2007 18 groupes de modélisation 35 Terabytes 77,000 fichiers Quantité de données distribuée : 303 Terabytes fichiers. Les groupes ont généré et exploités probablement 10x plus de données AR 5 (Assessment Report #5), ~ 2013 Un facteur 30 à 50 en volume Une volonté de distribué une plus grande proportion des données La base de données doit être distribuée CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

14 D'un projet CMIP à l'autre, d'un rapport du GIEC à l'autre
CMIP3, IPCC-AR4 (2007) => Énorme succès de la base de données multi-modèles Changement de paradigme: analyse multi-modèles Utilisation au delà de la communauté des « climatologues » CMIP5, IPCC-AR5 (2013) => Des simulations « centennales » variées: 20 et 21è siècles (historiques + scénarios futurs) paléoclimat, dernier millénaire... SST forcée (AMIP, Chimie-Climat, très haute résolution...) => Des modèles de complexités différentes: Modèle climatique “physique” (AOGCM) Modèles avec cycle biogéochimique (modèle système Terre) Configurations idéalisées (aqua-planète, ...) => Des simulations décennales CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

15 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
CMIP5/AR5 Un compte à rebours Fin 2009  Fin 2010 : Simulations Climatiques Mi 2010  ? : Distribution des données Fin 2010  Juillet 2012 : soumission des articles Septembre 2013 : IPCC AR5 WG1 session plénière Octobre 2014 : Prix Nobel? CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

16 Simulations proposées par CMIP-5 pour la préparation du 5e rapport du GIEC
Long terme (centennal) Évaluation Obs. Scénarios futurs Analyse de forçages et des réponse Court terme (décennal) Compréhension CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

17 Simulations centennales proposées par CMIP5 pour la préparation du 5e rapport du GIEC
Évolution du climat au 20e siècle Évolution du climat au 21e siècle Thématiques d'intérêt pour l'IPSL Climat-carbone ( C4MIP) Nuages (CFMIP) Paléoclimat (PMIP) Aérosols (AEROCOM) Emissions (GEIA) Ozone (CCMVal) Paléo-climats Estimation des forçages radiatifs Sensibilité climatique et rétroactions des nuages Chimie et aérosols Couplage climat-carbone CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012. Climat-carbone ( C4MIP, P. Friedlingstein) Nuages (CFMIP, S. Bony) Paléoclimat (PMIP P. Braconnot) Aérosols (AEROCOM, M. Schultz) Emissions (GEIA, C. Granier) Ozone (CCMVal, S. Bekki)

18 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
CMIP5/AR5 Quatre scénarios futures (dont un très optimiste) : RCP8.5, RCP6.0, RCP4.5, RCP 2.6 Noms basés sur le forçage en 2100 (W / m**2) Détail des émissions et concentrations sur : Travail à rebours pour les « modélisateurs Intégrés » Bâtir les scénarios d'activité correspondant à ces forçages CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

19 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
CMIP5/AR5 Scénarios définis en termes de forçage radiatif Travail en parallèle des communautés« climat » et « socio-économique » Scénarios futurs incluant des politiques de contrôle des perturbations anthropiques Un scénarios pour limiter le réchauffement à 2°C environ Concentration Forçage radiatif CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

20 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
CMIP5/AR5 Near Term - Core 10 year hindcasts Initialized at 1960, 1965, 1970 … 3+ ensemble members 30 year forecasts Initialized at 1960, 1980, 2005 1965 1970 1975 1980 1985 1990 1995 2000 2005 2010 2030 1960 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

21 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Near Term – Tier 1 CMIP5/AR5 Investigate role of short live species Investigate alternative initialization methods 100 yr control and 1% run (if not doing long term experiments with same model) Increase ensemble size to 10+ Hindcast without volcanoes Runs initialized in 200X 2001, 2002, 2003, 2004, 2006, 2007, 2008, … Prediction with Pinatubo-like event in 2010 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

22 Modèles de l'IPSL CMIP5/AR5 CMIP5/AR5 CMIP5/AR5
LMDZ-ORCHIDEE-ORCA-LIM-PISCES-INCA-REPROBUS-OASIS Modèle intégré du système Terre (ESM), physique éprouvée: IPSL-CM5A Modèle avec nouvelle physique IPSL-CM5B Basse résolution IPSL-CM5A-LR (3.75°x2°L39) Oce: 2° Moyenne résolution IPSL-CM5A-MR (2.5°x1.25°L39) Oce: 2° Basse résolution IPSL-CM5B-LR (2.5°x1.25°L39) Oce: 2° Moyenne résolution (2.5°x1.25°L39) Oce: 2° Haute résolution (2°x1°L39) Oce: 0.5° Simulations demandées (toutes) de sensibilité avec ≠ niveaux d'intégration Simulations demandées (principales) guidage mod. régionaux de sensibilité Simulations demandées (principales) CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

23 Accéder aux résultats CMIP5
Contact cmip5-helpdesk (AT) stfc.ac.uk CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

24 Coupled Model Intercomparison Project (5)‏
CMIP5/AR5 Coordination de l’aspect données PCMDI: Communauté CMIP5 BADC et WDCC: Communauté Climat Européenne et IPCC working group 2 et 3 (“mandat” IPCC-DATA.ORG)‏ 3 Décembre 2008: MoU Tripartite (PCMDI, BADC, WDCC) > 20 groupes de modélisation du climat > 50 expériences numériques > 86 simulations pour satisfaire aux expériences > 6500 ans de simulation > 800 To d’archive actuellement 1 Po (3 Po) envisagés d'ici 1 an (2 ans) CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

25 Modelers, PCMDI, JPL, ESA, Community Who does what?
PCMDI et al. NASA, JPL & ESA Modeling Centers Weak Link Produce Simulations & Projections & make them available (HUGE job; focus on model development) Model output archived in a uniform fashion to facilitate access and analysis. (Far from trivial – see below) Sophisticated development and application of model diagnostics for evaluation (Observations needed here, but which ones?) Identify and deliver/archive observations in form useful for model analysis (Requires model, obs and IT expertise) Develop global observations relevant to climate change research (Focus on hardware, retrievals, delivery) Enormous Model Output/Complexity To quantify and reduce uncertainty, this chain has to work. Waliser et al. 2009, Climatic Change, Submitted. CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

26 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
IPSL EU FP7 : IS-ENES METAFOR CNRM CMCC EC-EARTH Distributed : 3.3 Po Earth System Grid Federation Adapted from Taylor, WGCM, 2010 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

27 La Fédération Earth System Grid conduite par le PCMDI
Données disponible auprès des groupes de modélisation (via ESG), et dans de multiples “CORE centres”. Si chaque couleur représente les sorties d’un groupe de modélisation, alors on peut voir que la structure est en hub, avec réplication au sein des noeuds centraux, et connections à des noeuds périphériques. Données des groupes de modélisation CORE (au moins)‏ TROIS COPIES Tout les centres qui fourniront des “core-data” ne rendront pas disponible le reste au sein de la fédération de sites. Plusieurs copies du “CORE data”; ESG et d’autres interfaces! CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

28 Data Node Architecture
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

29 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
ESGF GATEWAY HOW TO First register as a user with the CMIP5 research role. How-to from CMIP5 website How-to from is-enes portal CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

30 Coupled Model “Decadal” Simulations
# Short Name of Experiment (In CMIP5 output files this is recorded in the global attribute named experiment_id”.) Experiment Name (In CMIP5 output files this is recorded in the global attribute named “experiment”.) Experiment Description Year Per run Ensemble size requested decadalXXXX* 10- or 30-year run initialized in year XXXX* decadal hindcasts/predictions, some extended to 30 years 10-30 ≥3*≥10 1.3 noVolcXXXX* volcano-free hindcasts hindcasts but without volcanoes ≥3 1.4 volcIn2010 prediction with 2010 volcano Pinatubo-like eruption imposed in year 2010 1.6 ** chemistry-focused runs near-term runs with enhanced chemistry/aerosol models 1 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

31 Coupled Model Long-Term Simulations
3.1 piControl pre-industrial control coupled atmosphere/ocean pre-industrial control run ≥500 1 3.2 historical simulation of recent past ( ) 156 ≥1 3.4 midHolocene mid-Holocene consistent with PMIP, impose Mid-Holocene conditions 100 3.5 lgm last glacial maximum consistent with PMIP, impose last glacial maximum conditions 3.6 past1000 last millennium consistent with PMIP, impose forcing for 1000 4.1 rcp45 RCP4.5 future projection ( ) forced by RCP4.5 95-295 4.2 rcp85 RCP8.5 future projection ( ) forced by RCP8.5 4.3 rcp26 RCP2.6 future projection ( ) forced by RCP2.6 4.4 rcp60 RCP6 future projection ( ) forced by RCP6 95 5.1 esmControl ESM pre-industrial control as in experiment 3.1, but emissions-forced (with atmospheric CO2 determined by model) 250 5.2 esmHistorical ESM historical as in experiment 3.2, but emissions-forced (with atmospheric CO2 determined by model) 5.3 esmrcp85 ESM RCP8.5 as in experiment 4.2, but emissions-forced (with atmospheric CO2 determined by model) CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

32 Coupled Model Long-Term Simulations
5.4-1 esmFixClim1 ESM fixed climate 1 radiation code "sees" control CO2, but carbon cycle sees 1%/yr rise 140 1 5.4-2 esmFixClim2 ESM fixed climate 2 radiation code "sees" control CO2, but carbon cycle sees historical followed by RCP4.5 rise in CO2 251 5.5-1 esmFdbk1 ESM feedback 1 carbon cycle "sees" control CO2, but radiation sees 1%/yr rise 5.5-2 esmFdbk2 ESM feedback 2 carbon cycle "sees" control CO2, but radiation sees historical followed by RCP4.5 rise in CO2 6.1 1pctCO2 1 percent per year CO2 imposed 1%/yr increase in CO2 to quadrupling 6.3 abrupt4xCO2 abrupt 4XCO2 impose an instantaneous quadrupling of CO2, then hold fixed 150 ≥1 7.1 historicalNat natural-only historical simulation but with natural forcing only 156 7.2 historicalGHG GHG-only historical simulation but with greenhouse gas forcing only 7.3 historicalMisc* other historical forcing historical simulation but with other individual forcing agents or combinations of forcings. 7.4 historicalExt historical extension extension of the historical simulation (experiment 3.2) through year 2012. 7 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

33 Atmosphere-Only Simulations
3.3 amip AMIP AMIP (1979- at least 2008) ≥30 ≥1 2.1 sst2030 2030 time-slice conditions for imposed 10 6.2a sstClim control SST climatology control run climatological SSTs & sea ice imposed 30 1 6.2b sstClim4xCO2 CO2 forcing as in experiment 6.2a, but with 4XCO2 imposed 6.4a sstClimAerosol all aerosol forcing as in experiment 6.2a, but with aerosols from year 2000 of experiment 3.2 6.4b sstClimSulfate sulfate aerosol forcing as in experiment 6.2a, but with sulfate aerosols from year 2000 of experiment 3.2 6.5 amip4xCO2 4xCO2 AMIP AMIP ( ) conditions (experiment 3.3) but with 4xCO2 6.6 amipFuture AMIP plus patterned anomaly consistent with CFMIP, patterned SST anomalies added to AMIP conditions (experiment 3.3) 6.7a aquaControl aqua planet control consistent with CFMIP, zonally uniform SSTs for ocean-covered earth 5 6.7b aqua4xCO2 4xCO2 aqua planet as in experiment 6.7a, but with 4XCO2 6.7c aqua4K aqua planet plus 4K anomaly as in experiment 6.7a, but with a uniform 4K increase in SST 6.8 amip4K AMIP plus 4K anomaly as in experiment 3.3, but with a uniform 4K increase in SST CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

34 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Search CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

35 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Login CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

36 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Select CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

37 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Get wget.sh CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

38 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Credential CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

39 Organisation des données CMIP5
Objectif : Pouvoir exploiter directement les données produites par les autres centres Une « table » : Une liste de variables géophysiques Une fréquence de sortie parmi : year, mon, day, 6h, 3h, clim, fx Peut concerner un ou plusieurs milieux (« realms »): Omon, Amon, Lmon, Oimon, cfMon, cfDay aero, day, 6hLev, 6hrPlev, 3hr Peut concerner toute ou partie de la durée d'une simulation Un piège : un même nom de variable peut avoir des significations différentes dans deux tables . Ex : sbl dans Amon et LImon CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

40 Organisation des données CMIP5 - contenu des « tables »
Dictionnaire exhaustif des sorties CMIP5 (167 pages, 800 vars): Data Reference Syntax (DRS) Dans table Amon : 3D atmos sur 17 niveaux de pressions sauf cl, clw, cli, mc, phalf, pfull Dans table aero et cfMon : 3D atmos sur niveaux modèles. Dans table day : 3D atmos sur 7 niveaux de pressions Dans table cfDay : 3D atmos sur niveaux modèles 6hLev : ta, ua, va, hus, psl : 3D atmos sur niveau modèle ; input à CORDEX 6hPlev : ta, ua, va, ps : 3D atmos sur 3 niveaux de pression CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

41 Organisation des données CMIP5 - fichiers
Un fichier = une variable géophysique pour une période d'un membre d'une simulation d'un modèle (et d'une table) Noms de fichiers de la « Data Reference Syntax » <variable name>_<MIP table>_<model>_<experiment>_<ensemble member>[_<temporalsubset>].nc ta_Amon_IPSL-CM5A-LR_historical_r5i1p1_ nc <variable name>, <MIP table>, <model>, <experiment>, and <ensemble member> are DRS components, The <temporal subset> is omitted for variables that are time-independent. ensemble_member : r<N>i<M>p<L> r : n° d'état initial i : n° de méthode d'initialisation p : n° de version de « physique » (ou n° de jeu de forçage pour historicalMisc) N=M=L= 0 pour les champs fixes CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

42 Organisation des données CMIP5 – attributs globaux netcdf
Le labo et le modèle :institution = "IPSL (Institut ..)" ; / :institute_id = "IPSL" ; / :model_id = "IPSL-CM5A-LR" ; :contact = "ipsl-cmip5 _at_ ipsl.jussieu.fr ... :comment = " ... include natural and anthropogenic forcings ...." ; :references = " ...reference available here : ; :source = "IPSL-CM5A-LR (2010) : atmos : LMDZ4 (LMDZ4_v5, 96x95x39) ; ... L'expérience :experiment_id = "historical" ; :forcing = "Nat,Ant,GHG,SA,Oz,LU,SS,Ds,BC,MD,OC,AA" ; :parent_experiment = "pre-industrial control" ; / :parent_experiment_id = "piControl" ; :parent_experiment_rip = "r1i1p1" ; :branch_time = ; (en année (IPSL) ou en jours (CNRM) ou en seconde ...) Fréquence et milieu :frequency = "mon" ; / :modeling_realm = "atmos" ; :tracking_id = "92c75dc8-a b8fc-b746156ccf21" CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

43 Controlled Vocabulary (CV) for Abbreviated “Forcing” Descriptors
Forcing Description Nat natural forcing (a combination, not explicitly defined here, that might include, for example, solar and volcanic) LU land-use change Ant anthropogenic forcing (a mixture, not explicitly defined here, that might include, for example, well-mixed greenhouse gases, aerosols, ozone, and land-use changes). Sl solar irradiance (note: Sl is “S” followed by a lower case “L”, not an upper case “I”) GHG well-mixed greenhouse gases (a mixture, not explicitly defined here) Vl volcanic aerosol (note: Vl is “V” followed by a lower case “L”, not an upper case “I”) SD anthropogenic sulfate aerosol, accounting only for direct effects SS sea salt SI anthropogenic sulfate aerosol, accounting only for indirect effects Ds Dust SA (= SD + SI) anthropogenic sulfate aerosol direct and indirect effects BC black carbon TO tropospheric ozone MD mineral dust SO stratospheric ozone OC organic carbon Oz (= TO + SO) ozone (= tropospheric and stratospheric ozone) AA anthropogenic aerosols (a mixture of aerosols, not explicitly defined here) CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

44 CV for Modeling Center and Models
Modeling Center (or Group) Institute ID Model Name The Centre for Australian Weather and Climate Research CAWCR ACCESS1.0 Beijing Climate Center, China Meteorological Administration BCC BCC-CSM1.1 College of Global Change and Earth System Science, Beijing Normal University GCESS BNU-ESM Canadian Centre for Climate Modelling and Analysis CCCMA CanESM2 CanCM4 CanAM4 University of Miami - RSMAS RSMAS CCSM4(RSMAS) National Center for Atmospheric Research NCAR CCSM4 CESM1(BGC) CESM1(CAM5) CESM1(CHEM,CAM5) CESM1(CHEM) CESM1(WACCM) National Centers for Environmental Prediction NCEP CFSv2 Centro Euro-Mediterraneo per I Cambiamenti Climatici CMCC CMCC-CESM CMCC-CM CMCC-CMS CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

45 CV for Modeling Center and Models
Centre National de Recherches Meteorologiques / Centre Europeen de Recherche et Formation Avancees en Calcul Scientifique CNRM-CERFACS CNRM-CM5 Commonwealth Scientific and Industrial Research Organization in collaboration with Queensland Climate Change Centre of Excellence CSIRO-QCCCE CSIRO-Mk3.6 EC-EARTH consortium EC-EARTH LASG, Institute of Atmospheric Physics, Chinese Academy of Sciences LASG-IAP FGOALS-G2.0 FGOALS-gl FGOALS-S2.0 The First Institute of Oceanography, SOA, China FIO FIO-ESM NASA Global Modeling and Assimilation Office NASA GMAO GEOS-5 NOAA Geophysical Fluid Dynamics Laboratory NOAA GFDL GFDL-CM2.1 GFDL-CM3 GFDL-ESM2G GFDL-ESM2M GFDL-HIRAM-C180 GFDL-HIRAM-C360 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

46 CV for Modeling Center and Models
NASA Goddard Institute for Space Studies NASA GISS GISS-E2-H GISS-E2-H-CC GISS-E2-R GISS-E2-R-CC GISS-E2CS-H GISS-E2CS-R NASA Global Modeling and Assimilation Office NASA GMAO GEOS-5 National Institute of Meteorological Research/Korea Meteorological Administration NMR/KMA HadGEM2-AO Met Office Hadley Centre MOHC HadCM3 HadCM3Q HadGEM2-CC HadGEM2-ES HadGEM2-A Natural and Environmental Research Council/Met Office Hadley Centre undeclared HiGEM1.2 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

47 CV for Modeling Center and Models
Institute for Numerical Mathematics INM INM-CM4 Institut Pierre-Simon Laplace IPSL IPSL-CM5A-LR IPSL-CM5A-MR IPSL-CM5B-LR Japan Agency for Marine-Earth Science and Technology, Atmosphere and Ocean Research Institute (The University of Tokyo), and National Institute for Environmental Studies MIROC MIROC-ESM MIROC-ESM-CHEM Atmosphere and Ocean Research Institute (The University of Tokyo), National Institute for Environmental Studies, and Japan Agency for Marine-Earth Science and Technology MIROC4h MIROC4m MIROC5 Max Planck Institute for Meteorology MPI-M MPI-ESM-HR MPI-ESM-LR MIP-ESM-P Meteorological Research Institute MRI MRI-AGCM3.2H MRI-AGCM3.2S MRI-CGCM3 MRI-ESM1 Norwegian Climate Centre NCC NorESM1-M CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

48 Organisation des données CMIP5 – structure des répertoires (1)
The standard CMIP5 output tool CMOR2 writes output files to a directory structure mapping DRS components to directory names as: <activity>/<product>/<institute>/<model>/<experiment>/ <frequency>/<modeling realm>/<variable name>/<ensemble member>/ /CMIP5/output/IPSL/IPSL-CM5A-LR/decadal1990/day/atmos/tas/r3i2p1/ /CMIP5/output/MOHC/HadCM3/rcp45/mon/ocean/uo/r1i1p1/ This structure, based on a previous version of the DRS, is incompatible with the recommended current DRS directory structure (see after). CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

49 Organisation des données CMIP5 – structure des répertoires (2)
It is recommended that ESGF data nodes should layout datasets on disk mapping DRS components to directories as: <activity>/<product>/<institute>/<model>/<experiment>/<fre quency>/<modeling realm>/<MIP table>/<ensemble member>/<version number>/<variable name>/<CMOR filename>.nc /CMIP5/output1/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/v /ta /CMIP5/output1/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/v1/lai CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

50 Organisation des données CMIP5 – structure des répertoires (3)
output1 and output2 merge into a single directory: <activity>/merge/<institute>/<model>/<experiment>/<frequen cy>/<modeling realm>/<MIP table>/<ensemble member>/<version number>/<variable name>/<CMOR filename>.nc /CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/v /ta /CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/latest/ta /CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/v1/lai /CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/latest/lai CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

51 Le projet IPSL Prodiguer
S.Denvil, A.Bhardwaj, F.Corsini, M.Morgan, H.Moulron, J. Raciazek, P.Weill, JL. Dufresne. Contact sdipsl (AT) ipsl.jussieu.fr CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

52 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Prodiguer ; what's that? Calcul : ciclad.ipsl.jussieu.Fr Cluster de calcul (20 nœuds dual quad-core AMD) « Climate analysis enabled » netcdf, cdo, ferret, matlab… Stockage : /prodigfs/esg/CMIP5/merge Sous ensemble CMIP5 (160 To  300 To début 2012) Support à l'analyse : Prodiguer Un portail «beau et intuitif» pour naviguer dans le sous ensemble CMIP5 : Un outil puissant de téléchargement CMIP5 (fonctionnalités proches du script type wget CMIP3) Un data node «maison» (accès opendap sur agrégation) (année 1 20 = 120) CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

53 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

54 État des lieux CMIP5 : ESG
The GOOD DOI pour les données (Digital Object Identifier) ESG ça marche The BAD Mais pas très bien d’après moi Couche sécurité (cf licence) : c’est louuurd The UGLY Les portails CMIP5 ne sont pas intuitifs Téléchargement complexe (+authentification/autorisation) Incohérence des arborescences des data nodes CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

55 État des lieux CMIP5 : IPSL
The GOOD Collaboration au niveau nationale quant à l’installation du nœud de données. (L’IPSL a été moteur) IPSL et CNRM/CERFACS : parmi les 5 premiers groupes présents sur ESG (mars 2011) ~ 62% du volume de l’archive CMIP5 vient de la communauté ENES (de l’IPSL principalement) The VERY SURPRISING Le datanode IPSL distribuant les données stockés sur ciclad est la première machine en sortie de réseau de l’UPMC (devant des serveurs distribuant linux). CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

56 État des lieux CMIP5 : IPSL
The VERY SURPRISING 2011 Volume (To) / Nombre de fichiers téléchargés Avril : 1.26 To / 777 fichiers Mai : 2.96 To / 1855 fichiers Juin : 16.2 To / 7274 fichiers Juillet : 1.51 To / 2028 fichiers Août : 13.9 To / 8627 fichiers Septembre : 5.9 To / 1946 fichiers Octobre : 11.1 To / 8758 fichiers (Mi)Novembre: 28.5 To / fichiers Total : 81.6 To / fichiers Nombre de requêtes : A comparer avec les fichiers totaux ! Nombre d’IP ayant demandé un téléchargement : 415 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

57 État des lieux CMIP5 : financement actuel
Source européenne: FP7 : METAFOR/IS-ENES/EGI Source internationale : G8 : projet ExArch Source nationale : GIS : Prodiguer. Future : ANR? Labellisation INSU PRODIGUER : refusé Dossiers classés A et considérés comme de bons projets pouvant sans conteste être labellisés, mais qui mériteraient certainement une ouverture nationale plus grande ou dont l’implémentation doit être revue. PRODIGUER système de diffusion des données de modélisation, issues des exercices du GIEC, est un projet tout à fait intéressant mais dont le soutien comme SOERE peut faire débat. L’avis du comité est que cette initiative mérite d’être soutenue dans un cadre qu’Allenvi pourrait déterminer. CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

58 En soutient de cette activité
FP7 METAFOR : 60 Keuros. Work Package (WP) leader GIS Climat : PRODIGUER 118 Keuros. Porteur du projet. FP7 IS-ENES: 110 Keuros. Contact IPSL de 2 WP. FP7 EGI-INSPIRE : 100 Keuros. Contact IPSL d'un WP. G8 ExArch: 197 Keuros. PrincipaI Investigator (PI). Un financement cumulé de 585 Keuros sur 5 ans Trois ingénieurs recrutés sur ces projets (dans la continuité), le troisième depuis un an. CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

59 Les soutients potentiels
EQUIPEX2 GENCI : DIP-HPC 70Keuros d'équipement pour l'IPSL. WP leader. Soumis en septembre Refusé. FP7 : IS-ENES2 260 Keuros. WP leader. Soumis en novembre 2011. CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

60 ... SCIENTIFIC PARTNER OR HPC COMPUTING CENTRES CCRT (CEA)
Meteo-France IPSL IDRIS (CNRS) ... CORE (CMIP5+PMIP3+*MIP) R&D PRODIGUER WEB SERVERS (IPSL) ESG GATEWAY METAFOR IS-ENES PRODIGUER COMMUNITY (Scientists, Researchers, Students) HTTPS / X509 HTTPS / OpenID CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

61 Prodiguer portal Contact CMIP5 subset query/access tools
IPSL - METAFOR – IS-ENES - ESGF M.Morgan, S.Denvil Contact Momipsl (AT) ipsl.jussieu.fr CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

62 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

63 Dashboard and data access
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

64 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Start CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

65 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Wait... CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

66 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Search CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

67 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Select CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

68 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Tick it CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

69 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Choose CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

70 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
copy/paste CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

71 Synchro-Data Contact CMIP5 data access tools IPSL - ESGF - EGI
J.Raciazek, S.Denvil Contact Jripsl (AT) ipsl.jussieu.fr CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

72 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Overview Search for CMIP5 data in ESGF File selection using DRS facets (realm, freq, experiment, ensemble, variable). So called template. Incremental search (keep track of what have already been downloaded) Metadata analysis Compute total files size Check if all variables get a match in ESGF Transfer files from ESGF to local filesystem Transparent handling of x509 Certificate based security HTTP Parallel download CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

73 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
WARNING You should not use it to download files IPSL Climate Modeling Group supports : Centralized templates handling To avoid redundant downloads To avoid unnecessary network burden Prefer several small templates (not a big one) CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

74 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Installation Retrieve installation script from synchro-data webpage wget chmod +x install.sh Run the script with « -b » option to start installation in $HOME/synchro_data ./install.sh -b If you want to install in non default location, use « -t »  option ./install.sh -b -t /opt CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

75 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Configuration Sign up to ESGF Set username and password Edit file .synchrodata_login Select which models to download Edit file MODELS Select which variables to download Edit file user_selections/default.txt CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

76 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Template example experiments="historical amip decadal2000" ensembles="r1i1p1" #ensembles="all" variables[atmos][mon]="tas" variables[land][fx]="sftgif" variables[seaIce][mon]="sic evap nshrice" variables[ocnBgchem][mon]="dissic fbddtalk" variables[atmos][mon]="ta hur clcalipso parasolRefl" CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

77 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Usage Search for files ./start.sh -a [-t template] Start download ./start.sh -b Get download current status ./start.sh -s Stop download ./stop.sh CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

78 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Usage (suite) Change priority (e.g. set higher priority for a template) ./start.sh -c -p 1500 [-t template] Update model list ./start.sh -e Retry transfer with error status ./start.sh -j More options ./start.sh -h CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

79 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Output Data folder $HOME/synchro_data/data Use new DRS format DB folder $HOME/synchro_data/db Sqlite database with transfer information (status, duration, priority..) Log folder « get_data.log » and « synchro_data_transfert.log » for transfer related messages One log file per model for discovery related messages CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

80 Aggregation node Contact CMIP5 subset aggregated files
IPSL – GIS Climat - IS-ENES A.Bhardwaj, S.Denvil Contact Abhipsl (AT) ipsl.jussieu.fr CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

81 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Thredds CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

82 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Dataset CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

83 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Real file CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

84 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Virtual File Aggregation CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

85 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
All in one CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

86 Aggrégation temporelle : préparatif sur CICLAD
# # NETCDF4 export PATH=/opt/netcdf4/gfortran/bin:${PATH} export LD_LIBRARY_PATH=/opt/netcdf4/gfortran/lib:${LD_LIBRARY_PATH} export NETCDF_INC_DIR=/opt/netcdf4/gfortran/include export NETCDF_LIB_DIR=/opt/netcdf4/gfortran/lib # CDO with opendap export PATH=/home/laliberte/local/cdo/bin:${PATH} CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

87 CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.
Moyenne d'ensemble: #!/bin/ksh #set -vx experiment=historical which cdo set -A liste_file for EnsembleMember in ; do # test d'existence de l'aggregation wget --spider CM5.${experiment}.mon.atmos.Amon.r${EnsembleMember}i1p1.tas.1.aggregation.html > /dev/null 2>&1 rc=$? if [ ${rc} -eq 0 ] ; then # aggregation présente echo success liste_file[${#liste_file[*]}]= CM5.${experiment}.mon.atmos.Amon.r${EnsembleMember}i1p1.tas.1.aggregation else # aggregation absente echo failure fi done echo cdo ensmean "${liste_file[*]}" ensmean_CNRM-CERFACS.CNRM-CM5.${experiment}.tas.nc cdo ensmean "${liste_file[*]}" ensmean_CNRM-CERFACS.CNRM-CM5.${experiment}.tas.nc CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

88 Variante autour de l'aggrégation
Moyenne saisonnière cdo seasmean ES.historical.mon.atmos.Amon.r1i1p1.hfls.1.aggregation result.nc Moyenne mensuelle climatologique cdo ymonmean ES.historical.mon.atmos.Amon.r1i1p1.hfls.1.aggregation Moyenne annuelle cdo yearmean ES.historical.mon.atmos.Amon.r1i1p1.hfls.1.aggregation result.nc Regrillage en pré calculant le fichier de poids : cdo setgrid,IPSL.ORCA2_gridCF.nc LR.historical.mon.ocean.Omon.r1i1p1.tos.1.aggregation inter.nc cdo genbic,r360x180 inter.nc remapweight.nc cdo remap, remapweight.nc inter.nc sst_regular.nc Et plus: cdo -h # CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

89 Perspectives CMIP à 10 ans
CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.