Point sur l'utilisation des moyens de calcul à court terme et stratégie à moyen terme Marie-Alice Foujols Pôle de modélisation du climat IPSL.

Slides:



Advertisements
Présentations similaires
Coupleurs OASIS et PALM et applications
Advertisements

Eric Maisonnave, Laurent Terray
Bibliothèques Scientifiques
Informatique parallèle hautes performances
IPSLCM5 Couplé « physique » NEMO bleu : océan
Architecture de grille générique, multi-
Chaire UNESCO - Calcul numérique intensif
Atelier ADOMOCA Nov 2007 Hervé Le Berre Larborescence du projet Mocage.
Ressources calcul 2014 Demandes d'heures DARI et PRACE 2 septembre 2013 Marie-Alice Foujols
Franck Cappello CNRS, LRI, Université Paris-sud
J-L Dufresne Responsable du pôle de modélisation Pôle de modélisation de l'IPSL: travaux en cours en vue de la préparation du prochain rapport du GIEC.
Amélioration du parallélisme du code de climat de l'IPSL.
Janvier 2010 ESCI.
Novembre 2008 ESCI.
Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.
CNRM Atmosphère globale (ARPEGE). Atmosphère régionale (ALADIN). Océan global et régional (OPA). Assemblage et emboîtements à faire. CERFACS Coupleurs.
MGV * : quelques prévisions de performances * Modèle à Grande Vitesse.
HPC et sciences du climat
Point sur le modèle couplé IPSL (CM et ESM)
LE PARALLELISME DANS LE MODELE CLIMATIQUE DE L’IPSL
Séminaire DEN/DSOE/Simulation sur le calcul hautes performances: le 7 novembre /17 Numerical Platon Contexte –outil daide aux développements de codes.
Lyon, 24/04/2007 Ce que l'application a besoin de connaître: Paramètres physiques par scénario de 150 ans Nombre et numéro d'ordre des mois à effectuer.
LEGO EPISODE III LEGO: simulations climatiques avec DIET E.Maisonnave, V.Pichon.
L’adaptativité pour un solveur de l’équation de Vlasov
Importance du réseau dans des architectures MIMD Tout échange entre les processeurs nécessite un transfert de données via le réseau.
Implantation de MOCAGE-PALM au Laboratoire d'Aérologie
L'outil MOCAGE-PALM au Laboratoire d'Aérologie
Plateforme de modélisation de l'IPSL : présentation et point sur la réalisation des simulations CMIP5 Foujols 1, M-A - Dufresne 2, J-L - Denvil 1, S. –
Ressources calcul septembre 2014
PSI : actualités PSI : PRISM Sustained Initiative Accord de gré à gré entre CNRS, CERFACS, ECMWF, Met-Office, MPI-M et M&D pour poursuivre le partage d’expertise.
Présentation rapide d’
Point sur le modèle couplé IPSL (CM et ESM) Branville mai 2008 Marie-Alice Foujols Olivier Marti et groupes Cplipsl et Esci.
Point sur le couplé // CSPOLE 16 juin 2006 Marie-Alice Foujols - Olivier Marti.
Le point sur la parallélisation du couplé Adapter les codes aux architectures multiprocesseurs des futures machines afin d’améliorer les temps de restitution.
FORÇAGE DU MODÈLE COUPLÉ DE L'IPSL AVEC L'OZONE DE LMDz-REPROBUS POUR LES SIMULATIONS CMIP5 ¹ Slimane Bekki, ¹ David Cugnet, ² Lionel Guez, ² François.
Calcul parallèle => partitionner les données en sous-groupes associés aux processeurs. P0 P2 P1.
Le contenu est basé aux transparents du 7 ème édition de «Software Engineering» de Ian Sommerville«Software Engineering» de Ian Sommerville B.Shishedjiev.
Modélisation du climat à l’IPSL: existant, objectifs et enjeux à 4 ans
Discussion technique 1 4 ème Réunion des Utilisateurs de Méso- NH Discussion Technique Juan Escobar (LA), Isabelle Mallet (CNRM) avril 2007 LA,
Offre DataCenter & Virtualisation Laurent Bonnet, Architecte Systèmes Alain Le Hegarat, Responsable Marketing 24 Novembre 2009.
Pôle de modélisation de l'IPSL: simulations en vue de la préparation du prochain rapport du GIEC.
Steven Derrien Équipe R2D2
Traitement du mélange en nuages et impact sur les vitesses verticales extrêmes dans les orages : Nouveau dans la MASDEV4_6 Mireille TOMASINI et Jean-Philippe.
Réunion Toulouse Data Node GIEC/IPCC - Prodiguer Lundi 23 novembre Sébastien Denvil Pôle de Modélisation, IPSL PRODIGUER un nœud de distribution.
Environnement des modèles Contraintes liées au parallélisme Utilisation de plusieurs machines Liens couplé/forcé.
NEMO dans le Pôle de modélisation du climat de l'IPSL
Présentation rapide de l’état des outils IPSL Marie-Alice Foujols Octobre 2005.
Réunion calcul simulations GIEC/IPCC - Prodiguer Lundi 23 Mars PRODIGUER un noeud français de distribution des données GIEC/IPCC Sébastien Denvil.
Contribution de l’IPSL au projet CMIP5
Couplé parallèle Etat des lieux. Objectifs Couplé parallèle en production à l’arrivée de la nouvelle machine vectorielle IDRIS (entre février et avril.
Configuration LOOP Retour d’expériences P. CADULE, L. BOPP, P. FRIEDLINGSTEIN.
PROJET CAPS Compilation, Architecture, Parallélisme et Système.
Ressources calcul 2008 GENCI PRACE IDRIS : brodie NEC SX-8 - vargas IBM Power6 CCRT : mercure NEC SX-8R - GIEC NEC SX-9 platine Bull Itanium / Nehalem.
1 Journee gdr COSMAL 27/01/2009 Exécution Distribuée et Agile de Compositions de Services Françoise Baude & Virginie Legrand
Tests de la Qualité des Interpolations avec OASIS4 réalisés dans la cadre du projet ANR-05-CIGC-04 CICLE (Calcul Intensif pour le Climat et l’Environnement)
Page 1 SIESTE février 2005 Un coupleur dynamique de codes parallèles URL: Thierry Morel.
Comité d'Orientation du GISClimat - Prodiguer Mardi 18 Novembre PRODIGUER un noeud français de distribution de données GIEC/IPCC Sébastien Denvil.
L’arrivée des versions parallèles des modèles de l’IPSL Adapter les codes aux architectures multiprocesseurs des futures machines afin d’améliorer les.
Lyon, 24/04/2007 Portage et déploiement de l'application Climat sur Eric Maisonnave.
Présentation de l’exercice Présentation de l’exercice Réalisation au CNRM Réalisation au CNRM Quelques résultats… Quelques résultats… Mise à disposition.
Sciences à Cœur Sorbonne Universités Le climat : enjeux scientifiques et sociétaux #SciencesACoeur Jeudi 12 février 2015 Regards croisés autour de la confiance.
Configurations INCA CH4Chimie méthanique NMHCChimie non méthanique CH4_AERChimie méthanique + aérosols NMHC_AERChimie non méthanique + aérosols AERAérosols.
Management model Guide d’entretien
LMDZ: le point ce qui est fait Passage à 39 niveaux: Pas si évident que ça, tout à ré-équilibrer Prise en compte des paramétrisations de F. Lott pour la.
Pôle observations Groupe de travail « Etudes de tendances et variabilités climatiques à partir d’analyse d’observations de la Terre »
COAST séminaire irfu 12/05/091 Le projet COAST : avancées et perspectives en informatique. Bruno Thooris pour le groupe COAST Laboratoire d’Ingénierie.
Entretiens Louis le Grand 29 et 30 août Entretiens Louis le Grand – 29 et 30 Août 2005 Étude de cas CS  Jacques DUYSENS (CS Communication & Systèmes)
Attente de cette réunion : redéfinir stratégie commune calendrier rappel demande IPSL février 2014 comparatif CMIP5/CMIP6, ressources et développements.
Mésocentre ESPRI IPSL Importance des données pour la recherche à l’IPSL – Campagnes de mesure terrain – Observations satellites – Simulations Services.
Novembre 2003 Simulation numérique en vibro-acoustique par couplage de deux codes parallèles Unité de Recherche Calcul à Haute Performance François-Xavier.
Transcription de la présentation:

Point sur l'utilisation des moyens de calcul à court terme et stratégie à moyen terme Marie-Alice Foujols Pôle de modélisation du climat IPSL

Parallélisme Parallélisation MPI pour LMDZ/Orchidee – OpenMP sur la verticale : à incorporer dans la référence du couplé Parallélisation MPI possible pour NEMO Machines cibles : – Vectoriel et parallélisme modéré o(10), MPI : Mercure (NEC SX-8R et SX-9), Brodie (NEC SX-8) – Scalaire SMP parallélisme massif o(100) : Platine/Titane (BULL), vargas (IBM), performances améliorées mixte MPI/OpenMP Extrait du cours sur le modèle couplé version novembre 2009

Performances pour 10 ans – octobre x95x39 – ORCA2Nb cpusTemps réelTemps CPU à demander Bull platine20 cpus50 h1 000 h NEC SX-8 brodie4 cpus40 h160 h IBM vargas32 cpus50 h1 600 h 144x142x39-ORCA2Nb cpusTemps réelTemps CPU à demander Bull platine48 cpus90 h4 300 h NEC SX-8 brodie8 cpus55 h400 h IBM vargas32 cpus100 h3 200 h

Performances pour 10 ans – janvier x95x39 – ORCA2Nb cpusTemps réelTemps CPU à demander NEC SX-8 brodie4 cpus40 h160 h NEC SX-94 cpus13 h52 h Modifications récentes du modèle : Mise à jour aérosols et ozone troposphérique Ajout ozone stratosphérique Optimisations NEC, efficaces sur SX9 et … SX8

Parallélisme O(10-100) 3 exécutables parallèles, MPI Modèle couplé OK : – NEC SX : mercure, brodie – IBM vargas (depuis été 2009) – Bull platine (depuis 2008) Expériences internationales, plus hautes résolutions : – MareNostrum (A. Caubel, 3 mois en 2009, HPC-Europa) Cohabitation OpenMP/MPI non gérée par l’OS – ES/ES2 - Yokohama en décembre 2009 : – Expérience sur le ES : 186 procs sur ES (6 oasis, 57 orca025 et 120 echam T319 (1/3°)) – Expérience sur le ES2 : 32 procs max et … trop d’attente sur ES2 Les composantes seules : – NEMO : bench PRACE, grand challenge CINES – LMDZ : OpenMP/MPI sur Bull titane IBM babel : trop peu de mémoire par processeur pour LMDZ

NEMO : 752x502x31

NEMO ORCA12 : 4322x3059x50 Découpage avec suppression des continents : 90x14= x38=800

LMDZ sur titane Mixte OpenMP/MPI 96x95x39 avec/sans aérosols Nb cpusTemps réelTemps CPU à demander 6 aérosols Temps réel CPU 849 h392 h 1625 h400 h33 h523 h 3215 h467 h18 h576 h 648 h537 h 1285 h691 h6 h832 h 2564 h1 075 h

LMDZ sur titane Mixte OpenMP/MPI 96x95x39 et 144x142x39 sans aérosols Nb cpus96x95x39 Temps réel Temps CPU à demander 144x142x39 Temps réel CPU 849 h392 h 1625 h400 h70 h1 130 h 3215 h467 h38 h1 209 h 648 h537 h22 h1 395 h 1285 h691 hhh 2564 h1 075 h

Parallélisme O( ) On y travaille … aussi OK avec simulations courtes et (très) haute résolution, composantes seules Besoin de travail pour simulations plus longues, en couplé et résolutions ad hoc : – nouvelle dynamique, nouveau maillage : sans filtre et points singuliers, – IO déportées (IO server), – coupleur oasis(4), … Attention aux spécificités des machines : besoin d’anticiper Voir demande CEA + CNRS Coopération internationale : Isenes Support Oasis3 et 4 en octobre 2009 Coopérations sur les IO

Les autres groupes internationaux Toutes les équipes sont concentrées sur CMIP5 Toutes les équipes ont renouvelé récemment leurs calculateurs : – MetOffice, UK : IBM, 125 Tflops, 1Pflops en 2011 – DKRZ, D : IBM, 158 Tflops – CMCC, I : IBM, 1000 procs, 18 Tflops, NEC SX9, 112 procs, 11 Tflops Enjeux sur les données : – description des modèles et des résultats : questionnaire Metafor, CIM, … – diffusion des données : multisites, ESG, Prodiguer : – Distribution depuis centres producteurs : CCRT et IDRIS, … – Distribution depuis IPSL, Météo-France, Cerfacs