COAST séminaire irfu 12/05/091 Le projet COAST : avancées et perspectives en informatique. Bruno Thooris pour le groupe COAST Laboratoire d’Ingénierie Logicielle pour les Applications Scientifiques CEA/Irfu/Sédi/Lilas - Saclay

2COAST séminaire irfu 12/05/09 Le projet COAST (1) Création en 2005: programme IRFU de calcul hautes performances lié aux simulations numériques en astrophysique Equipe mixte d’astrophysiciens du SAp et d’ingénieurs du Sédi/Lilas Les activités informatiques de COAST correspondent aux missions du Lilas: –développement, optimisation et parallélisation de logiciels –méthodes numériques –outils de visualisation –bases de données –gestion des sources En 2009, le projet est lié à 3 collaborations ANR et 2 projets européens COAST pour COmputational ASTrophysics

3COAST séminaire irfu 12/05/09 Le projet COAST (2) En 2009, 29 personnes, –au SAp, 24 permanents, thésards et post-docs –au Sédi, 2 FTE, 1 CDD et 3 PTE Une dizaine de codes de simulation numérique 3D en magnétohydrodynamique 4 domaines de physique (Cosmologie, Milieu interstellaire, Physique stellaire, Disques protoplanétaires) 2 millions d’heures CPU par an sur les supercalculateurs parallèles ( hors grands challenges ) R. TeyssierE. AuditF. BournaudAS. BrunF. MassetS. CharnozS. Fromang … D. PomarèdeB. ThoorisY. FidaaliJ-P. LefèvreF. ChâteauP. Kestener

4COAST séminaire irfu 12/05/09 Les simulations numériques à l’IRFU La simulation des plasmas astrophysiques: un des trois piliers du programme scientifique du SAp avec les projets de détecteurs spatiaux et d’observatoires terrestres L’objectif scientifique est la compréhension de la formation des structures observées dans l’Univers : Structure et distribution des amas de galaxies à partir des conditions initiales du Big Bang Dynamique des nuages moléculaires où se forment les étoiles Magnétohydrodynamique stellaire Formation des systèmes protoplanétaires Collisions de galaxies Turbulence dans les disques d’accrétion

5COAST séminaire irfu 12/05/09 Les codes numériques Quelques codes développés à Saclay : – RAMSES ( R. Teyssier & al. ) étude multi-échelles de la formation des structures de l’univers solution de l’interaction de la Matière Noire avec le gaz baryonique hydrodynamique et systèmes à N-corps, gravitation, MHD Maillage à raffinement adaptatif en octree (AMR) – HERACLES ( E. Audit & al. ) formation et dynamique des nuages moléculaires Hydrodynamique et transfert radiatif – ASH ( A.S.Brun & al. ) magnétohydrodynamique du Soleil collaboration avec U. of Colorado – JUPITER ( F. Masset ) études des forces de marées disque-planètes hydrodynamique 3D Ces codes partagent des caractéristiques communes –F90 (ou C), parallélisés avec la librairie MPI –Emploi de solveurs d’équation type Riemann ou Godunov –Maillage spatio-temporel sur des grilles cartésiennes fixes (HERACLES, ASH) ou à résolution adaptative (RAMSES, JUPITER)

6COAST séminaire irfu 12/05/09 Collaborations et financements extérieurs 3 ANR –HORIZON cosmologie (R. Teyssier, ) IRFU, INSU, CNRS, IAP,.. –MAGNET MHD (E. Dormy, ) ENS, IRFU, CETP –SINERGHY Rayonnement, gravitation, hydro en physique des plasmas (E. Audit, ) IRFU, CELIA 2 financements européens –STARS 2 Soleil et Etoiles: ERC Starting Grant ( A. S. Brun, ) –ASTROSIM: ESF funded network ( R. Teyssier, )

7COAST séminaire irfu 12/05/09 Ressources utilisées par COAST Local : –DAPHPC, a 256 cores Opteron Cluster (24 nodes with 8GB memory, with an Infiniband interface). National : –Platine, CEA/CCRT, ranking 63 rd in the TOP500 (nov 2008) : Bull Novascale 3045, 7456 Itanium cores, 47.7 Tflops, 23 TB mem Europe : –MareNostrum at the Barcelona Supercomputing Center, ranking 40 th in the TOP500 (nov 2008): IBM PowerPC 2.3 GHz cores, 94.2 Tflops, 20TB of main memory National : –Babel, CNRS/IDRIS, ranking 16 th in the TOP500 (nov 2008) IBM BlueGene/P, PowerPC cores, 139 Tflpos, 20 TB memory National : –Jade, GENCI/CINES, ranking 14 th in the TOP500 (nov 2008) SGI, cores National : –CEA/GENCI 300 Tflops Bull NovaScale supercomputer : combination of 8544 intel cores (100 Tflops) and 48 GPU nodes (200 Tflops), 25 TB memory, 1PB storage

8COAST séminaire irfu 12/05/09 Les challenges Ramses: la simulation MareNostrum La simulation ‘Galaxy Formation’ 2006 sur MareNostrum au BSC code Ramses: version N-corps + hydrodynamique = 1 milliard de particules, 4 milliards AMR cells 2048 processeurs utilisés, 64 processeurs dédiés aux I/O 3 semaines de calcul ( heures CPU) 1 output = GB (20 TB of data généré et stocké) ( R. Teyssier et al. )

9COAST séminaire irfu 12/05/09 Les challenges Ramses: la simulation Horizon Le ‘grand challenge Horizon’ été 2007 sur Platine au CCRT  Simulation des futurs relevés par weak-lensing de DUNE ou LSST  1 ère simulation de la moitié de l’Univers observable code Ramses: version N-corps (matière noire) 70 milliards de particules, 140 milliards de mailles la plus grande simulation N-corps jamais réalisée 6 niveaux de raffinement (résolution formelle de ) 2 mois de calcul sur 6144 cpus ( heures CPU) 1 output = 4TB ( R. Teyssier et al. )

10COAST séminaire irfu 12/05/09 Le logiciel de visualisation de COAST: SDvision Développé au Lilas (Daniel Pomarède) pour la visualisation des résultats de simulation de COAST (présentation à suivre d’Yncia Fidaali) Mais utilisable (et utilisé) dans d’autres labos d’astrophysique ou dans d’autres domaines

11COAST séminaire irfu 12/05/09 –choix du format HDF5 (Hierarchical Data Format) développé par le NCSA (National Center for Supercomputing Applications, USA) –libre, open source, portable, F90/C/C++/Java interfaces –la librairie est optimisée pour lire et écrire efficacement sur des systèmes de calcul parallèle, pas de limite de taille –Deux objets de base : datasets (tableaux) et groupes (structures) –Utilisé comme standard d’entrée de Sdvision Gestion des données: le format HDF5

12COAST séminaire irfu 12/05/09 La base de données Odalisc  Le Projet ODALISC (Opacity Database for Astrophysics, Lasers experiments and Inertial Fusion Science): mise en place d’une base de données d’opacités et d’équations d’état pour les communautés d’astrophysique et de la physique des interactions plasma/laser collaboration avec le CELIA Bordeaux MySQL Web-service TOMCAT Installée à l’IRFU Fichiers HDF5 ( avec en ligne des outils de lecture, de création de fichiers et de visualisation en IDL) BdD ouverte à la communauté des physiciens des plasmas astro et lasers (Jean-Paul Le Fèvre, Franck Delahaye, Bruno Thooris)

13COAST séminaire irfu 12/05/09

14COAST séminaire irfu 12/05/09 Implémentation, optimisation et parallélisation Les codes sont mis au point sur le cluster daphpc local mais la production se fait sur les supercalculateurs Pour les grandes simulations de Ramses, il a fallu une adaptation du code d’abord sur MareNostrum, puis sur la machine Platine du CCRT ( en particulier pour la librairie MPI) Avec l’arrivée du Bluegene/P de l’IDRIS et du SGI du CINES, l’adaptation à l’architecture demande plus de travail (MPI + OpenMP) Une R&D sur le portage de nos codes sur les GPUs a été réalisée pour une évaluation des performances et de la programmation sous CUDA, en vue du portage sur le futur cluster de GPUs au CCRT L’arrivée des machines de type Roadrunner (# procs, 1.37 PFlops ) à base de Cells nous oblige aussi à regarder de près les problèmes de portage et de programmation liés, d’où la R&D actuelle sur les Cells

15COAST séminaire irfu 12/05/09 Courtesy of Jack Dongarra

16COAST séminaire irfu 12/05/09 Du boulot pour les développeurs (1) Il faut savoir utiliser au mieux les dernières machines pour obtenir les meilleurs résultats de simulations Evolution de la loi de Moore: le nombre de cœurs/nœud X2 tous les 2 ans, alors que la vitesse des chips stagne –Les pbs de Hardware sont remplacés par des pbs de Software ! On ne peut pas attendre les nouveaux langages parallèles (Chapel, X10, Fortress,…) si ils arrivent un jour… Notre grande chance: avoir accès à tous les nouveaux types de machines: –Babel(BlueGeneP de l’IDRIS) pour production –Jade(SGI du CINES) pour production –Machine GENCI (CCRT) depuis avril… –IBM Power6(SARA,NL), CRAY(Julich,D), MariCel(Barcelone) prototypes PRACE pour tests

17COAST séminaire irfu 12/05/09 Du boulot pour les développeurs (2) 3 nouveaux types de supercalculateurs –Les Multicores: IBM BlueGene, SGI, CRAY, IBMPower6 un seul degré de programmation mais MPI+OpenMP –Les hybrides GPUs: pour le moment en CUDA (+HMPP?), 2 niveaux de programmation; dépendance à NVIDIA… Nous avons maintenant accès à la machine hybride GPUs au CCRT… –Les hybrides Cells: 3 degrés de programmation pour le Roadrunner de Los Alamos, le 1 er au TOP500, processeurs mais IBM semble perdre le marché des PS3…

18COAST séminaire irfu 12/05/09 Courtesy of Jack Dongarra

19COAST séminaire irfu 12/05/09 Les développements et évaluations effectués Passage d’Heracles en MPI+ OpenMP (Ingmar Vierhaus) –Premiers runs sur processeurs de Babel (BluegeneP, 4 cœurs/noeud) et sur Jade (SGI, 8 coeurs/noeud) Passage d’algorithmes et évaluation du passage de codes sur GPUs (Frédéric Château, Pierre Kestener, Alexis Koutero) –Gain d’un facteur 50 sur des algos d’hydro ou d’imagerie –Tentative de passage d’un code complet d’astro existant (Fargo) : il faudrait réécrire le code  –Apprentissage de CUDA + HMPP –Aucune portabilité du code modifié Evaluation du passage de Fargo par Jean-Paul Le Fèvre sur le prototype Cells du CINES: même conclusion, il faudrait réécrire le code  –Quelques tests sur le prototype MariCel de Barcelone et une bonne migraine

20COAST séminaire irfu 12/05/09 Visibilité des développements informatiques Film stéréo ‘Cosmo3D’ projeté au Palais de la Découverte dans le cadre de l’expo ‘Voyage au centre de la Galaxie’ du 2 février au 3 mai –Réalisé avec notre logiciel SDvision à partir des résultats des simulations numériques du SAp Film 2D COAST à Supercomputing en 2007 et Depuis 2005, une douzaine de présentations ont été faites par le Sédi dans des conférences internationales en Visualisation, High Performance Computing et Simulation. Présentation des activités informatiques du projet aux Journées Informatiques de l’IN2P3/IRFU à Obernai en septembre Organisation de la conférence ASTRONUM en 2007 et en 2009

21COAST séminaire irfu 12/05/09 Perspectives pour le Lilas (1) Optimisation et parallélisation des codes pour le passage sur les supercalculateurs multicores (MPI+OpenMP) => besoin vital ! –Après Héracles, il faut aussi adapter Ramses et d’autres codes Grand challenge GPU au CCRT ( Pierre Kestener & Frédéric Château) –En collaboration avec l’Université de Strasbourg (D. Aubert) –Ecriture d’un code 3D d’hydro+transfert radiatif+N-corps pour la cosmologie directement en CUDA ( ~Ramses sans AMR ) –But : grosse simulation de cosmo dans le cadre d’un Grand Challenge sur la nouvelle machine hybride du CCRT en 2009 –À noter : première écriture directe d’un code d’astro au Sédi par des ingénieurs => besoin d’expertise en software pour de nouvelles avancées en HPC

22COAST séminaire irfu 12/05/09 Perspectives pour le Lilas (2) Développements dans SDvision: –Algorithmes de visualisation adaptés aux AMR (Ramses) –Visualisation des résultats des codes Multigrilles (Jupiter et Heracles) –Algorithmes spécifiques au maillage sphérique du code ASH –Parallélisation avec mpiDL –Et bien d’autres idées… Production d’analyses avec SDvision sur le tout nouveau cluster graphique du CCRT, le cluster ‘Césium’ qui comporte : –2 nœuds de login (8 cœurs, 64Go mém, carte graphique NVIDIA FX5800) –30 nœuds de calcul (8 cœurs, 64Go mém, carte graphique NVIDIA FX5800 –8 nœuds ‘grosse mémoire’ (8 cœurs, 128Go mém, carte graphique NVIDIA FX5800 –100 Tera de disque partagé

23COAST séminaire irfu 12/05/09 Perspectives pour le Lilas (3) Développement du code Sineghy1D avec ses logiciels de pré et post traitement Création de la base de données de STARS 2 Projet ‘Saturne’ avec A. Brahic & S. Charnoz: simulation et visualisation des anneaux de Saturne, comparaison avec les images de Cassini Tests et production de films pour écrans auto-stéréoscopiques Poursuite de la collaboration avec l’IRFM sur la visualisation des simulations du plasma d’ITER par le code Gysela Et plus si affinités…

24COAST séminaire irfu 12/05/09 Conclusions Le fonctionnement en équipe mixte marche bien Sujets de pointe en informatique (problèmes de taille des données, portage sur technologies nouvelles) SDvision développé localement: adaptation à tous les types d’analyse et sorties des images et des films 2D et 3D stéréo pour la communication L’ambition: déborder du cadre de l’astrophysique pour créer un pôle d’activités de calcul hautes performances et de visualisation qui puisse traiter aussi d’autres domaines de physique à l’IRFU et au CEA Grosse effervescence dans le domaine des calculateurs parallèles, et pas seulement dans le gigantisme, mais aussi dans de nouvelles technologies => profitons-en !

25COAST séminaire irfu 12/05/09 Merci de votre attention la suite pour Yncia…

26COAST séminaire irfu 12/05/09 Le passage sur BluegeneP Optimisation du code Heracles sur le BlueGeneP de l’IDRIS: adaptation à l’architecture de la machine Babel –La configuration de l'IDRIS comporte 10 racks –Chaque rack comporte deux mid-plane soit 2048 coeurs ou 512 noeuds de calcul –Chaque mid-plane contient 16 node card qui comporte 32 noeuds de calcul, chaque nœud de calcul étant constitué de 4 coeurs. – Il y a 1 nœud I/O pour 64 noeuds TOTAL nœuds soit cœurs PowerPC  Introduction d’une couche OpenMP en + de MPI pour l’optimisation des 4 cœurs/nœud  Travail de Ingmar Vierhaus