Journées Informatiques IN2P3/DAPNIA septembre 2006 Le projet de développements logiciels du DAPNIA pour la simulation et la visualisation des plasmas astrophysiques Le projet de développements logiciels du DAPNIA pour la simulation et la visualisation des plasmas astrophysiques V. Gautard, J.-P. Le Fèvre, D. Pomarède, B. Thooris Laboratoire dIngénierie Logicielle des Applications Scientifiques CEA/DAPNIA/LILAS - Saclay

2D. Pomarède, CEA/DAPNIA/LILASJIID 2006 Les simulations numériques au DAPNIA –Les enjeux scientifiques et les codes du SAp –Moyens de calculs Le projet de développements logiciels –Gestion des données –Visualisation Perspectives

3D. Pomarède, CEA/DAPNIA/LILASJIID 2006 Les simulations numériques au DAPNIA La simulation des plasmas astrophysiques, aux cotés des projets de détecteurs spatiaux et dobservatoires terrestres, est lun des trois piliers sur lequel se fonde le programme scientifique du Service dAstrophysique du DAPNIA Lobjectif scientifique est la compréhension de la formation des structures observées dans lUnivers : Structure et distribution des amas de galaxies à partir des conditions initiales du Big Bang Dynamique des nuages moléculaires où se forment les étoiles Magnétohydrodynamique stellaire Formation des systèmes protoplanétaires

4D. Pomarède, CEA/DAPNIA/LILASJIID 2006 Les codes du SAp Quatre codes de simulations numériques sont développés à Saclay ou dans le cadre de collaborations internationales : – RAMSES (R. Teyssier) étude multi-échelles de la formation des structures de lunivers solution de linteraction de la Matière Noire avec le gaz baryonique hydrodynamique et systèmes à N-corps, gravitation, MHD – HERACLES (E. Audit et al) formation et dynamique des nuages moléculaires Hydrodynamique radiative – ASH (A.S. Brun, collaboration avec J. Toomre et al.) Magnétohydrodynamique du Soleil – FARGO (F. Masset) études des forces de marées disque-planètes Hydrodynamique 2D & 3D Ces codes partagent des caractéristiques communes –F90 ou C, parallélisés avec la librairie MPI –Emploi de solveurs déquation type Riemann ou Godunov –Maillage spatio-temporel sur des grilles cartésiennes fixes (HERACLES, ASH) ou a résolution adaptative (RAMSES, FARGO)

Illustration de la technique de maillage adaptatif (AMR) de RAMSES level 2 level 3 level 5 level 9 level 14 La résolution du maillage est améliorée dynamiquement quand des gradients importants sont observés sur la distribution de variables telles que la densité de matière level 11

Niveaux 9 à 14 de lAMR. Le raffinement ultime est atteint au niveau 14 qui correspond à cellules Illustration de la technique de maillage adaptatif (AMR) de RAMSES La résolution finale équivalente atteinte est de 2 13 =8192 cellules dans chaque direction, soit au total = cellules Avec cette résolution, des mécanismes physiques à des échelles trés différentes sont traités : depuis linteraction gravitationelle à grande échelle (matière noire) jusquà la formation détoiles dans les galaxies

Densité de la Matière Noire Illustration de la technique de maillage adaptatif (AMR) de RAMSES Densité du plasma baryonique Température du plasma baryonique Age et distribution des étoiles Référence : The History of the Baryon Budget – Cosmic Logistics in a Hierarchical Universe, Y. Rasera & R. Teyssier, astro-ph/ (23 May 2005)

8D. Pomarède, CEA/DAPNIA/LILASJIID 2006 Les moyens de calculs Les codes de simulations sont parallélisés, conçus pour être exécutés sur des mainframes performants Ressources du CEA : –CCRT (CEA Bruyères-le-Châtel) : NickelChrome HP/OSF1 225 quadri-processors alpha nodes (2250 GFlops au total) Tantale HP/Linux 138 quadri-processors AMD Opteron Ressources du Projet Horizon pour la Cosmologie –IDRIS (CNRS Orsay) Ensemble de 1024 processors Power4 répartis sur plusieurs clusters –MareNostrum (Barcelona Supercomputing Center) 2406 dual 64-bit processor 2.2GHz, ~42 TeraFlops peak –Part of the DEISA « Extreme Computing Initiative » DEISA=Distributed European Infrastructure for Supercomputing Applications Requirement 8 To RAM, 4096 processors

Les moyens de calculs : rappel sur le Top500 CNRS/IDRIS out (281 eme en 2005, 11 eme en 1996) ISC Conference Dresde juin 2006 Note : CC-IN2P3 linux = 639 proc, 3500 GFlops (GFlops) BlueGene processeurs Recherche (biologie moléculaire, …) Columbia Utilisée par nos concurrents US (Cosmologie,…) CEA/ Defense MareNostrum Utilisée pour les Prods RAMSES CEA/ Defense

10D. Pomarède, CEA/DAPNIA/LILASJIID 2006 Le projet de développements logiciels Depuis septembre 2005, les développements software sont organisés dans le cadre dun projet dingénierie indépendant. Lobjectif est de partager les expertises et de fournir des modules de type core software utilisables par les différents codes. Cela inclut la gestion des données, le post-traitement, la visualisation, loptimisation du parallélisme, le développement dalgorithmes numériques novateurs. RAMSES ASH HERACLES FARGO CORE SOFTWARE MODULES I/O, Graphics, Algorithms

11D. Pomarède, CEA/DAPNIA/LILASJIID er axe de développements : format des données de sortie des codes –choix du format HDF5 (Hierarchical Data Format) développé par le NCSA (National Center for Supercomputing Applications, USA) –free, open source, portable, F90/C/C++/Java interfaces –la librairie est optimisée pour lire et écrire efficacement sur des systèmes de calcul parallèle, pas de limite de taille –Deux objets de base : datasets (tableaux) et groupes (structures) –Grouping & linking mechanisms, browsing/navigation efficace dans la hierarchie –Nombreuses applications –1 er jalon : migration dHERACLES, avril 2006 Gestion des données

Visualization and browsing of HDF5 files in IDL

13D. Pomarède, CEA/DAPNIA/LILASJIID 2006 Gestion des données 2eme axe de développements : les bases de données Le Projet ODALISC (Opacity Database for Astrophysics, Lasers experiments and Inertial Fusion Science): mise en place dune base de données dopacités et déquations détat pour les communautés dAstrophysique et des interactions plasma/laser collaboration avec le CELIA Bordeaux (Centre Lasers Intenses et Applications) MySQL Web-service TOMCAT Installée au DAPNIA (cds.datagrid.cea.fr) Fichiers HDF5 (mise à disposition dune interface de haut- niveau pour les utilisateurs) visualisation IDL β release opérationel depuis mai 2006

15D. Pomarède, CEA/DAPNIA/LILASJIID 2006 Gestion des données 2eme axe de développements : les bases de données LObservatoire Virtuel HORIZON Effort de la communauté mondiale des astrophysiciens pour stocker et partager les observations via des Virtual Observatories –Exemples : EURO-VO, IVOA, SkyView VO (NASA) Cela vaut également pour les données simulées Les productions massives du code RAMSES seront gérées par un tel VO –Collaboration avec lObservatoire de Lyon (INSU) –Mesomachine au DAPNIA

16D. Pomarède, CEA/DAPNIA/LILASJIID 2006 Visualisation : SDvision Developpement dune interface graphique dans le cadre dIDL Basée sur les Objets Graphiques des derniers releases (6+) de la plateforme SDvision the Saclay/DAPNIA Visualization Interface Visualisation 3D interactive et immersive, accélération graphique Scènes composites avec différents objets : iso-surfaces, projections volumiques, image slices, nuages de points, vecteurs, streamlines Input : RAMSES, HERACLES, ASH. Champs 3D scalaire & vecteur sur grilles cartésiennes ou complexes (AMR), particules

Projections volumiques HERACLES (density) volume of size 15 pc grid ASH mag field Bphi seen from the pole RAMSES baryon density size 100 Mpc

ASH (Bphi) Blue negative Red positive Iso-surfaces RAMSES (baryon density) HERACLES (density) volume of size 15 pc grid

Illustration des capacités dimmersion dans les simulations Données RAMSES Le point de vue est à lintérieur du volume Focale ~ grand angle Visualisation simultanée de la distribution de la densité de matière baryonique, du champ de vélocité hydrodynamique baryonique, et du nuage de particules de Matière Noire

La scene est composée de : 1 nuage de particules halos très dense 3 iso-surfaces de la densité baryonique : grise = haute-densité, (semi-transparente) jaune = moyenne rouge = basse 1 image semi-transparente de la densité baryonique sur une tranche 2 sources dillumination frontale ambiante Les limites du volume

La scene est composée de : 1 projection volumique de la densité baryonique 1 image semi-transparente de la densité baryonique

La scène est composée de : 1 projection volumique de la densité baryonique 1 nuage de particules halos très dense 1 image semi-transparente de la densité baryonique

La scène est composée de : 1 nuage de particules halos très dense 1 collection de lignes de courant du champ de vélocité hydrodynamique 1 image semi-transparente de la densité baryonique

La scène est composée de : 1 nuage de particules halos très dense 1 collection de lignes de courant du champ de vélocité hydrodynamique 1 image semi-transparente de la densité baryonique

28D. Pomarède, CEA/DAPNIA/LILASJIID 2006 Perspectives Gestion des données : –évaluation comparée des performances de HDF5 –migration des autres codes sur ce format –nouvelles fonctionnalités pour ODALISC –release du VO HORIZON Visualisation : –nouvelles fonctionnalités –visualisation des données de FARGO (systèmes protoplanétaires) –optimisation du management de la mémoire pour accéder à des jeux de données plus importants (zoom spatial et zoom en résolution synchronisés) –parallélisme (fastDL/mpiDL solutions dITT) Développements dalgorithmes –RAMSES : optimisation des algorithmes pour améliorer léquilibrage de charge –HERACLES : algorithmes multi-grille pour améliorer la résolution Divers : –page web, Wiki –management des codes (Subversion)

29D. Pomarède, CEA/DAPNIA/LILASJIID 2006 Publications, conférences, Web Page web du Projet Présentations à des conférences : Numerical Simulations of Astrophysical Plasmas: status and perspectives of the Saclay/DAPNIA software project, E. Audit, D. Pomarède, R. Teyssier, B. Thooris, Proceedings of the First CalSpace-IGPP International Conference on Numerical Modeling of Space Plasma Flows, ASTRONUM2006, Palm Springs CA, USA, March 27-30, 2006, to appear in the Astronomical Society of the Pacific Conference Series. Visualization of large astrophysical simulations datasets, D. Pomarède, E. Audit, R. Teyssier, B. Thooris, Proceedings of the 2006 Conference on Computational Physics, CCP2006, Gyeongju, Republic of Korea, August 29 – Sept 1, Numerical Simulations of Astrophysical Plasmas, D. Pomarède, B. Thooris, E. Audit, R. Teyssier, Proceedings of the Sixth IASTED Conference on Modeling, Simulation, and Optimization, MSO2006, Gaborone, Botswana, September 11-13, 2006, Acta Press. A venir : « Accessing the database of the HORIZON project », J.-P. Le Fèvre, H. Wozniak, J. Devriendt, R. Teyssier, Astronomical Data Analysis Software & Systems Conference ADASS XVI, Tucson AZ, USA, October 15-18, Organisation de la Conférence ASTRONUM2007 « International Conference on Numerical Modeling of Space Plasma Flows » à Paris en juin 2007 Session spéciale « Data Handling and Visualization »