Projet TAG Projet TAG Géophysique – IPGS (UMR 7516) Calcul numérique -IRMA (UMR 7501) Chimie théorique - LCQMM (UMR 7551) Informatique - LSIIT/ICPS (UMR.

Présentation au sujet: "Projet TAG Projet TAG Géophysique – IPGS (UMR 7516) Calcul numérique -IRMA (UMR 7501) Chimie théorique - LCQMM (UMR 7551) Informatique - LSIIT/ICPS (UMR."— Transcription de la présentation:

1 Projet TAG Projet TAG Géophysique – IPGS (UMR 7516) Calcul numérique -IRMA (UMR 7501) Chimie théorique - LCQMM (UMR 7551) Informatique - LSIIT/ICPS (UMR 7005) 1

2 Introduction Objectif : montrer que la transformation de code peut apporter une amélioration des performances sur la grille Moyens : tester notre théorie sur des applications réelles et sur une grille réelle Résultats : un outil de transformations et d'exécution 1

3 Le cadre de l'étude Programmes parallèles MPI Une grille réelle Trois applications scientifiques : Physique des plasmas Géophysique Chimie théorique 1

4 Les effectifs Ingénieurs (2) Doctorants (2), stagiaire DEA (1) ATER (1) Maîtres de Conférences (3) Directeur de recherches et professeurs (4) 13 personnes, dont 6 impliquées fortement 1

5 Organisation du groupe S.G.(MCF) B.S. (Ing) A.G. (Doct) M.G. (Doct) M.G. (DR) R.D. (Ing) C.M. (Prof) M.R. (DR) F.F. (ATER) E.S. (Prof) E.V. (MCF) D.S. (DEA) Géophysique Chimie Physique Informatique P.D.(MCF) Réseau 1

6 Les tâches du projet Équipe informatique Installation de la grille test Mesures de performances Bibliographie Algorithme d'ordonnancement Transformation de programmes Partenaires Développement des codes scientifiques Parallélisation 1

7 Une grille réelle Choix logiciel : Globus ANL, NSCA, NASA, Chigago U., HPCL, Illinois U. Logiciel le plus répandu Sources disponibles Choix matériel : Grille test + DataGrid Ressources de calcul hétérogènes Liaisons réseaux hétérogènes 1

8 Notre grille test Strasbourg-Illkirch PC 933 (1), PC 350 (1), PC 800 (2), PC 1800 (1) SGI Origin 2k (52) Strasbourg-Esplanade PC 1000 (2), PC 700 (1) Sun-Ultra (4) Montpellier-CINES SGI Origin 3200 (512) 1

9 Réseau Osiris Réseau métropolitain couvrant la quasi-totalité de la communauté « enseignement-supérieur et recherche » strasbourgeoise 15 établissements Environ 100 bâtiments, 15 000 machines Infrastructure en fibre optique privative Exploitation : Centre Réseau Communication (CRC) 1

10 Infrastructure optique 26 km de fourreaux 622 Mb/s inter-campus 155 Mb/s inter-bâtiments

11 Projet Osiris 2 Passage aux très hauts débits –10 Gb/s inter-campus –1 Gb/s inter-bâtiments Étape préparatoire : maquette –Objectif : préparer le cahier des charges –Lien Gb/s entre ICPS et IRMA 1

12 Résultats attendus Quantifier leffet des très hauts débits sur les performances de calcul Définir les besoins spécifiques « grille » Intégrer ces besoins spécifiques dans le cahier des charges Osiris 2 1

13 Physique des Plasmas Modéliser la focalisation d'un faisceau de particules dans un tokamak Simuler un plasma fusionnel 1

14 Physique des plasmas Le plasma ou faisceau représenté par une fonction de distribution f(t,x,v) (x et v en 3D) Utilisation d'une grille de l'espace des phases (6 dimensions) : 64 6 points de discrétisation Étude dans le plan transverse 4D : utilise plus de 128 4 points Objectif : décrire avec précision l'évolution du plasma sur des temps longs (plusieurs milliers d'itérations) Volumétrie : 64 4 points, 2D : 300 Mo de données, 1h/8 procs 64 6 points, 3D : 500 Go de données 1

15 Géophysique Modèle de Terre réaliste par tomographie sismique tracé de 5 millions de rais sismiques dans un maillage de Terre de plusieurs millions de cellules Les cellules portent plus ou moins d'information selon le nombre de rais les ayant traversées 1

16 Géophysique Les informations du maillage permettent de construire un système d'équations, pour la résolution d'un modèle de vitesse. L'adaptation du maillage permet de diminuer le nombre d'inconnues du système. 1

17 Chimie Quantique Simulation d'interactions moléculaires Méthodes : Chimie Quantique Monte-Carlo Méthodes spécifiques Propriétés étudiées : Électriques (moments multipolaires, polarisabilité) Interactions intermoléculaires (énergie, surfaces..) Types d'interactions : Effets de solvant Agrégats, molécules de van der Waals 1

18 Chimie Quantique Simulation d'interactions moléculaires Applications : Atmosphère Astrophysique Réactivité organométallique 1

19 Objectifs du projet Théorique Élaborer un modèle de performances adapté Étudier les transformations des communications Construire un système d'ordonnancement adapté Pratique Paralléliser les applications scientifiques Fournir un outil orienté utilisateur Exécuter des simulations ambitieuses 1

20 Que veut l'utilisateur ? Pouvoir exécuter une application qu'il ne peut faire tourner sur une de ses machines (RAM, durée) Ne pas chercher lui-même les ressources à utiliser Spécifier ses contraintes simplement (ex : « Il me faut au moins 10 Go de RAM ») Le temps d'exécution ne doit pas devenir « rédhibitoire » 1

21 Réponses aux besoins Un outil de sélection des ressources : l'ordonnanceur Un outil de transformation du code utilise l'annuaire de la grille utilise les traces de l'application utilise un modèle de performance sélectionne un ensemble de ressources adapte de la distribution des données (court terme) transforme les schémas de communications (long terme) 1

22 Mécanisme d'exécution P.c MPI_Scatter(...) P '.c log_scatter(...) T2 analyse.log mpirun -np param_size P ' mpicc T1 P ''.c MPI_ScatterV(...) param_scatter Ordonnanceur Grid_state mpirun P '' mpicc 1

23 Hypothèses Les débits réseaux et charges CPU sont connus au début de l'exécution (annuaire Globus, NWS) Les débits réseaux et charges CPU sont constants durant l'exécution (réaliste pour exécution courte, court terme) L'intervalle de temps entre ordonnancement et exécution doit être réduit pour garder le bénéfice de la distribution. 1

24 Calendrier prévisionnel 2001 (Sept-Dec) : installation grille 2002 (Jan-Avr) : rapport parallélisation/exécution des codes de physique et géophysique tests d'équilibrage des communications mesures de performances 2002 (Mai-Juillet) : rapport intégration DataGrid algorithme d'ordonnancement 2002 (Sept-Dec) : logiciel d'ordonnancement 2003 (Jan-Mars) : logiciel d'adaptation des communications 1

25 Conclusions Difficultés techniques Liées à Globus Liées à l'orientation utilisateur du projet Importance du cadre de travail Collaboration avec utilisateurs Travail sur une grille réelle Originalité de l'approche transformation de code