CIRA Calcul Intensif en Rhône Alpes lundi 23 juin 2008 10h-16h30 MJK – Grenoble.

Présentation au sujet: "CIRA Calcul Intensif en Rhône Alpes lundi 23 juin 2008 10h-16h30 MJK – Grenoble."— Transcription de la présentation:

1 CIRA Calcul Intensif en Rhône Alpes lundi 23 juin 2008 10h-16h30 MJK – Grenoble

2 Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 15h45 Exposés scientifiques (LHC, Mécanique de fluides, Nanosciences) ● 15h45-16h30 discussion et conclusions

3 CIRA Equipements régionaux pour le Calcul Intensif en Rhône-Alpes Grenoble Universités, Pôle Universitaire de Lyon, Université de Savoie MJK, Juin 2008

4 Objectifs Développer une communauté experte en modélisation et calcul intensif pour résoudre de grands défis scientifiques/technologiques –modélisation des composants micro/nano électroniques –la description multiéchelle du comportement mécanique des matériaux nanostructurés –simulation en sciences de la Planète et de l'Univers –simulation et de l’analyse des données issues du LHC –modélisation en chimie, en particulier des biomolécules –mise en œuvre efficace et conviviale de véritables grilles de calcul Favoriser les échanges et projets pluri-disciplinaires Développer des partenariats avec des industries locales pour des travaux de simulation Offrir des moyens « intermédiaires » de calcul intensif, tremplins vers les centres de calcul nationaux Construire une grille régionale de calcul Former aux techniques de simulation et du calcul intensif, inciter à “penser PetaFlops”.

5 Partenariat Pôle Universitaire de Lyon, Grenoble Universités, Université de Savoie Etablissements –CIMENT (Calcul Intensif, Modélisation, Expérimentation Numériques et Technologiques), Grenoble Universités (PPF)‏ –la FLCHP (Fédération Lyonnaise de Calcul Haute Performance) du Pôle Universitaire de Lyon (SFR)‏ –le projet MUSCA (Mutualisation du Stockage et du Calcul) de l’Université de Savoie. (SFR + PPF)‏ UCBL INRIAUPMF INSA LyonUJF ENS-LyonINRIA Université de SavoieEC-LyonINPG CNRS SavoieLyonGrenoble

6 « Fédération Lyonnaise de Calcul Haute Performance »

7 Composition de la Fédération 3 sites de type méso-centres informatiques:  Pôle Scientifique de Modélisation Numérique PSMN (site de Gerland: ENS-Lyon)‏  Pôle de Compétence en Calcul Haute Performance Dédié P2CHPD (site la Doua: UCB-Lyon)‏  Pôle de Modélisation et de Calcul en Sciences de l'Ingénieur et de l'Information PMCS2I (site Ecully: ECL)‏ des équipes associées (LIP ENS-Lyon)‏  Lien avec le projet CIMENT (Grenoble)‏ Fédération Lyonnaise de Calcul Haute Performance

8 Les Partenaires de la Fédération Région Rhône-Alpes Ministère de la recherche:  « Structure Fédérative de Recherche » Les établissements lyonnais: UCB-Lyon, ENS-Lyon, ECL, INSA-Lyon Les laboratoires de recherche (CNRS) ~20  Domaines: sciences physique, chimie, SPI, mathématique, biologie  ~150 chercheurs Fédération Lyonnaise de Calcul Haute Performance

9 Pôle Simulation et Modélisation Numérique@Ens-Lyon resp. Emmanuel Lévêque CNRS resp. tech. Hervé Gilquin I.R. Fédération Lyonnaise de Calcul Haute Performance –76 noeuds de calcul : ~220 cœurs (AMD-Opteron) puissance de calcul ~1000 GFlops –mém. 2 ou 4Gb par coeur –serveur de fichier : 20 To (fin 2007)‏ –réseaux infiniband et gigabit-ethernet –logiciels compilateurs + pges chimie/physique/biologie http://www.psmn.ens-lyon.fr/.

10 Pôle de Compétence en Calcul Haute Performance Dédié @Univ-Lyon1 resp. Marc Buffat Pr. resp. tech. Christophe Pera I.R. Fédération Lyonnaise de Calcul Haute Performance Cluster SUN de 30 serveurs (66 coeurs AMD x-64) réseau infinbande Cluster IBM de 16 noeuds (136 coeurs Intel x-64) réseau infinibande Serveur fichier de 3,6 To (SAS 15000 rpm)‏ Serveur de fichiers de 24 To (Sun X4500) Logiciels: compilateurs + pges en SPI (Fluent, Nastran, FEMLAB,..)‏ http://www.p2chpd.univ-lyon1.fr

11 Pôle de Modélisation de Calcul en sciences de l'Ingenieur et de l'Information @Ec-Lyon resp. Fabien Godfert CNRS resp. tech. Pascale Jeandel I.R. Fédération Lyonnaise de Calcul Haute Performance HP AlphaServer 1280 GS - 32 processeurs EV7 - 52 Go mémoire - 4 To disque - Tru64 UNIX, C, C++, F77, F90, NAG 2 HP PROLIANT DL 585 - 4 processeurs OPTERON 2,6 GHZ - 8 Go mémoire - Linux SuSE, PGI

12 Le Mésocentre MUST Actuel 90To272 (600 KSI2K, 2.9 TFlops) StockageNb de coeurs Technologie de cluster Scientific Linux 4 2 Go par coeur Interconnect Gigabit Stockage SAN avec File System haute-performance Déploiement et gestion centralisée

13 Les applications Physique des particules (LAPP) ~ 75% –Nœud Tier 2 LCG intégré dans la grille EGEE –engagement fort sur la volumétrie et la qualité de service (95% disponibilité, temps d’intervention contraint) Physique théorique, cosmologie (LAPTH) ~ 10% –cosmologie (simulation de modèles) Autres domaines (LMOPS, EDYTEM, LGIT, LAHC, LAMA, SYMME, …) ~ 15% –modélisation des polymères –sciences de la terre, sismologie, hydrologie –physique, médecine, matériaux (GEANT4) –nanotechnologies, supraconductivité –calcul intensif –Mécatronique

14 Financements Investissements (Depuis 2006): ~ 700 K€ –appel d’offres du ministère –BQR, PPF de l’Université de Savoie –crédits CNRS/IN2P3 du LAPP Fonctionnement : ~ 50 K€ –répartition des coûts de fonctionnement entre les laboratoires au prorata de l’utilisation

15 Les conditions nécessaires pour réussir un méso-centre de calcul Moyens humains : 4 personnes ETP (3 CNRS et 1 U Savoie) –Support système –Support applicatif Formations utilisateurs Tutorial EGEE, utilisateurs batch, …

16 CIMENT Calcul Intensif, Modélisation, Expérimentation Numérique et Technologique Laurent Desbat TIMC-IMAG, UJF, Grenoble Universités CIRA juin 2008 http://ciment.ujf-grenoble.fr http://cigri.imag.fr https://ragrid.imag.fr/

17 CIMENT : des moyens de calcul au service de la science BioIMAGe: BioIMAGe: Biologie Imagerie PHYNUM: Physique Numérique PHYNUM: (2004, SGI) 2*16 Itanium II (2006, SGI) 72 itanium II + 28 xeon 64b SCCI SCCI (2005 et 2006, SUN) 160 opteron Service de Calcul Intensif de l'Observatoire de Grenoble MIRAGEMIRAGE (2004, SGI) 2*16 Itanium II: Meso Informatique Répartie pour des Application en Géophysique et Environnement CECICCECIC(2004, IBM) 2*16 Power V : Centre d'Expérimentation du Calcul Intensif en Chimie GrappePCSGrappePCS (2003, HP) 208 itanium II: Grappes de PCs, recherche en informatique

18 Au service de projets scientifiques CIMENT structuré sur des pôles scientifiques et leurs projets (pilotage par les chercheurs utilisateurs et les ingénieurs)‏ => un axe fort vers la simulation pour les nano sciences (minatec et minalogic)‏ En liens avec les clusters –« informatique, signal, logiciels embarqués » –« matériaux » –... Renforce les projets des laboratoires et instituts –Molecular universe –Environnement –Chimie,...

19 Des Hommes, de l'expertise, des formations Un réseau d'ingénieurs dynamiques, spécialistes du calcul intensifs Expertise en développement permanent Formation doctorale –2 modules d’une trentaine d’HeTD –Doctorants + quelques M2 Formation permanente et d’automne –Alternance CNRS et Univ. (Introduction au calcul scientifique).

20 Bilan : les ingénieurs de CIMENT F.Berthoud (IR CNRS, PhyNum, MedEtPhy), F.Roch (IR CNRS, Obs), Alain Rivet (IR CNRS, CECIC), Laurence Viry (IR UJF CIMENT, CRIP MIRAGE), Nicolas Capit (24 mois de CCD sur CIMENT GRID). Un IR UJF CIMENT 2006 : Bruno Bzeznik système/réseau/grappes/grilles. –=> 2 Ingénieurs CIMENT de compétences très différenciés –=> Projets coordonnés possibles De nouveaux ingénieurs de pôles souhaitant développer leur activité calcul (Philippe Beys, LSP), etc. Un réseau d’ingénieurs bien structuré prêt à une collaboration régionale sur le calcul (grille, formation, partage d’expertise,...).

21 Bilan d’expertise Expertise sur les marchés d’équipement pour le calcul (CCTP, etc.) => ex. de GRID 5000 Expérimentation transversale : CiGri (continue à être exploitée et administrée par N.Capit). Partenariat ICATIS/UFRIMA/ID-IMAG pour le calcul sur PC d’enseignement couplés à CiGri Partenariat LIG/Bull, thèses cifre, projets communs Partenariat avec la DSI (ex-CICG) pour l’accueil de machines de calcul : une première expérience très réussie. Des séminaires scientifiques

22 Projets de CIRA Déploiement d’outils grilles multicluster au niveau régional, Administration de cette grille régionale dès 2008 Collaboration régionale avec le CC-IN2P3 sur grilles Liens et collaborations avec des grilles nationales et européennes (EGEE 2, GRID’5000,...). Coordination d’appels d’offre communs dès 2008 Coordination de réponses aux appels d’offre européens Interface avec les clusters de la Région Rhône Alpes (« Calcul Haute Performance » du cluster ISLE « Informatique, Signal, Logiciel Embarqué ». « Macodev » (Matériaux et Conception pour un développement durable), « Transports » et « Energie » « Microélectronique, nanosciences et nanotechnologies » ; Conception, Synthèse et Evaluation de Molécules Bioactives » ; Maîtrise de la durée de vie des matériaux et des structures ; Chimie durable (procédés et environnement) et chimie pour la santé (molécules bio-actives) ; Qualité des plantes, agricultures, acteurs et territoires ; Infectiologie, immunologie, cancérologie ; Handicap, vieillissement, neurosciences.

23 Financements obtenus ● CPER : 1,37M€ – Lyon : 770k€ Région RA – Grenoble : 300k€ INRIA, 300k€ Région RA ● PPF et SFR – Lyon : SFR et PPF de la FLCHP. 180k€/an (UCB, ENS de L., ECL,INSA + 60k€ cluster matériaux – Grenoble : PPF CIMENT : fonctionnement 20k€/an (UJF, INPG, avec le cluster ISLE) – Savoie : 50k€ de fonctionnement/an (et 700k€ d'équipement depuis 2006) ●.../...

24 Autres financements ● Politique de co-financement d'opérations – RTRA nanoscience 135k€ pour le projet nanostar (CIMENT dec 2008). Co-fiancement envisagé en 2009 d'une machine avec l'INRIA (300k€ + 300k€) – ANR Observatoire : 125k€ +12k€ de fonctionnement par an (automne 2008) – LGIT+Obs : 120k€ (automne 2008) ●.../...

25 Budget prévisionnel Investissements ● Lyon – Appel d’offre (Juillet 2008) 360k€ [PSM et P2CHPD] – En 2009, Calculateur à l’ECL (~ 200k€) et (~200k€) P2CHPD et PSMN. ● Grenoble – 3 appels d'offre en cours (380 k€) – En 2009, objectif : une opération CIMENT cofinancé par l'INRIA et le RTRA nanosciences. ● Coordination des appels d'offres ? ● Co-financement régional sur le CPER ?

26 CIRA Moyens de calcul régionaux au service de la science Structuration en grille régionale –Grille de calcul –Grille d’expertise –Grille de formations –Grille de projets scientifiques (clusters, pôles de compétitivité, institut Carnot, projets européens, etc.)‏ Contribution régionale au socle de la pyramide du calcul intensif

27 Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 15h45 Exposés scientifiques (LHC, Mécanique de fluides, Nanosciences) ● 15h45-16h30 discussion et conclusions

28 Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 Nanosciences : 2 exposés ● 14h45 Mécanique de fluides : ● 15h45-16h30 discussion et conclusions

29 Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 Nanosciences : 2 exposés ● 14h45 Mécanique de fluides : ● 15h45-16h30 discussion et conclusions

30 Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 15h45 Exposés scientifiques (LHC, Mécanique de fluides, Nanosciences) ● 15h45-16h30 discussion et conclusions

31 Rhône Alpes Grid ● Rhône Alpes Grid, Rhon'Alp'Grid, RAGrid, est une initiative des projets du CPER CIRA (Calcul Intensif en Rhône-Alpes - regroupant CIMENT, la FLCHP, le projet MUST ) et du CC de l'IN2P3. ● L'Objectif de RAGrid est de constituer une grille régionale de calcul fédérant les principaux mesocentres de calcul intensif de la région Rhône Alpes. ● https://ragrid.imag.fr/ https://ragrid.imag.fr/

32 Rhône Alpes Grid ● Dans une première phase, différentes technologies de Grilles sont évaluées : ● CiGri, utilisée à Grenoble est déployée sur des machines de la FLCHP ; ● DIET sera prochainement testée entre Lyon et Grenoble ● EGEE sera expérimentée au niveau régional prochainement sur de nouvelles applications issues de la FLCHP et de CIMENT

33 CiGri – 10.06.2008 Fusion SPECT/CT par conditions de cohérence des données et simulations Monte Carlo pour l’imagerie SPECT Joe AOUN 1,2, Vincent BRETON 1, Laurent DESBAT 2 LPC 1 L aboratoire de P hysique C orpusculaire de Clermont Ferrand TIMCIM 2 T echniques de l’ I ngénierie M édicale et de la C omplexité – I nformatique, M athématiques AG et A pplications de G renoble

34 CiGri – 10.06.2008 Plan de l’exposé 1. La tomographie d’émission monophotonique (SPECT) 2. La plate-forme de simulation : GATE 3. Les Grilles de Calcul (CiGri) 4. Conclusions

35 CiGri – 10.06.2008 La tomographie d’émission monophotonique Technique non invasive permettant de localiser la distribution d’une substance radioactive injectée à un patient 1. Injection du radiotraceur dans le patient 2. Détection des photons émis par une gamma caméra3. Reconstruction d’images 4. Distribution 3D du radiotraceur

36 CiGri – 10.06.2008 Simulation de l’examen  Émission de photons θ angle de projection Reconstruction  Détection sous différentes incidences angulaires des photons émis formant ainsi des projections 2D Simulation

37 CiGri – 10.06.2008 La plate-forme de simulation : GATE Avantages basé sur Geant4 : modèles physiques fiables (Monte Carlo) codé en C++ (flexibilité de l’orienté objet) : plus de 200 classes code ouvert et modifiable (pas de boite noire) Utilisation facile : simulations décrites et contrôlées par macros et scripts GAT Geant4 Application for Tomographic Emission “GATE: a simulation toolkit for PET and SPECT”, S. Jan et al, Phys. Med. Biol., 49 (2004) 4543-4561. Inconvénients χ Lenteur d’exécution

38 CiGri – 10.06.2008 Temps de calcul  En utilisant une seule tête de détection : environ 1 photon détecté tous les 20 000 photons émis  Emission de 1 000 000 photons → détection ~ 50 photons : 10 minutes CPU (Pentium IV, 3.20 GHz, 1 Go RAM)  Obtention plus d’informations dans les projections → Augmentation du nombre de photons détectés → Augmentation du nombre de photons émis  1 000 000 de photons détectés → 20 000 000 000 photons émis → 200 000 minutes CPU (Pentium IV, 3.20GHz, 1 Go RAM) ~ 3333 heures ~ 5 mois

39 CiGri – 10.06.2008 Identification du problème 1. La collimation : empêche les photons déviés d’atteindre le détecteur 2. Les méthodes de Monte Carlo sont basées sur le tirage de nombres pseudo aléatoires suivant des fonctions de densité de probabilité Simulation d’une durée d’ 1 heure → 6 millions de photons émis → 120 millions de tirages de nombres pseudo aléatoires  Exemple : parcours du photon Air Matériau ρ Parcours α Probabilité Tirage d’un nombre aléatoire Parcours

40 CiGri – 10.06.2008 Une solution : les grilles de calcul  Intérêt des grilles de Calcul  Distribution des simulations Monte Carlo (ressources de calcul distribuées)  Stockage massif des données de sortie des simulations

41 CiGri – 10.06.2008 Installation de GATE sur CiGri  Logiciels nécessaires pour installer GATE CLHEP  CLHEP (Class Library for High Energy Physics) : générateurs de nombres aléatoires ROOT  ROOT (Object-Oriented Data Analysis Framework) : traitement des données GEANT4  GEANT4 (GEometry ANd Tracking) : standard en physique des hautes énergies GATE  GATE (Geant4 Application for Tomographic Emission) : Code de simulation dédié à l’imagerie scintigraphique

42 CiGri – 10.06.2008 Soumission de jobs sur CiGri SSHSSHSSHSSH 1. Macro_i 2. Statut_i Machine Interface Cluster 1 Cluster 3 Cluster 2 Sortie_i

43 CiGri – 10.06.2008 Performances des grilles de calcul 13.4 56 25 j3 hCiGri – moyenne estimée 10.2 67 21 j2.5 hCiGri – nuit et weekend 16.9 42 37 j4 hCiGri – jour 0 1 1392 j (~ 4 ans)167 hMachine locale (Pentium IV, 3.2 GHz, 1 Go RAM) Pourcentage de ressoumission (%)Gain200 simulations1 simulation (1000 jobs)

44 CiGri – 10.06.2008 Conclusions Grilles de calcul = un outil indispensable en imagerie nucléaire => permet le déploiement de calcul massif à grande échelle ainsi que des facteurs de gain considérables en temps « ellapsed ». Le travail réalisé en 1 mois n’aurait jamais été achevé lors d’une thèse de 3 ans. => Permet d’obtenir des résultats statistiques plus précis et cela en augmentant le nombre de tests.

45 Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 15h45 Exposés scientifiques (LHC, Mécanique de fluides, Nanosciences) ● 15h45-16h30 discussion et conclusions

46 13h45-15h45 Exposés scientifiques CIRA – Expériences LHC du CERN: de l'acquisition de données à l'analyse. Stéphane Jezequel ● Hydrodynamique numérique – Parrallel computation of pollutant dispersion in industrial sites. Julien Montagnier – Simulations d'écoulements compressibles en canal. Fabien Godeferd ● Nanosciences – Le projet nanostar (RTRA-ETS): au carrefour de la physique et des nanosciences. Valerio Olevano – Design des nanomateriaux par une approche multiechelle. Noel Jaske

47 13h45-15h45 Exposés scientifiques CIRA – Expériences LHC du CERN: de l'acquisition de données à l'analyse. Stéphane Jezequel ● Hydrodynamique numérique – Parrallel computation of pollutant dispersion in industrial sites. Julien Montagnier – Simulations d'écoulements compressibles en canal. Fabien Godeferd ● Nanosciences – Le projet nanostar (RTRA-ETS): au carrefour de la physique et des nanosciences. Valerio Olevano – Design des nanomateriaux par une approche multiechelle. Noel Jaske

48 13h45-15h45 Exposés scientifiques CIRA – Expériences LHC du CERN: de l'acquisition de données à l'analyse. Stéphane Jezequel ● Hydrodynamique numérique – Parrallel computation of pollutant dispersion in industrial sites. Julien Montagnier – Simulations d'écoulements compressibles en canal. Fabien Godeferd ● Nanosciences – Le projet nanostar (RTRA-ETS): au carrefour de la physique et des nanosciences. Valerio Olevano – Design des nanomateriaux par une approche multiechelle. Noel Jaske

49 13h45-15h45 Exposés scientifiques CIRA – Expériences LHC du CERN: de l'acquisition de données à l'analyse. Stéphane Jezequel ● Hydrodynamique numérique – Parrallel computation of pollutant dispersion in industrial sites. Julien Montagnier – Simulations d'écoulements compressibles en canal. Fabien Godeferd ● Nanosciences – Le projet nanostar (RTRA-ETS): au carrefour de la physique et des nanosciences. Valerio Olevano – Design des nanomateriaux par une approche multiechelle. Noel Jaske

50 13h45-15h45 Exposés scientifiques CIRA – Expériences LHC du CERN: de l'acquisition de données à l'analyse. Stéphane Jezequel ● Hydrodynamique numérique – Parrallel computation of pollutant dispersion in industrial sites. Julien Montagnier – Simulations d'écoulements compressibles en canal. Fabien Godeferd ● Nanosciences – Le projet nanostar (RTRA-ETS): au carrefour de la physique et des nanosciences. Valerio Olevano – Design des nanomateriaux par une approche multiechelle. Noel Jaske