CIRA Calcul Intensif en Rhône Alpes lundi 23 juin h-16h30 MJK – Grenoble

Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 15h45 Exposés scientifiques (LHC, Mécanique de fluides, Nanosciences) ● 15h45-16h30 discussion et conclusions

CIRA Equipements régionaux pour le Calcul Intensif en Rhône-Alpes Grenoble Universités, Pôle Universitaire de Lyon, Université de Savoie MJK, Juin 2008

Objectifs Développer une communauté experte en modélisation et calcul intensif pour résoudre de grands défis scientifiques/technologiques –modélisation des composants micro/nano électroniques –la description multiéchelle du comportement mécanique des matériaux nanostructurés –simulation en sciences de la Planète et de l'Univers –simulation et de l’analyse des données issues du LHC –modélisation en chimie, en particulier des biomolécules –mise en œuvre efficace et conviviale de véritables grilles de calcul Favoriser les échanges et projets pluri-disciplinaires Développer des partenariats avec des industries locales pour des travaux de simulation Offrir des moyens « intermédiaires » de calcul intensif, tremplins vers les centres de calcul nationaux Construire une grille régionale de calcul Former aux techniques de simulation et du calcul intensif, inciter à “penser PetaFlops”.

Partenariat Pôle Universitaire de Lyon, Grenoble Universités, Université de Savoie Etablissements –CIMENT (Calcul Intensif, Modélisation, Expérimentation Numériques et Technologiques), Grenoble Universités (PPF)‏ –la FLCHP (Fédération Lyonnaise de Calcul Haute Performance) du Pôle Universitaire de Lyon (SFR)‏ –le projet MUSCA (Mutualisation du Stockage et du Calcul) de l’Université de Savoie. (SFR + PPF)‏ UCBL INRIAUPMF INSA LyonUJF ENS-LyonINRIA Université de SavoieEC-LyonINPG CNRS SavoieLyonGrenoble

« Fédération Lyonnaise de Calcul Haute Performance »

Composition de la Fédération 3 sites de type méso-centres informatiques:  Pôle Scientifique de Modélisation Numérique PSMN (site de Gerland: ENS-Lyon)‏  Pôle de Compétence en Calcul Haute Performance Dédié P2CHPD (site la Doua: UCB-Lyon)‏  Pôle de Modélisation et de Calcul en Sciences de l'Ingénieur et de l'Information PMCS2I (site Ecully: ECL)‏ des équipes associées (LIP ENS-Lyon)‏  Lien avec le projet CIMENT (Grenoble)‏ Fédération Lyonnaise de Calcul Haute Performance

Les Partenaires de la Fédération Région Rhône-Alpes Ministère de la recherche:  « Structure Fédérative de Recherche » Les établissements lyonnais: UCB-Lyon, ENS-Lyon, ECL, INSA-Lyon Les laboratoires de recherche (CNRS) ~20  Domaines: sciences physique, chimie, SPI, mathématique, biologie  ~150 chercheurs Fédération Lyonnaise de Calcul Haute Performance

Pôle Simulation et Modélisation resp. Emmanuel Lévêque CNRS resp. tech. Hervé Gilquin I.R. Fédération Lyonnaise de Calcul Haute Performance –76 noeuds de calcul : ~220 cœurs (AMD-Opteron) puissance de calcul ~1000 GFlops –mém. 2 ou 4Gb par coeur –serveur de fichier : 20 To (fin 2007)‏ –réseaux infiniband et gigabit-ethernet –logiciels compilateurs + pges chimie/physique/biologie

Pôle de Compétence en Calcul Haute Performance resp. Marc Buffat Pr. resp. tech. Christophe Pera I.R. Fédération Lyonnaise de Calcul Haute Performance Cluster SUN de 30 serveurs (66 coeurs AMD x-64) réseau infinbande Cluster IBM de 16 noeuds (136 coeurs Intel x-64) réseau infinibande Serveur fichier de 3,6 To (SAS rpm)‏ Serveur de fichiers de 24 To (Sun X4500) Logiciels: compilateurs + pges en SPI (Fluent, Nastran, FEMLAB,..)‏

Pôle de Modélisation de Calcul en sciences de l'Ingenieur et de resp. Fabien Godfert CNRS resp. tech. Pascale Jeandel I.R. Fédération Lyonnaise de Calcul Haute Performance HP AlphaServer 1280 GS - 32 processeurs EV Go mémoire - 4 To disque - Tru64 UNIX, C, C++, F77, F90, NAG 2 HP PROLIANT DL processeurs OPTERON 2,6 GHZ - 8 Go mémoire - Linux SuSE, PGI

Le Mésocentre MUST Actuel 90To272 (600 KSI2K, 2.9 TFlops) StockageNb de coeurs Technologie de cluster Scientific Linux 4 2 Go par coeur Interconnect Gigabit Stockage SAN avec File System haute-performance Déploiement et gestion centralisée

Les applications Physique des particules (LAPP) ~ 75% –Nœud Tier 2 LCG intégré dans la grille EGEE –engagement fort sur la volumétrie et la qualité de service (95% disponibilité, temps d’intervention contraint) Physique théorique, cosmologie (LAPTH) ~ 10% –cosmologie (simulation de modèles) Autres domaines (LMOPS, EDYTEM, LGIT, LAHC, LAMA, SYMME, …) ~ 15% –modélisation des polymères –sciences de la terre, sismologie, hydrologie –physique, médecine, matériaux (GEANT4) –nanotechnologies, supraconductivité –calcul intensif –Mécatronique

Financements Investissements (Depuis 2006): ~ 700 K€ –appel d’offres du ministère –BQR, PPF de l’Université de Savoie –crédits CNRS/IN2P3 du LAPP Fonctionnement : ~ 50 K€ –répartition des coûts de fonctionnement entre les laboratoires au prorata de l’utilisation

Les conditions nécessaires pour réussir un méso-centre de calcul Moyens humains : 4 personnes ETP (3 CNRS et 1 U Savoie) –Support système –Support applicatif Formations utilisateurs Tutorial EGEE, utilisateurs batch, …

CIMENT Calcul Intensif, Modélisation, Expérimentation Numérique et Technologique Laurent Desbat TIMC-IMAG, UJF, Grenoble Universités CIRA juin

CIMENT : des moyens de calcul au service de la science BioIMAGe: BioIMAGe: Biologie Imagerie PHYNUM: Physique Numérique PHYNUM: (2004, SGI) 2*16 Itanium II (2006, SGI) 72 itanium II + 28 xeon 64b SCCI SCCI (2005 et 2006, SUN) 160 opteron Service de Calcul Intensif de l'Observatoire de Grenoble MIRAGEMIRAGE (2004, SGI) 2*16 Itanium II: Meso Informatique Répartie pour des Application en Géophysique et Environnement CECICCECIC(2004, IBM) 2*16 Power V : Centre d'Expérimentation du Calcul Intensif en Chimie GrappePCSGrappePCS (2003, HP) 208 itanium II: Grappes de PCs, recherche en informatique

Au service de projets scientifiques CIMENT structuré sur des pôles scientifiques et leurs projets (pilotage par les chercheurs utilisateurs et les ingénieurs)‏ => un axe fort vers la simulation pour les nano sciences (minatec et minalogic)‏ En liens avec les clusters –« informatique, signal, logiciels embarqués » –« matériaux » –... Renforce les projets des laboratoires et instituts –Molecular universe –Environnement –Chimie,...

Des Hommes, de l'expertise, des formations Un réseau d'ingénieurs dynamiques, spécialistes du calcul intensifs Expertise en développement permanent Formation doctorale –2 modules d’une trentaine d’HeTD –Doctorants + quelques M2 Formation permanente et d’automne –Alternance CNRS et Univ. (Introduction au calcul scientifique).

Bilan : les ingénieurs de CIMENT F.Berthoud (IR CNRS, PhyNum, MedEtPhy), F.Roch (IR CNRS, Obs), Alain Rivet (IR CNRS, CECIC), Laurence Viry (IR UJF CIMENT, CRIP MIRAGE), Nicolas Capit (24 mois de CCD sur CIMENT GRID). Un IR UJF CIMENT 2006 : Bruno Bzeznik système/réseau/grappes/grilles. –=> 2 Ingénieurs CIMENT de compétences très différenciés –=> Projets coordonnés possibles De nouveaux ingénieurs de pôles souhaitant développer leur activité calcul (Philippe Beys, LSP), etc. Un réseau d’ingénieurs bien structuré prêt à une collaboration régionale sur le calcul (grille, formation, partage d’expertise,...).

Bilan d’expertise Expertise sur les marchés d’équipement pour le calcul (CCTP, etc.) => ex. de GRID 5000 Expérimentation transversale : CiGri (continue à être exploitée et administrée par N.Capit). Partenariat ICATIS/UFRIMA/ID-IMAG pour le calcul sur PC d’enseignement couplés à CiGri Partenariat LIG/Bull, thèses cifre, projets communs Partenariat avec la DSI (ex-CICG) pour l’accueil de machines de calcul : une première expérience très réussie. Des séminaires scientifiques

Projets de CIRA Déploiement d’outils grilles multicluster au niveau régional, Administration de cette grille régionale dès 2008 Collaboration régionale avec le CC-IN2P3 sur grilles Liens et collaborations avec des grilles nationales et européennes (EGEE 2, GRID’5000,...). Coordination d’appels d’offre communs dès 2008 Coordination de réponses aux appels d’offre européens Interface avec les clusters de la Région Rhône Alpes (« Calcul Haute Performance » du cluster ISLE « Informatique, Signal, Logiciel Embarqué ». « Macodev » (Matériaux et Conception pour un développement durable), « Transports » et « Energie » « Microélectronique, nanosciences et nanotechnologies » ; Conception, Synthèse et Evaluation de Molécules Bioactives » ; Maîtrise de la durée de vie des matériaux et des structures ; Chimie durable (procédés et environnement) et chimie pour la santé (molécules bio-actives) ; Qualité des plantes, agricultures, acteurs et territoires ; Infectiologie, immunologie, cancérologie ; Handicap, vieillissement, neurosciences.

Financements obtenus ● CPER : 1,37M€ – Lyon : 770k€ Région RA – Grenoble : 300k€ INRIA, 300k€ Région RA ● PPF et SFR – Lyon : SFR et PPF de la FLCHP. 180k€/an (UCB, ENS de L., ECL,INSA + 60k€ cluster matériaux – Grenoble : PPF CIMENT : fonctionnement 20k€/an (UJF, INPG, avec le cluster ISLE) – Savoie : 50k€ de fonctionnement/an (et 700k€ d'équipement depuis 2006) ●.../...

Autres financements ● Politique de co-financement d'opérations – RTRA nanoscience 135k€ pour le projet nanostar (CIMENT dec 2008). Co-fiancement envisagé en 2009 d'une machine avec l'INRIA (300k€ + 300k€) – ANR Observatoire : 125k€ +12k€ de fonctionnement par an (automne 2008) – LGIT+Obs : 120k€ (automne 2008) ●.../...

Budget prévisionnel Investissements ● Lyon – Appel d’offre (Juillet 2008) 360k€ [PSM et P2CHPD] – En 2009, Calculateur à l’ECL (~ 200k€) et (~200k€) P2CHPD et PSMN. ● Grenoble – 3 appels d'offre en cours (380 k€) – En 2009, objectif : une opération CIMENT cofinancé par l'INRIA et le RTRA nanosciences. ● Coordination des appels d'offres ? ● Co-financement régional sur le CPER ?

CIRA Moyens de calcul régionaux au service de la science Structuration en grille régionale –Grille de calcul –Grille d’expertise –Grille de formations –Grille de projets scientifiques (clusters, pôles de compétitivité, institut Carnot, projets européens, etc.)‏ Contribution régionale au socle de la pyramide du calcul intensif

Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 15h45 Exposés scientifiques (LHC, Mécanique de fluides, Nanosciences) ● 15h45-16h30 discussion et conclusions

Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 Nanosciences : 2 exposés ● 14h45 Mécanique de fluides : ● 15h45-16h30 discussion et conclusions

Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 Nanosciences : 2 exposés ● 14h45 Mécanique de fluides : ● 15h45-16h30 discussion et conclusions

Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 15h45 Exposés scientifiques (LHC, Mécanique de fluides, Nanosciences) ● 15h45-16h30 discussion et conclusions

Rhône Alpes Grid ● Rhône Alpes Grid, Rhon'Alp'Grid, RAGrid, est une initiative des projets du CPER CIRA (Calcul Intensif en Rhône-Alpes - regroupant CIMENT, la FLCHP, le projet MUST ) et du CC de l'IN2P3. ● L'Objectif de RAGrid est de constituer une grille régionale de calcul fédérant les principaux mesocentres de calcul intensif de la région Rhône Alpes. ●

Rhône Alpes Grid ● Dans une première phase, différentes technologies de Grilles sont évaluées : ● CiGri, utilisée à Grenoble est déployée sur des machines de la FLCHP ; ● DIET sera prochainement testée entre Lyon et Grenoble ● EGEE sera expérimentée au niveau régional prochainement sur de nouvelles applications issues de la FLCHP et de CIMENT

CiGri – Fusion SPECT/CT par conditions de cohérence des données et simulations Monte Carlo pour l’imagerie SPECT Joe AOUN 1,2, Vincent BRETON 1, Laurent DESBAT 2 LPC 1 L aboratoire de P hysique C orpusculaire de Clermont Ferrand TIMCIM 2 T echniques de l’ I ngénierie M édicale et de la C omplexité – I nformatique, M athématiques AG et A pplications de G renoble

CiGri – Plan de l’exposé 1. La tomographie d’émission monophotonique (SPECT) 2. La plate-forme de simulation : GATE 3. Les Grilles de Calcul (CiGri) 4. Conclusions

CiGri – La tomographie d’émission monophotonique Technique non invasive permettant de localiser la distribution d’une substance radioactive injectée à un patient 1. Injection du radiotraceur dans le patient 2. Détection des photons émis par une gamma caméra3. Reconstruction d’images 4. Distribution 3D du radiotraceur

CiGri – Simulation de l’examen  Émission de photons θ angle de projection Reconstruction  Détection sous différentes incidences angulaires des photons émis formant ainsi des projections 2D Simulation

CiGri – La plate-forme de simulation : GATE Avantages basé sur Geant4 : modèles physiques fiables (Monte Carlo) codé en C++ (flexibilité de l’orienté objet) : plus de 200 classes code ouvert et modifiable (pas de boite noire) Utilisation facile : simulations décrites et contrôlées par macros et scripts GAT Geant4 Application for Tomographic Emission “GATE: a simulation toolkit for PET and SPECT”, S. Jan et al, Phys. Med. Biol., 49 (2004) Inconvénients χ Lenteur d’exécution

CiGri – Temps de calcul  En utilisant une seule tête de détection : environ 1 photon détecté tous les photons émis  Emission de photons → détection ~ 50 photons : 10 minutes CPU (Pentium IV, 3.20 GHz, 1 Go RAM)  Obtention plus d’informations dans les projections → Augmentation du nombre de photons détectés → Augmentation du nombre de photons émis  de photons détectés → photons émis → minutes CPU (Pentium IV, 3.20GHz, 1 Go RAM) ~ 3333 heures ~ 5 mois

CiGri – Identification du problème 1. La collimation : empêche les photons déviés d’atteindre le détecteur 2. Les méthodes de Monte Carlo sont basées sur le tirage de nombres pseudo aléatoires suivant des fonctions de densité de probabilité Simulation d’une durée d’ 1 heure → 6 millions de photons émis → 120 millions de tirages de nombres pseudo aléatoires  Exemple : parcours du photon Air Matériau ρ Parcours α Probabilité Tirage d’un nombre aléatoire Parcours

CiGri – Une solution : les grilles de calcul  Intérêt des grilles de Calcul  Distribution des simulations Monte Carlo (ressources de calcul distribuées)  Stockage massif des données de sortie des simulations

CiGri – Installation de GATE sur CiGri  Logiciels nécessaires pour installer GATE CLHEP  CLHEP (Class Library for High Energy Physics) : générateurs de nombres aléatoires ROOT  ROOT (Object-Oriented Data Analysis Framework) : traitement des données GEANT4  GEANT4 (GEometry ANd Tracking) : standard en physique des hautes énergies GATE  GATE (Geant4 Application for Tomographic Emission) : Code de simulation dédié à l’imagerie scintigraphique

CiGri – Soumission de jobs sur CiGri SSHSSHSSHSSH 1. Macro_i 2. Statut_i Machine Interface Cluster 1 Cluster 3 Cluster 2 Sortie_i

CiGri – Performances des grilles de calcul j3 hCiGri – moyenne estimée j2.5 hCiGri – nuit et weekend j4 hCiGri – jour j (~ 4 ans)167 hMachine locale (Pentium IV, 3.2 GHz, 1 Go RAM) Pourcentage de ressoumission (%)Gain200 simulations1 simulation (1000 jobs)

CiGri – Conclusions Grilles de calcul = un outil indispensable en imagerie nucléaire => permet le déploiement de calcul massif à grande échelle ainsi que des facteurs de gain considérables en temps « ellapsed ». Le travail réalisé en 1 mois n’aurait jamais été achevé lors d’une thèse de 3 ans. => Permet d’obtenir des résultats statistiques plus précis et cela en augmentant le nombre de tests.

Programme ● 10h Accueil ● 10h15 Introduction : présentation de CIRA ● 10h40 Coordination du MESR Michel Kern ● 11h ORAP Marie-Alice Foujols ● 11h25 IDGrilles et mesocentres Dominique Boutigny ● 11h50 Rhône Alpes Grid B. Bzeznik et LD ● 12h15-13h30 repas ● 13h45 15h45 Exposés scientifiques (LHC, Mécanique de fluides, Nanosciences) ● 15h45-16h30 discussion et conclusions

13h45-15h45 Exposés scientifiques CIRA – Expériences LHC du CERN: de l'acquisition de données à l'analyse. Stéphane Jezequel ● Hydrodynamique numérique – Parrallel computation of pollutant dispersion in industrial sites. Julien Montagnier – Simulations d'écoulements compressibles en canal. Fabien Godeferd ● Nanosciences – Le projet nanostar (RTRA-ETS): au carrefour de la physique et des nanosciences. Valerio Olevano – Design des nanomateriaux par une approche multiechelle. Noel Jaske

13h45-15h45 Exposés scientifiques CIRA – Expériences LHC du CERN: de l'acquisition de données à l'analyse. Stéphane Jezequel ● Hydrodynamique numérique – Parrallel computation of pollutant dispersion in industrial sites. Julien Montagnier – Simulations d'écoulements compressibles en canal. Fabien Godeferd ● Nanosciences – Le projet nanostar (RTRA-ETS): au carrefour de la physique et des nanosciences. Valerio Olevano – Design des nanomateriaux par une approche multiechelle. Noel Jaske

13h45-15h45 Exposés scientifiques CIRA – Expériences LHC du CERN: de l'acquisition de données à l'analyse. Stéphane Jezequel ● Hydrodynamique numérique – Parrallel computation of pollutant dispersion in industrial sites. Julien Montagnier – Simulations d'écoulements compressibles en canal. Fabien Godeferd ● Nanosciences – Le projet nanostar (RTRA-ETS): au carrefour de la physique et des nanosciences. Valerio Olevano – Design des nanomateriaux par une approche multiechelle. Noel Jaske

13h45-15h45 Exposés scientifiques CIRA – Expériences LHC du CERN: de l'acquisition de données à l'analyse. Stéphane Jezequel ● Hydrodynamique numérique – Parrallel computation of pollutant dispersion in industrial sites. Julien Montagnier – Simulations d'écoulements compressibles en canal. Fabien Godeferd ● Nanosciences – Le projet nanostar (RTRA-ETS): au carrefour de la physique et des nanosciences. Valerio Olevano – Design des nanomateriaux par une approche multiechelle. Noel Jaske

13h45-15h45 Exposés scientifiques CIRA – Expériences LHC du CERN: de l'acquisition de données à l'analyse. Stéphane Jezequel ● Hydrodynamique numérique – Parrallel computation of pollutant dispersion in industrial sites. Julien Montagnier – Simulations d'écoulements compressibles en canal. Fabien Godeferd ● Nanosciences – Le projet nanostar (RTRA-ETS): au carrefour de la physique et des nanosciences. Valerio Olevano – Design des nanomateriaux par une approche multiechelle. Noel Jaske