Méso-informatique et calcul distribué à haute performance Projet du CPER CIMENT Calcul Intensif Modélisation Expérimentation Numérique et Technologique 09/01/ DRRT, Région Rhône-Alpes Laurent Desbat, Université Joseph Fourier, Grenoble

Plan CIMENT : Projet mésoinformatique pour le calcul Actions Tranversales –Coordination –Collaborations scientifiques et techniques –Formations Bilan scientifique des différents projets Perspectives

Contexte général calcul à Grenoble Utilisation des centres de calculs nationaux –IDRIS, CINES Partenariats régionaux –Avec le CEA : financement (Région - CEA) 7MF Développement de projets « calcul » mésoscopiques au sein des universités de Grenoble

Équipement pour le calcul du projet CIMENT Projets –Observatoire, MIRAGE, Grappe de PC, Chimie calculatoire (CECIC), BioIMAGe, PhyNum –Formation transversale au niveau des écoles doctorales Financement –Appel à projet national de Guy René Perrin, Nov 98 (2MF) + COMI CNRS –CPER 2000/2006 : 15MF MENRT, INRIA, Région, Métro,Ville de Grenoble –Compléments CNRS, IMAG, INPG, INRIA, etc.

Financement dans le cadre du CPER (en MF) MENRT,INRIA, Région, Métro,Ville de Grenoble + co-financement CNRS/projet et soutien en terme de poste d’ingénieur

Financement dans le cadre du CPER (en Euros) MENRT,INRIA, Région, Métro,Ville de Grenoble + co-financement CNRS/projet et soutien en terme de poste d’ingénieur

Plan CIMENT : Projet mésoinformatique pour le calcul Actions Tranversales –Coordination –Collaborations scientifiques et techniques –Formations Bilan scientifique des différents projets Perspectives

Coordination du projet Comité de pilotage du projet : définit les grandes orientations Conseil Scientifique annuel Mise en place d’un séminaire trimestriel (2000) Structuration des projets par regroupements de projets : –“ Couplage modélisation hydrologique et météorologique ” inclus dans MIRAGE. –Génétique, bio-informatique et imagerie médicale (BIoIMAGe). –Création du CECIC : Centre d ’Expérimentation du Calcul Intensif en Chimie. –Le projet PhyNum pourrait s’associer au SCCIOG. + Participation à la journée CINES-IDRIS de l’automne 1999 et 2000, CEA (Visualisation, journées Petaflops) Recrutement d’un Ingénieur de Recherche UJF pour le projet MIRAGE : Laurence Viry + AFIP CNRS pour un AI (TIMC- BioIMAGe) + Profil d’IE (administration de cluster) Accès prioritaire aux réseaux rapides au niveau du campus

CIMENT Campus Cœur Giga/Eth100 (Evolution Q1-2002) Bâtiment OBS Bâtiment IRIGM Mirage Mécanique Mirage LMC Mirage Biologie Sortie Campus Imag Secu-UJF Ethernet 100 Ethernet 1000 Memory Channel Ethernet 1000 (projet) Ferme Osug LPG Pôle Santé Centre de Ressources Informatiques de Proximité - UJF

Le réseau métropolitain Grenoblois MetroNet phase 1 -> Q4-2000/Q Vers Lyon Paris (NIO2 RENATER) NRD 622 Mb vers Lyon, Puis 2,5Gb vers Paris Plaque métro 60 Mb Campus 100 Mb Inria 100 Mb Viallet 100 Mb CEA 100 Mb CNRS Technologie IP / Ethernet 100 commuté Technologie IP / ATM Centre de Ressources Informatiques de Proximité - UJF

Le réseau métropolitain Grenoblois MetroNet phase 2 à compter de Q Vers Lyon, Paris NRD 622 Mb Plaque métro 100 Mb Campus 1000 Mb Inria 1000 Mb Viallet 1000 Mb CNRS 1000 Mb CEA Technologie IP / Ethernet 1000 commuté Centre de Ressources Informatiques de Proximité - UJF

Collaborations Scientifiques Thèses –Parallélisation d'un code de calcul en océanographie, Thèse de Grégory Mounié (2000) co-encadrée par Eric Blayo (LMC [MIRAGE]) et Denis Trystram (ID grappe de PC) –Algorithmes d'ordonnancements optimaux en temps et en mémoire : Etude de cas sur des problèmes en mécanique quantique. Thèse de N. Maillard (Nov. 2001), co-encadrée par P. Valiron (LAOG) et J-L. Roch (ID). –une thèse co-encadrée depuis 2 ans par le LGIT et le LPM2C : Renaud Hennino (Phynum - Obs) Collaborations inter-projets –Simulations de la propagationdes ondes sismiques dans la croûte terrestre (B. Van Tiggelen (LPMMC), M. Campillo (LGIT)) –Analyse génétique et localisation spatiale: Stéphanie Manel et Françoise Berthoud (BioIMAGe et PhyNum) –MIRAGE et ID : équilibrage dynamique de la charge dans le raffinement adaptatif de maillage et évaluations de perf. sur cluster –Méthodes mixtes MM/MQ ( T. Gautier (ID), A. Imberty (CERMAV), A. Milet (LEDSS))

Collaborations Techniques Partage des expertises –Séminaires, liste de diffusion, ingénieurs (bureau partagé au LMC), rapprochement du projet PhyNum de celui de l’Observatoire. Ex : » Portage de l'interface de programmation parallele Athapascan, developpee au laboratoire ID, sur les machines SMP de l'Observatoire. » Participation croisée à des commissions techniques d’appel d’offre pour gappes (ID-BioIMAGe) »collaboration technique entre Françoise Berthout (phynum) et Françoise Roch (obs) : une journée par semaine depuis 1 an. »Validation du code de dynamique moléculaire Takakaw (ID) dans une architecture SMP (CECIC) Expérimentation du calcul hétérogène –projet Data Grid (participation de ID, expérimentation de globus) –Chimie quantique sur un serveur et une grappe de PC (Obs.)

Formation doctorale –Un projet de formation au Calcul Haute Performance transversale aux écoles doctorales (premier cours HIER !) –deux modules accompagnés de TP (janvier 2002) Introduction au calcul réparti –Introduction au parallélisme et au calcul intensif. Formation à l’optimisation de code, à MPI et à OPEN MP. Utilisation de bibliothèques de calcul scientifique (ScaLaPack, …) Modélisation numérique et calcul intensif –Différents problèmes apportés par les communautés utilisatrices, leur modélisation et leur résolution sur une grappe de PC, formeront les TP (MIRAGE, BioIMAGe, PhyNum,…) –Accueil des cours et des TP au sein de l’UFR IMA

Plan CIMENT : Projet mésoinformatique pour le calcul Actions Tranversales –Coordination –Collaborations scientifiques et techniques –Formations Bilan technique et scientifique des différents projets Perspectives

Observatoire de Grenoble P.Valiron et F. Roch LAOG, LGIT, SGEP du LIS Projet : calcul intensif en astrophysique et géophysique. Solution retenue : IBM (SMP 16 procs 375MHz, 16Go, 24Gflops crête et 2 Quadri-Pro, SMP, 4 Go). Solution centralisée. Financement : 500kF COMI CNRS +165kF quadriennal UJF ; 600kF Ministère (CIMENT) KF quadriennal UJF (soutien du ministère quadriennal 400kF/an) État d’avancement : fin de mise en place juillet 2000 (coût 1,76MF) Projets scientifiques (une vingtaine de chercheurs, une vingtaine de thésards) : évolution stellaire, disque proto-planétaire, astrochimie quantique : dynamiques microphysique, simulation numérique MHD et hautes énergies, propagation des ondes sismiques, reconstruction en sismologie, champs magnétique terrestre, modélisation de l’ionosphère dans les zones polaires, Interactions cinétiques soleil/terre,...

Résolution des équations de Maxwell en 2D Simulations de propagation d’ondes électromagnétiques à travers un noyau de comète. Alexandre Piot

Modèle de comète

Plate forme Mirage E. Blayo, L.Viry LMC, LEGI, LTHE, LGGE, LEA Projet : modélisation et calcul pour l’environnement et climat. 7 DS20 (bi-pro alpha EV67, 7x2,5Go, Memory Channel) et 3x100Go DD ; LSF et TotalView. Solution répartie sur 3 sites.Solution retenue : 7 DS20 (bi-pro alpha EV67, 7x2,5Go, Memory Channel) et 3x100Go DD ; LSF et TotalView. Solution répartie sur 3 sites. État d’avancement : En exploitation depuis janvier 2000 (1,5MF) Financement : 1,75MFFinancement : 1,75MF [ 600kF MENRT, 650kF COMI CNRS, 100kF BQR INPG, 60kF CNES, 200kF des laboratoires ] + 200kF INRIA, soutien du ministère (quadriennal 60kF/an) Projets scientifiques (une quarantaine de chercheurs, une quinzaine de thésards) : modélisation des calottes polaires, couplage glace-atmosphère, Modélisation océanique, assimilation de données océaniques, modélisation interface sol-végétation atmosphère, hydrologie en zone montagneuse.

Simulation de la circulation océanique dans la baie de Los Angeles pour la prévision locale Calcul parallèle du modèle ROMS (UCLA) - L. Debreu et E. Blayo (LMC-IMAG) P. Marchesiello et J. Mc Williams (UCLA). Température de surface Trois tailles de maille 18km 6km 2km Vitesse de l’eau en surface Région calculée Région visualisée

Pôle de chimie calculatoire S.Perez et P.Vatton LEDSS, CERMAV, Cristallographie, LEOPR, DPM Projet : création du CECIC : Centre d ’Expérimentation du Calcul Intensif en Chimie Solution : Une machine IBM SP (3 quadri Pro Power III 3x8Go) + une machine SGI 0200 quadri pro,4Go (logiciels de modélisation moléculaire) Avancement : démarrage : 01/11/01. Financement : 1,5MF dans le cadre du CPER + 0,5MF CNRS + 462kF sur fonds propres labo Projets scientifiques (une dizaine de thésards) : Chimie quantique, Mécanique/Dynamique Moléculaires, Etat condensé, Recherches des Conformations Bio-Actives, Bases de données

GT Accepteur-OH + XDP-sucre Mn ++ Accepteur-O-sucre + XDP Etude du mécanisme catalytique d’une N-acétylglucosaminyltransférase dont le site actif comprend in ion Mn 2+ : Collaboration : Anne Imberty (CERMAV) - Anne Milet (LEDSS) Première étude, par simulation numérique du mécanisme d ’action d ’une glycosyltransférese (Au moins 500 gènes ( % du génome humain traduit ) participeraient à l ’expression structurale et fonctionnelle d ’oligosaccharides) Système modèle : Gaussian 98: DFT B3LYP 5 électrons célibataires 54 atomes, dont Mn ++. Optimisation d’une géomètrie 4 jours CPU, 4 processeurs espace disque 150 Mo. Demande environ 25 optimisations géométriques ! En prévision: MM / QM

Grappe de PC D.Trystram, P. Augerat ID, SIRAC et ReMaP (ENS L) Projet : expérimentation des systèmes et du calcul distribué sur une grappe de PC. Solution envisagée : 100 PC (bi-pro, 1Go) disposant d’un réseau rapide de technologie myrinet. Solution massivement distribuée. État d’avancement : expérimentation locale le i-cluster (225 PIII en réseau ethernet : no=385 du TOP 500/81,6Gflops). Un appel d’offre infructueux en cours de réactualisation. Simplification vers une solution grappe très intégrée Financement : 5MF (0,8MF MENRT, 0,3MF ENSL + CPER : 2,5MF INRIA et 1,2MF Région) Projets scientifiques (une dizaine de thésards) : outils d’exploitation et méthodes de programmation (projet RNTL : CLIC Bull, Mandrake,UJF distribution linux pour cluster incluant MPI/OPEN MP,…, athapascan).

Linpack 81,6 Gflops = rang 385 au TOP 500 (mi-2001) Nombre de noeuds Gflops

Projet : Imagerie et modélisation biomécanique médicales Biologie informatique et analyse génétique spatialisée. Solution : modifiée au printemps 2001 pour migrer d ’une solution à base d ’alpha vers une grappe de PC Avancement : Grappe de 24 Bi-pro Athlon 1800+, 3Go, Ethernet 100 (x2) Financement : deux tranches CPER 800kF 2001, 1MF 2002(?) Projets scientifiques (une vingtaine de chercheurs, une quinzaine de thésards) : reconstruction rapide en imagerie 3D, atténuation et diffusion en imagerie nucléaire (quantification), IRMfonctionnelle 3D, modélisation biomécanique d ’organes, Equations de Maxwell pour la modélisation de neurones, pôle bio-informatique (étude des structures génétiques spatiales, identification de matrices d ’interaction génique, modélisation du génome,…) Projet BIOIMAGE L. Desbat G. Bourrel TIMC-IMAG UMR 5525, INSERM 438, RMN Bioclinique, Laboratoire de Biologie des Populations d'Altitude

Collaboration TIMC-IMAG ; LETI/CEA ID-IMAG-INRIA Schéma de compression de calcul en tomographie dynamique Composentes fréquentielles Decompositionindirecte Rétro- projection Synthèse 53

Résultats Compression de calcul 3 à 5 fois plus rapides sur des images 512x512x32 en séquentiel que FBP Parallélisation sur le i-cluster : résultats récents

Projet PHYNUM A. Pasturel et F. Berthoud IPMC (LPM2C, CRTBT, LEPES, SPECTRO, Louis Néel) Solution envisagée : centralisée, 16 à 32 proc, 16 à 32 Go mais évolution possible vers une grappe de PC Avancement : 2002, couplage envisagé avec l’Observatoire. Financement : Dans le cadre du CPER (1,5MF 2002) Projet scientifiques (une dizaine de chercheurs, une quinzaine de thésards) –Simulations de la propagation des ondes sismiques dans la croûte terrestre -Etude de la diffusion multiple de la lumière en milieu complexe -Supraconductivité dans des systèmes de dimension réduite -Transport thermique dans un conducteur mésoscopique -Manipulation des états quantiques dans des nanocircuits supraconducteurs -Elasticité de la croissance cristalline et auto-organisation de nanostructures -Structures d'équilibre et dynamique réactionnelle de surfaces -Thermodynamique et Transition de Phases. -...

Bilan scientifique Une communauté d’une centaine de chercheurs et d’environ 70 thésards Contribue à une centaine de publications par an dans des revues à comité de lecture et des conférences internationales Perspectives riches dans chacune des disciplines avec des enjeux sociétaux, économiques importants

Plan CIMENT : Projet mésoinformatique pour le calcul Actions Tranversales –Coordination –Collaborations scientifiques et techniques –Formations Bilan scientifique des différents projets Perspectives

Perspectives techniques et formation Maturation des grappes de PC (matériel et logiciel) => solutions économiques du calcul intensif => Plus grande diffusion Renforcement des actions transversales –Projet d’administration centralisée de grappes de PC distribuées (Philippe Augerat) Nécessité de former les étudiants et les chercheurs aux techniques de calcul intensif –Formation doctorale –Formation permanente + collaboration avec les centres de calcul nationaux

Perspectives scientifiques Projet ACI GRID (janvier 2002) – Grilles des projets CIMENT – Essor des techniques de Monte Carlo en Physique Numérique, imagerie nucléaire, etc. Développement de méthodes et outils d’administration de l’informatique distribuée (administration de grappes, caches WEB) + bio- info (reconstruction d'arbres de phylogénie). Propres à chacune des disciplines (environnement, climat et développement durable, Biologie, Biochimie et Bioinformatique, etc…)

FIN