ROMEO Centre de Calcul de Champagne-Ardenne Maison de la Simulation de Champagne-Ardenne Le numérique au service de l’innovation Directeur / Head ROMEO Michaël KRAJECKI michael.krajecki@univ-reims.fr Chef de projet / CTO ROMEO Arnaud RENARD arnaud.renard@univ-reims.fr http://romeo.univ-reims.fr

Plan Introduction, la Maison de la Simulation de Champagne-Ardenne Le mésocentre ROMEO Les missions et objectifs, Historique La recherche L’écosystème de ROMEO 2015 : la chaire calcul intensif et industrie Deux collaborations industrielles récentes : Peugeot PSA CFD-as-a-service (TECH-AM Ingénierie, SYSFERA) Un exemple plus orienté recherche : utilisation de GPU pour la résolution de problèmes combinatoires

Introduction Maison de la Simulation de Champagne-Ardenne (MaSCA) Centre de calcul ROMEO Centre Image Plateforme de Modélisation P3M ROMEO : de quoi parle-t-on ? Un supercalculateur de classe mondiale

ROMEO : un supercalculateur de classe mondiale

University of Reims Université de Reims Champagne-Ardenne (URCA) Multidisciplinary university more than 22 000 students a wide initial undergraduate studies program graduate studies and PhD program in link with research labs The ROMEO HPC Center is a platform hosted by URCA Funded by European Community, French government, Champagne-Ardenne Council and the city of Reims high performance computing resources for both industrial and academic researchers in the region an in-depth expertise in different engineering fields: HPC, applied mathematics, physics, biophysics and chemistry. first Cuda Research Center in France European Centers National Centers University / Regional Centers equip@meso Integrated in the European HPC ecosystem link between large hardly accessible national centers and small research laboratories and SMEs of the region. member of the French Tier 1.5 network equip@meso managed by GENCI member of the European Platform ETP4HPC

Romeo HPC Tesla Cluster Computing Displaying 5th 3131 MFLOPS/W Bull Cool Cabinet Door Big Data, on-demand and remote VirtualGL technology servers Quadro 6000 & 5800 NVIDIA GRID + Citrix Virtualisation NVIDIA VGX K2 Scalable Graphics 3D cloud solution NVIDIA K6000 151th 254.9 Tflops Linpack 260 NVIDIA Tesla K20X accelerators 130 Bull servers bullx R421 E3 – Bull AE & MPI 260 INTEL Ivy Bridge E5-2650 v2 Processor, non-blocking Mellanox Infiniband, Slurm, 88 To Lustre (NetApp), 57 To home, 100 To Storage

Romeo

Les missions et objectifs ROMEO s'inscrit dans une politique globale et durable de notre université En direction : des chercheurs des partenaires industriels Autour : de ses quatre pôles scientifiques et de ses actions “recherche” mais également “enseignement”

Les missions et objectifs Fédérer les besoins HPC dans un mésocentre Développer des compétences régionales en calcul à hautes performances dans les trois domaines: Mathématiques et informatique, Physique et Sciences de l'ingénieur, Modélisation moléculaire des systèmes complexes. Accompagner les équipes et leurs doctorants impliqués dans le calcul scientifique Favoriser l'émergence de projets pluridisciplinaires Favoriser la collaboration entre les partenaires régionaux Permettre l'accès aux grands centres nationaux

ROMEO permet : De renforcer la position des équipes de recherche de la région Champagne-Ardenne, leurs collaborations et leurs relations industrielles  D’accéder plus facilement à des moyens complémentaires (CEA, centres nationaux, ...) D'augmenter la visibilité de la région Champagne-Ardenne dans le domaine du calcul scientifique De renforcer l'attractivité auprès des étudiants à travers diverses actions enseignement

Historique du centre de calcul 1998-2001 : les premiers pas Fin 1998 : premier appel d’offres « méso-centres » ministériel. 2000 : mise en place d'un groupe de travail (utilisateurs locaux du CINES, IDRIS, CRIHAN) 2001 : mise en place d'une commission calculateur chargée de réaliser un appel d’offre 2002-2005 : ROMEO est né Première machine (24 processeurs / 24Go Mémoire vie / 47 Gflops), hébergée et administrée par le CRI 2002 : mise en place du comité calculateur chargé de l'animation scientifique 2004 : ouverture vers le CEA, visite du CCRT DAM Ile de France

Historique du centre de calcul 2006 : ROMEO, un centre à vocation régionale Création de nouveaux locaux pour héberger romeo2 Evolution « romeo2 » = 104 coeurs / 392 Go Mémoire vive / 614 Gflops Ouverture régionale à l'UTT de Troyes et l'ENSAM de Châlons Premier accord de collaboration pour 4 ans avec le CEA DAM Ile de France

Historique du centre de calcul 2007-2010 : Roméo, le mésocentre champardennais accord Université de Versailles Saint Quentin dans le cadre des pôles de compétitivité MOVEO et SYSTEM@TIC convention méso-centre CRIHAN recrutement d'un IGR chargé de l'administration de la machine et du soutien informatique aux chercheurs utilisant le calculateur 2009 : mise en place d'une plate-forme GP GPU (General Purpose Graphical Processor Units) 2010 : mise en place de la troisième évolution technologique ROMEO

Bull en … 1953 Bull Gamma 3 Journée ROMEO, mai 2011 ACONIT photo Jean Bellec http://www.aconit.org/histoire/a_gamma3.php

De ROMEO à CLOVIS Journée ROMEO, mai 2011 1998 AO du ministère sur mésocentre → besoins URCA romeo romeo2 clovis 2002 Sun 2006 2010 24 CPU 100 cœurs 500 cœurs 47 Gflops 617 GFlops 6 TFlops 24 Go RAM ∙ 200 Go DD 320 Go RAM ∙ 8 To DD 1 To RAM ∙ 16 To DD 8 nœuds 42 noeuds Interconnexion 10 Gb/s Interconnexion 40 Gb/s + locaux adaptés + ouverture industrielle + projet régional + GPU + Visualisation Distante + hybride Windows / Linux

De ROMEO à CLOVIS Journée ROMEO, mai 2011 2006 Une ouverture régionale 2002 Sun 2006 Bull 2010 24 CPU 100 cœurs x 4 500 cœurs 47 Gflops 617 Gflops x12 6 TFlops 24 Go RAM ∙ 200 Go DD 320 Go RAM ∙ 8 To DD 1 To RAM ∙ 16 To DD 7 + 1 + 1 noeuds 42 noeuds Interconnexion 10 Gb/s Interconnexion 40 Gb/s + locaux adaptés + ouverture industrielle + projet régional + GPU + Visualisation Distante + hybride Windows / Linux

De ROMEO à CLOVIS Journée ROMEO, mai 2011 2010 Ouverture vers le tissu industriel et la grille expérimentale GRID5000 romeo romeo2 clovis 2002 Sun 2006 Bull 2010 Bull 24 CPU 100 cœurs x 4 500 cœurs x 5 47 Gflops 617 Gflops x12 6 Tflops x10 24 Go RAM ∙ 200 Go DD 320 Go RAM ∙ 8 To DD 1 To RAM ∙ 16 To DD 7 + 1 + 1 noeuds 37 + 2 noeuds Interconnexion 10 Gb/s Interconnexion 40 Gb/s + locaux adaptés + ouverture industrielle + projet régional + GPU + Visualisation Distante + hybride Windows / Linux

Historique ROMEO v 617 Gflops (x12) - 27 KW romeo romeo2 clovis 2002 - Sun 2006 - Bull 2010 - Bull 2013 – Bull 24 CPU 100 cœurs x 4 500 cœurs x 5 2080 cœurs x4 47 Gflops - 9 KW 617 Gflops (x12) - 27 KW 6 Tflops (x10) - 25 KW 254,0 Tflops (x42) - 70 KW 24 Go RAM ∙ 200 Go DD 320 Go RAM ∙ 8 To DD 1 To RAM ∙ 16 To DD 4 To RAM – 200 To DD + // 7 + 1 + 1 nœuds 40 + 2 nœuds 130 noeuds Interco. 10 Gb/s Interconnexion 40 Gb/s locaux ouverture indus. projet régional GPU Visualisation Distante hybride Win / Linux 260 K20X TOP500 #151 GREEN500 #5 v

Supercalculateur Romeo Installé / Mis en service Q4 2013 130 nœuds BullX R421E3 2 processeurs Intel Ivy Bridge 2,66 GHz / 8c 2 accélérateurs NVIDIA Tesla K20X 32 Go DDR 3 Espace disque scratch parallèle LUSTRE 70 To Espace disque home 70 To Gestionnaire de Batch SLURM Réseau Infiniband 40 GB/s non bloquant RDMA GPU-Direct 40 nœuds Westmere12 cœurs / 24 Go DDR 2 nœuds Nehalem 32 cœurs / 64 Go DDR Nœuds de Visualisation (Quadro6000, K2 + NVIDIA GRID, ….)

Un environnement Haute Disponibilité Infrastructure CRI, Renater TGBT 500 KVA Consommation électrique 200 kW Climatisation air / porte arrière / free-cooling 95 dB émis Personnel 3 ingénieurs ETP Appels d’offres, financier Technique Support, animation Astreinte / maintenance industrielle. Logiciels 60 logiciels Fluent, OpenFoam, StarCCM ; Abaqus Intes, Cradle, Matlab, Gridworks Compilateurs, Bibliothèques, … 90 DB (TGV / discotheque / tondeuse ) seuil de danger (20h/semaine MAX)

La Recherche s’appuyant sur ROMEO

Domaines & Utilisateurs 3 thèmes de recherche Les mathématiques et l’informatique La physique et les sciences de l’ingénieur La modélisation des systèmes moléculaires complexes 3 établissements régionaux URCA ∙ UTT ∙ ENSAM CeC Utilisateurs académiques CNRS, INRA, INSERM, … ICMR (UMR CNRS 6229), GRESPI (EA 4301), LMR (EA 4535), IMAB, CRESTIC (EA 3804), GSMA (UMR CNRS 6089), LISM, MEDyC (UMR CNRS 6237), ICD (UTT), MSMP (ENSAM) Collaborations nationales (Amiens, Nancy, Montpellier, Marseille, Versailles …) Utilisateurs industriels : prestation de calcul, support calcul, logiciels, expertise → 110 comptes actifs

Domaines & Utilisateurs Recherche opérationnelle, Tournées de véhicules, Colonies de Fourmis P. Delisle, CReSTIC, URCA 3 thèmes de recherche Les mathématiques et l’informatique La physique et les sciences de l’ingénieur La modélisation des systèmes moléculaires complexes Docking quantique Molécules d’intérêt thérapeutique C. Barberot, E. Henon, ICMR, URCA Ionisation par électronébulisation Mécanismes d’évaporation, Modèle mésoscopique de gouttelettes chargées, simulations Monté Carlo D. Bonhommeau, GSMA, URCA

Domaines & Utilisateurs Journée ROMEO, mai 2011 Domaines & Utilisateurs « Molecular dynamics simulation study on the interaction of KRN 7000 and three analogues with human CD1d » . http://www.univ-reims.fr/3DChem Eric Hénon, Manuel Dauchez, Arnaud Haudrechy, Aline Banchet, Tetrahedron 64 (2008) 9480–9489

Intégration / Collaborations / Visibilité Simuler Visualiser Fondamental Maison de la Simulation de Champagne-Ardenne Accompagnement de la recherche 20 doctorants Collaboration nationales / internationales Plates-formes technologiques de l’URCA Enseignement HPC (90 comptes) Master Chimie Substances Naturelles et Médicaments Pôle Grand-Est du Réseau Français de Chimie Théorique Master Informatique et Mathématiques Animation scientifique Congrès (IWOMP, LAD, …), journées régionales, Fête de la science, journées ROMEO, Cuda Research Center, formations CUDA, OpenACC et DDT … Ouverture aux industriels Modéliser Grid 5000 Industriel

L’écosystème de ROMEO

Centres régionaux/universitaires Equip@meso Tier-0 Centres européens Tier-1 Centres nationaux Tier-2 Centres régionaux/universitaires Equip@meso Equipement d’excellence de calcul intensif de Mésocentres Coordonné par GENCI (Groupe des Equipements Nationaux en Calcul Intensif) Dix partenaires universitaires et académiques Relayer au niveau régional la stratégie nationale HPC portée par GENCI Renforcer les compétences et les capacités de calcul régionales Excellence et de proximité (formation, éducation ou calcul) Complémentarité régionale / nationale l’initiative GENCI / INRIA / OSEO pour doper l’innovation et la compétitivité des PME

Liste des participants Seront présents à la réunion du comité de pilotage: GENCI : Nicolas Mignerey, Catherine Rivière, Jean-Philippe Proux UdS (Strasbourg) : Romaric David CEA (Maison de la Simulation) : Edouard Audit AMU (Aix-Marseille) : Nicolas Ferré URCA (Reims) : Arnaud Renard UCBL (Lyon) : Marc Buffat PSL (Paris Sciences Lettres) : Jacques Laskar UPMC (Pierre & Marie Curie) : Jérémy Foulon UT (Toulouse) : Boris Dintrans UJF (Grenoble) : Emmanuel Chaljub CRIHAN (Rouen) : Marie-Sophie Cabot Partenaires adhérents : MCIA (Bordeaux) : Jean-Christophe Soetens UFC (Franche-Comté) : Laurent Philippe UB (Bourgogne) : Olivier Politano UM2 (Montpellier) : Anne Coudert CCSC (Orléans) : Jean-Louis Rouet Comité de pilotage Equip@Meso 17/07/2014

ETP4HPC Plateforme Technique Européenne pour le Calcul à Haute Performance Forum industriel Dialogue avec la commission européenne Définir les priorités et plans d’action Compétitivité technologique à moyen et long terme Première Université Française adhérente Au cœur de notre réseau + Mésocentres, BUX, CRC

Initiative bâtie en cohérence avec les recommandations du plan France Numérique 2012 Lancée avec l’INRIA et OSEO, en partenariat avec cinq pôles de compétitivité www.initiative-hpc-pme.org

Les objectifs HPC-PME Amener les PME à « se poser la question de la simulation numérique » et leur démontrer le gain de compétitivité obtenu avec le HPC But : Démonstration de la plus-value de la simulation et du calcul intensif sur la compétitivité. Qualifier et Expertiser le projet et s’appuyant sur les partenaires de l’initiative, et en particulier sur les écosystèmes des pôles de compétitivité partenaires Aider à la construction de ce projet dans sa dimension technique, en s’appuyant sur l’expertise et les ressources du programme Insérer ce projet dans les dispositifs de financement existants Formation et partage des bonnes pratiques ; Expertise fondée notamment sur un transfert de compétences issues de la recherche publique ; Accès aux équipements et logiciels de calcul intensif ;

Exemple en Champagne-Ardenne (Crédit Impôt-Recherche) PME fondée par Sydney TEKAM, Consultant Expert CFD pour des grands groupes : Industrie automobile (écoulement diphasiques, codes industriels, couplages codes CFD et numériques, soufflerie aérodynamique) Procédés industriels (CAO et maillage, simulation de systèmes diphasiques, simulation/optimisation/dimensionnement pour la production de polymères et adaptés aux problématiques process) Recherche appliquée (modélisation de phénomènes physiques complexes, études sur outils CFD adaptés aux calculs diphasiques) Collaboration ROMEO novembre / décembre 2011 : Solution openSource / OpenFOAM Accord de recherche Crédit impôt / recherche Etude de dimensionnement 2 calculs simultanés en start / stop pour mettre à jour les paramètres 128 cœurs de calcul pendant 24 jours Un ingénieur ROMEO référent qui surveille le déroulement des calculs Projet HPC-PME + FLUENT en 2013

2015 : la chaire Calcul Intensif et Industrie

Chaire Calcul Intensif et Industrie Partenaires industriels : BULL, NVIDIA, CEA DAM IdF Partenaires publics : Reims Métropole, Région Champagne-Ardenne Chaire déclinée en 3 axes Calcul intensif et enseignement CUDA Research Center Calcul intensif et recherche Calcul scientifique sur accélérateurs Calcul intensif et industrie Appropriation des outils numériques par les PME

Calcul Intensif et Enseignement S’inscrit dans le cadre des filières en Informatique de l’URCA Prise en compte du plan supercalculateur 2 projets à court terme : MOOC pour le HPC Certification CUDA avec NVIDIA 2 projets à moyen terme : Mise en place d’un mastère spécialisé Big Data Développement d’une filière ingénieur s’appuyant sur la MaSCA

Calcul Intensif et Recherche Algorithmique parallèle pour les accélérateurs et l’optimisation combinatoire thèmes de recherche développés et reconnus à Reims depuis plus de 10 ans. Les architectures pétaflopiques et exaflopiques efficacité énergétique / GREEN500 Échelle exaflopique : un enjeu pour H2020 Calcul intensif, biologie et santé. Séquenceur ADN moyen débit Acquisition récente par le laboratoire INSERM du CHU de Reims

Calcul Intensif et Industrie Une offre sectorielle : S’appuyant sur une expertise locale Des partenariats industriels Du logiciel Open Source et propriétaire 3 offres en projet : Mécanique des fluides Ferme de rendu Big Data

Offres sectorielles Cabinet CFD Big Data Ferme de Rendu 3D Mécanique des Fluides, Tech-am Ingénierie Fluent*, OpenFOAM Comprendre ou corréler les mégadonnées pour prédire et réagir Hadoop, MapReduce, MongoDB,Cassandra PSA, NVIDIA, 3DX, Scalable Graphics, Animation Blender, Autodesk, 3ds Max, Maya, DWF, OJB, Collada, Mental Ray c’est quoi Les outils Pour qui ?

ROMEO Maison de la Simulation de Champagne-Ardenne Le numérique au service de l’innovation Directeur ROMEO Michaël KRAJECKI michael.krajecki@univ-reims.fr Chef de projet ROMEO Arnaud RENARD arnaud.renard@univ-reims.fr http://romeo.univ-reims.fr