EGEE et EGEE-II Entretien avec J.F. Minster Guy Wormser LAL Orsay 4 Novembre 2005

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Définitions Grilles Grilles: Ensemble distribué de ressources informatiques reliées par des réseaux rapides et accessible de façon transparente par l’utilisateur EGEE: projet européen financé dans le cadre du 6 ème PCRD à vovation pluridisciplinaire s’appuyant sur la physique des hautes énergies mais ouverts à bcp d’autres sciences: Biologie/médecine, sciences de la Terre, LCG: LHC Computing GRiD, grille internationale mise en place autour du CERN seul outil choisi pour satisfaire les besoins de calcul du LHC. EGEE et LCG partagent la même infrastructure, la même équipe logicielle,etc… Plus de 130 nœuds et processeurs sont opérationnels 24h/24 7jours/7. Les Data Challenges des expériences LHC sont complètement basées sur cette infrastructure Tier1/2 Centres de ressources de la grille LCG/EGEE. –Tier1 : très fortes obligations de service, gros volume de stockage, dédié aux productions centralisées –Tier2 Forte réactivité pendant heures ouvrables, dédié analyses et simulation

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Grids and HEP Around 1998, a new concept « GRID computing » landed in HEP physics computing: “A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high computational capabilities.” (The Grid, I. Foster, C. Kesselman, 1998) It had immediately a large worldwide impact in HEP –HEP is a very distributed field, naturally structured into virtual organisations –Huge computing needs for LHC and other projects –Embarassingly parallel style of computing well matched to simple Grid architecture –The network bandwith “explosion”

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre HEP commitment to Grids : Exploratory phase. Several R&D projects in the world to develop the middleware, build mid size test beds, port some applications –US : PPDG, Griphyn –Europe : DATAGRID –Several initiatives in Asia 2002: Decision to build a grid infrastructure as THE TOOL for LHC computing. Creation of the LCG project (LHC Grid Computing). Point of no return! 2004 Large scale deployment of the world largest distributed computing infrastructure(s): –LCG, EGEE, OSG (US), NAREGI(Japan), etc…. –>200 sites, processors, 5 PB of storage

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre EGEE : Enabling Grids for E-sciencE Goal create a general European Grid production quality infrastructure on top of present and future EU RN infrastructure Build on EU and EU member states major investment in Grid Technology Several pioneering prototype results Largest Grid development team in the world Goal can be achieved for about €100m/4 years on top of the national and regional initiatives Approach Leverage current and planned national and regional Grid programmes (e.g. LCG) Work closely with relevant industrial Grid developers, NRNs and US EGEE applications Geant network

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Les partenaires d ’EGEE France= CNRS +CEA+Ecole Centrale+ CS +CGG USA Russie

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre EGEE Activities JRA1: Middleware Engineering and Integration JRA2: Quality Assurance JRA3: Security JRA4: Network Services Development SA1: Grid Operations, Support and Management SA2: Network Resource Provision NA1: Management NA2: Dissemination and Outreach NA3: User Training and Education NA4: Application Identification and Support NA5: Policy and International Cooperation 24% Joint Research28% Networking 48% Services Emphasis in EGEE is on operating a production grid and supporting the end- users

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre EGEE Applications EGEE Scope : ALL-Inclusive for academic applications (open to industrial and socio-economic world as well) The major success criterion of EGEE: how many satisfied users from how many different domains ? 5000 users (3000 after year 2) from at least 5 disciplines Two pilot applications selected to guide the implementation and certify the performance and functionality of the evolving infrastructure: Physics & Bioinformatics Application domains and timelines are for illustration only

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Le rôle de la France dans EGEE La fédération française –CEA (J. Lefoll), CGG (D. Thomas), CNRS (G. Wormser), CS (J.F. MUsso), Ecole Centrale(C. Saguez) –Coordination Administrative: C. Lucas (IN2P3) –Représentant au EGEE Management Board : G. Wormser, suppléant: J.L. Archimbaud (UREC/STIC) Au sein du CNRS: 4 départements STIC(UREC, I3S), SDV( IBCP, CREATIS), SDU(IPSL), IN2P3 (CC_IN2P3, LPC Clermont, CPP Marseille, LAL Orsay) + IPGP, LAPP, SUBATECH, LPNHE, LRI Total CNRS ~85 personnes funded and unfunded, 3 M€/an

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Les activités françaises dans EGEE –Opérations: Faire tourner la grille française, fournir une des tours de contrôle d’EGEE  Nœuds: Lyon, Clermont, Orsay, Marseille, CINES/Montpellier, CGG, Ecole Centrale –Middleware: Assurance qualité, Outils de développement logiciel (CS,STIC, IN2P3) –Réseaux : Interface avec GEANT (STIC) –Applications:  Coordination genérale (V. Breton, LPC Clermont)  Application pilote Biologie Médecine (J. Montagnat, CREATIS)  Industry Forum d’EGEE (C. Saguez(ECP), GW)  Equipe Test (E. Fede (CPPM), B.Meteyrie(CS)  EGEE Generic Applications Advisory Panel (GW)

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Grids: a great oportunity for interdisciplinary contacts Grids have become a great vehicle for promoting interdisciplinary contacts between HEP, many other application fields and computing scientists –Bioinformatics –Medecine –Chemistry –Fusion science –Earth sciences –Astrophysics/astronomy –Neuroinformatics –Climate –Finance –….. HEP can be proud to have been a key player in these endeavours

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre D0 MC efficiency on LCG2 since Xmas (but small statistics) – CESuccessFailed bohr0001.tier2.hep.man.ac.uk2373 cclcgceli01.in2p3.fr-14 grid-ce.physik.uni-wuppertal.de-- gridkap01.fzk.de golias25.farm.particle.cz19815 heplnx131.pp.rl.ac.uk2464 lcgce02.gridpp.rl.ac.uk29310 mu6.matrix.sara.nl3977 tbn18.nikhef.nl1542 Total Efficiency 98 % System running monitored very closely by run-manager in close contact with sites

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre APPLICATIONS ported on EGEE Earth Observation by Satellite Hydrology Solid Earth Physics Climate Geosciences Chemistry of the Mars Upper Atmosphere Meteorology

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre SEISMOLOGY[1] Fast Determination of mechanisms of important earthquakes (IPGP: E. Clévédé, G. Patau) Challenge Provide results 24h -48h after its occurrence Application to run on alert  Collect data of 30 seismic stations from GEOSCOPE worldwide network  Select stations and data  Definition of a spatial 3D grid +time  Run for example jobs Peru earthquake, 23/6/2001, Mw=8.3 Data used: 15 Geoscope Stations 5 Seisms already ported: Peru, Guadeloupe, Indonesia (Dec.), Japon, Indonesia (Feb.)

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Korba coastal aquifer Tunisia Cape Bon Peninsula 70km south-east of Tunis 45 km Management of water resources in Mediterranean area (SWIMED) G. Lecca (CRS4 Italy), P. Renard (Unine, CH), J. Kerrou (INAT, Tunisia), R. Ababou (IMFT, Fr)

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre GEOSCIENCES Generic seismic platform software, based on Geocluster commercial software developed by CGG Includes 400 geophysical modules, implemented on EGEE Used by both academics and private companies. Free of charge for Academics, with charge for R&D

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Status of Biomedical VO PADOVA BARI 15 resource centres ( )  17 CEs (>750 CPUs)  16 SEs 4 RBs: CNAF, IFAE, LAPP, UPV RLS, VO LDAP Server: CC-IN2P3 4 RBs 1 RLS 1 LDAP Server

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Malaria Data challenge (summer 2005)

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Philosophie et buts d’EGEE II Vers une infrastructure de grilles PERENNE au service de la recherche européenne Implications: –Fiabilité encore meilleure –Ouverture encore plus grande :  Thématique  Hétérogénité  Géographique –A la GEANT/DANTE/RENATER  Tâches d’exploitation sous traitées dans l’Industrie  Très forte implication des pays membres –Le financement des ressources informatiques EGEE-II en France : –2 nouveaux partenaires : CNES et Healthgrid –Responsabilités ~identiques –Portefeuille d’applications étendu à 5 domaines scientifiques: HEP, BIoMed, Fusion, Astrophysique, Science de la Terre

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Au-delà d’EGEE-II Transformer EGEE-II en une infrastructure PERENNE au service de la recherche européenne Schéma actuel: créer une structure similaire à GEANT (réseau informatique à haute vitesse européen): –Club de structures nationales ( cf RENATER) coordonnées au niveau européen –Confiant les responsabilités opérationnelles à une entité (DANTE) faisant largement appel à l’industrie –Cofinancé par l’UE et les Etats membres –Grand rayonnement international Très gros handicap en France : Aucun véritable projet de grille nationale Le CNRS peut et doit jouer un rôle moteur dans la création d’une grille nationale

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre EGEE et le CNRS Implication très satisfaisante des laboratoires et des départements mais …. –Pas d’existence structurelle –Aucune instance d’évaluation –Manque de visibilité –Pas de forum de discussion scientifique –Financement ad hoc Cependant, le COMI a toujours soutenu DATAGRID et EGEE très fortement de 2001 à 2004 Les demandes : 1)Obtention d’un financement )Mise en place d’une structure permettant la discussion scientifique, l’évaluation et un financement récurrent 3)Initiative forte pour promouvoir EGEE-II et une grille nationale pérenne au-delà d’EGEE-II

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Le financement 2005 La logique des projets européens est un financement à 50% par l’Union Européenne Le CNRS recoit 1,5 M € par an de l’UE permettant l’embauche de ~20 personnes Les départements et les laboratoires impliqués soutiennent EGEE autant qu’ils le peuvent : 40 k€ de l’IN2P3 directement à EGEE en plus du très gros effort LCG, 15 k€ au LAL, 10 k€ SDV et SDU Un soutien central du COMI/CNRS est indispensable pour: –L’équipement des nœuds français –Les missions et le fonctionnement du personnel permanent Ces besoins pour 2005 sont de 200k€ Enorme effort des laboratoires participants depuis quelques mois en l’absence de soutien central pour conserver la dynamique malgré les tensions budgétaires à terme insoutenables Impossibilité de tout achat de matériel : le retard français s’amplifie!

Guy Wormser, Entrevue Jean-François MInster, 4 Novembre Conclusion Les grilles : Une très grande réussite en quelques années du concept à une réalité opérationnelle! « Huge infrastructure in place, other sciences embarked, very high political visibility, HEP role clearly recognised » Rôle très important de la France et du CNRS dans EGEE, notamment au cœur du secteur crucial des applications: notre mission d’ouvrir le spectre des applications d’EGEE a été réussie au-delà de toutes les espérances Il faut bâtir sur le succès d’EGEE pour donner à EGEE- II la place qui lui revient au sein du CNRS Il faut construire la suite pérenne de l’après EGEE-II