EGEE, EGEE-II, ICAD Entretien avec A. MIGUS Guy Wormser LAL Orsay 23 Février 2006.

Présentation au sujet: "EGEE, EGEE-II, ICAD Entretien avec A. MIGUS Guy Wormser LAL Orsay 23 Février 2006."— Transcription de la présentation:

1 EGEE, EGEE-II, ICAD Entretien avec A. MIGUS Guy Wormser LAL Orsay 23 Février 2006

2 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 2 Définitions Grilles Grilles: Ensemble distribué de ressources informatiques reliées par des réseaux rapides et accessible de façon transparente par l’utilisateur EGEE: projet européen financé dans le cadre du 6 ème PCRD à vovation pluridisciplinaire s’appuyant sur la physique des hautes énergies mais ouverts à bcp d’autres sciences: Biologie/médecine, sciences de la Terre, Astrophysique, chimie LCG: LHC Computing GRID, grille internationale mise en place autour du CERN seul outil choisi pour satisfaire les besoins de calcul du LHC. EGEE et LCG partagent la même infrastructure, la même équipe logicielle,etc… Plus de 200 nœuds et 15000 processeurs sont opérationnels 24h/24 7jours/7. Les Data Challenges des expériences LHC sont complètement basées sur cette infrastructure Tier1/2 Centres de ressources de la grille LCG/EGEE. –Tier1 : très fortes obligations de service, gros volume de stockage, dédié aux productions centralisées –Tier2 Forte réactivité pendant heures ouvrables, dédié analyses et simulation

3 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 3 Grids and HEP Around 1998, a new concept « GRID computing » landed in HEP physics computing: “A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high computational capabilities.” (The Grid, I. Foster, C. Kesselman, 1998) It had immediately a large worldwide impact in HEP –HEP is a very distributed field, naturally structured into virtual organisations –Huge computing needs for LHC and other projects –Embarassingly parallel style of computing well matched to simple Grid architecture –The network bandwith “explosion”

4 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 4 HEP commitment to Grids 2000-2003 : Exploratory phase. Several R&D projects in the world to develop the middleware, build mid size test beds, port some applications –US : PPDG, Griphyn –Europe : DATAGRID –Several initiatives in Asia 2002: Decision to build a grid infrastructure as THE TOOL for LHC computing. Creation of the LCG project (LHC Grid Computing). Point of no return! 2004 Large scale deployment of the world largest distributed computing infrastructure(s): –LCG, EGEE, OSG (US), NAREGI(Japan), etc…. –>200 sites, 15 000 processors, 5 PB of storage

5 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 5 EGEE : Enabling Grids for E-sciencE Goal create a general European Grid production quality infrastructure on top of present and future EU RN infrastructure Build on EU and EU member states major investment in Grid Technology Several pioneering prototype results Largest Grid development team in the world Goal can be achieved for about €100m/4 years on top of the national and regional initiatives Approach Leverage current and planned national and regional Grid programmes (e.g. LCG) Work closely with relevant industrial Grid developers, NRNs and US EGEE applications Geant network

6 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 6 Les partenaires d ’EGEE France= CNRS +CEA+Ecole Centrale+ CS +CGG USA Russie

7 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 7 EGEE Activities JRA1: Middleware Engineering and Integration JRA2: Quality Assurance JRA3: Security JRA4: Network Services Development SA1: Grid Operations, Support and Management SA2: Network Resource Provision NA1: Management NA2: Dissemination and Outreach NA3: User Training and Education NA4: Application Identification and Support NA5: Policy and International Cooperation 24% Joint Research28% Networking 48% Services Emphasis in EGEE is on operating a production grid and supporting the end- users

8 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 8 EGEE Applications EGEE Scope : ALL-Inclusive for academic applications (open to industrial and socio-economic world as well) The major success criterion of EGEE: how many satisfied users from how many different domains ? 5000 users (3000 after year 2) from at least 5 disciplines Two pilot applications selected to guide the implementation and certify the performance and functionality of the evolving infrastructure: Physics & Bioinformatics Application domains and timelines are for illustration only

9 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 9 Le rôle de la France dans EGEE La fédération française –CEA (J. Lefoll), CGG (D. Thomas), CNRS (G. Wormser), CS (J.F. Musso), Ecole Centrale(C. Saguez) +CNES (EGEE-II) –Coordination Administrative: B. Pedeux-Richard(IN2P3) –Représentant au EGEE Management Board : G. Wormser, suppléant: J.L. Archimbaud (UREC/STIC) Au sein du CNRS: 4 ex-départements STIC(UREC, I3S), SDV( IBCP, CREATIS), SDU(IPSL), IN2P3 (CC_IN2P3, LPC Clermont, CPP Marseille, LAL Orsay) maintenant MIPPU, Vivant, Ingénierie, Environnement –Chimie et H&S activités sans pour l’instant d’équipes CNRS + IPGP, LAPP, LPNHE, SUBATECH, LPNHE, LRI Total CNRS ~85 personnes funded and unfunded, 3 M€/an

10 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 10 Les activités françaises dans EGEE –Opérations: Faire tourner la grille française, fournir une des tours de contrôle d’EGEE  Nœuds: Lyon, Clermont, Orsay, Marseille, CINES/Montpellier, CGG, Ecole Centrale –Middleware: Assurance qualité, Outils de développement logiciel (CS,STIC, IN2P3) –Réseaux : Interface avec GEANT (STIC) –Applications:  Coordination genérale (V. Breton, LPC Clermont)  Application pilote Biologie Médecine (J. Montagnat, CREATIS)  Industry Forum d’EGEE (C. Saguez(ECP), GW)  Equipe Test (E. Fede (CPPM), B.Meteyrie(CS)  EGEE Generic Applications Advisory Panel (GW)

11 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 11

12 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 12 Grids: a great oportunity for interdisciplinary contacts Grids have become a great vehicle for promoting interdisciplinary contacts between HEP, many other application fields and computing scientists –Bioinformatics –Medecine –Chemistry –Fusion science –Earth sciences –Astrophysics/astronomy –Neuroinformatics –Climate –Finance –….. HEP can be proud to have been a key player in these endeavours

13 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 13 D0 MC efficiency on LCG2 since Xmas (but small statistics) – CESuccessFailed bohr0001.tier2.hep.man.ac.uk2373 cclcgceli01.in2p3.fr-14 grid-ce.physik.uni-wuppertal.de-- gridkap01.fzk.de256419 golias25.farm.particle.cz19815 heplnx131.pp.rl.ac.uk2464 lcgce02.gridpp.rl.ac.uk29310 mu6.matrix.sara.nl3977 tbn18.nikhef.nl1542 Total408974 Efficiency 98 % System running monitored very closely by run-manager in close contact with sites

14 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 14 APPLICATIONS ported on EGEE Earth Observation by Satellite Hydrology Solid Earth Physics Climate Geosciences Chemistry of the Mars Upper Atmosphere Meteorology

15 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 15 SEISMOLOGY[1] Fast Determination of mechanisms of important earthquakes (IPGP: E. Clévédé, G. Patau) Challenge Provide results 24h -48h after its occurrence Application to run on alert  Collect data of 30 seismic stations from GEOSCOPE worldwide network  Select stations and data  Definition of a spatial 3D grid +time  Run for example 50-100jobs Peru earthquake, 23/6/2001, Mw=8.3 Data used: 15 Geoscope Stations 5 Seisms already ported: Peru, Guadeloupe, Indonesia (Dec.), Japon, Indonesia (Feb.)

16 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 16 Korba coastal aquifer Tunisia Cape Bon Peninsula 70km south-east of Tunis 45 km Management of water resources in Mediterranean area (SWIMED) G. Lecca (CRS4 Italy), P. Renard (Unine, CH), J. Kerrou (INAT, Tunisia), R. Ababou (IMFT, Fr)

17 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 17 GEOSCIENCES Generic seismic platform software, based on Geocluster commercial software developed by CGG Includes 400 geophysical modules, implemented on EGEE Used by both academics and private companies. Free of charge for Academics, with charge for R&D

18 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 18 Status of Biomedical VO PADOVA BARI 15 resource centres ( )  17 CEs (>750 CPUs)  16 SEs 4 RBs: CNAF, IFAE, LAPP, UPV RLS, VO LDAP Server: CC-IN2P3 4 RBs 1 RLS 1 LDAP Server

19 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 19

20 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 20 Malaria Data challenge (summer 2005)

21 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 21 Philosophie et buts d’EGEE II Vers une infrastructure de grilles PERENNE au service de la recherche européenne Implications: –Fiabilité encore meilleure –Ouverture encore plus grande :  Thématique  Hétérogénité  Géographique –A la GEANT/DANTE/RENATER  Tâches d’exploitation sous traitées dans l’Industrie  Très forte implication des pays membres –Le financement des ressources informatiques EGEE-II en France : –2 nouveaux partenaires : CNES et Healthgrid –Responsabilités ~identiques –Portefeuille d’applications étendu à 5 domaines scientifiques: HEP, BIoMed, Fusion, Astrophysique, Science de la Terre

22 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 22 Au-delà d’EGEE-II Transformer EGEE-II en une infrastructure PERENNE au service de la recherche européenne Schéma actuel: créer une structure similaire à GEANT (réseau informatique à haute vitesse européen): –Club de structures nationales ( cf RENATER) coordonnées au niveau européen –Confiant les responsabilités opérationnelles à une entité (DANTE) faisant largement appel à l’industrie –Cofinancé par l’UE et les Etats membres –Grand rayonnement international Très gros handicap en France : Aucun véritable projet de grille nationale Le CNRS peut et doit jouer un rôle moteur dans la création d’une grille nationale

23 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 23 Au-delà d’EGEE-II (suite) Calendrier accéléré par l’Union Européenne: –Réunion le 28 mars 2006 à Barcelone avec l’Union Européenne, EGEE, les représentants français, espagnols et portugais –Présence du CNRS au plus haut niveau très souhaitable Contacts déjà avancés avec RENATER –OK sur le principe d’un partenariat privilégié RENATER-CNRS –Partage des tâches préliminaire disponible Il faut faire bouger le ministère! Définir également la position française sur la structure centrale : rôle, structure légale, financements, etc..

24 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 24 EGEE et le CNRS Implication très satisfaisante des laboratoires et des départements mais …. –Pas d’existence structurelle –Aucune instance d’évaluation –Manque de visibilité –Pas de forum de discussion scientifique –Financement ad hoc Cependant, le COMI a toujours soutenu DATAGRID et EGEE très fortement de 2001 à 2005 Les demandes : 1)Obtention d’un financement 2006 2)Mise en place d’une structure permettant la discussion scientifique, l’évaluation et un financement récurrent 3)Initiative forte pour promouvoir EGEE-II et une grille nationale pérenne au-delà d’EGEE-II Demande de la création d’un programme interdisciplinaire: ICAD

25 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 25 Le projet ICAD Double rôle: –Axe fort du CNRS pour les utilisateurs et pour la recherche sur les grilles –Structure fondatrice de la « National Grid Initiative » française

26 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 26 La planification budgétaire ICAD Projection 2006-2009 En 2006, 200 k€ déjà provisionnés en principe par J.F. Minster (mais plus rien de l’IN2P3) Le financement de ce programme doit être pluri_organismes : CNRS, CEA, CNES, Ministère

27 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 27 Le financement 2006 La logique des projets européens est un financement à 50% par l’Union Européenne Le CNRS recoit 1,5 M € par an de l’UE permettant l’embauche de ~20 personnes Les départements, les laboratoires impliqués et le CNRS ont soutenu EGEE autant qu’ils le peuvent : en 2005: 200 k€ de la DSG/ CNRS 35 k€ de l’IN2P3 directement à EGEE en plus du très gros effort LCG Un soutien central du CNRS est indispensable pour: –L’équipement des nœuds français –Les missions et le fonctionnement du personnel permanent Ces besoins pour 2006 sont de 240 k€ si l’on s’en tient aux activités présentes (pas de lancement d’ICAD) En 2005, énorme effort des laboratoires participants pour conserver la dynamique malgré les tensions budgétaires (budget accordé en fin Novembre 2005) Le retard français sur le matériel s’amplifie!

28 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 28 Conclusion Les grilles : Une très grande réussite en quelques années du concept à une réalité opérationnelle! « Huge infrastructure in place, other sciences embarked, very high political visibility, HEP role clearly recognised » Rôle très important de la France et du CNRS dans EGEE, notamment au cœur du secteur crucial des applications: notre mission d’ouvrir le spectre des applications d’EGEE a été réussie au-delà de toutes les espérances Il faut bâtir sur le succès d’EGEE pour donner à EGEE-II la place qui lui revient au sein du CNRS : le programme interdisciplinaire ICAD Il faut construire la suite pérenne de l’après EGEE-II: une « National Grid Initiative » française en partenariat avec RENATER et le ministère

29 Guy Wormser, Entrevue Arnold Migus, 23 Février 2006 29 ITRA Physique subatomique et cosmologie Paris Sud 4 thèmes majeurs –Propriéts des interactions fondamentales –Les constituants élémentaires –Evolution de l’Univers –Etats extrêmes de la matière Une très forte visibilité –IN2P3 LAL, IPN, CSNSM, LLR, APC, LPNHE –INSU IAS, IAP –DAPNIA –Observatoire Meudon –Laboratoires de physique théorique : LPT Orsay, CPTH, LPT Ens Les projets/moyens d’action –Accueil et enseignements (centre excellence internationale, pole master européen) –Soutien aux thémes scientifiques (post-doc, informatique) –Préparation nouveaux projets (R&D, stratégie scientifique) –Plateformes technologiques (microélectronique, R&D accélérateurs, R&D détecteurs, R&D instrumentation spatiale) Les mêmes organismes porteurs que « le triangle de la physique » : CNRS-Paris 11- CEA-Ecole Polytechnique Lettre d’intention prête pour la semaine prochaine