EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks LCG / EGEE-II Hélène CORDIER, CC-IN2P3 Présenté par Pierre GIRARD, CC-IN2P3

Enabling Grids for E-sciencE EGEE-II INFSO-RI Plan Les projets grille dans le monde EGEE et LCG Les spécificités de LCG Les missions d’EGEE Conclusion

Enabling Grids for E-sciencE EGEE-II INFSO-RI Les projets grilles Access Grid DISCOM DOE Science Grid Condor ESG (Earth System Grid) Fusion Collaboratory Globus GrADSoft (Grid Application Development Software) Grid Canada GRIDS (Grid Research Integration Development & Support Center) GriPhyN (Grid Physics Network) iVDGL (International Virtual Data Grid Laboratory) Music Grid NASA Information Power Grid NCSA Alliance Access Grid AstroGrid AVO (Astrophysical Virtual Observatory) Comb-e-chem CrossGrid DAME (Distributed Aircraft Maintenance Environment) DAMIEN (Distributed Applications and Middleware for Industrial Networks) DataTAG Discovery Net DutchGrid EDG (European DataGrid) EGSO (European Grid of Solar Observations) GEODISE (Grid Enabled Optimisation & Design Search for Engineering) GRIA (Grid Resources for Industrial Applications) Grid-Ireland GridLab (Grid Application Toolkit and Testbed) GridPP LCG (LHC Computing Grid) MyGrid NGIL (National Grid for Learning Scotland) NorduGrid (Nordic Testbed for Wide Area Computing and Data Handling) PIONIER Grid Reality Grid ScotGrid ApGrid ApBioNet Grid Forum Korea PRAGMA (Rim Applications and Grid Middleware Assembly) Grid Datafarm for Petascale Data Intensive Computing Gridbus Project

Enabling Grids for E-sciencE EGEE-II INFSO-RI Les projets majeurs EGEE-II –Enabling Grids for e-Science (mondial) LCG –LHC Computing Grid (mondial) OSG –Open Science Grid (Etats-Unis) Nordugrid –Nordic Testbed for Wide Area Computing and Data Handling (pays nordique européenne) DEISA –Distributed European Infrastructure for Supercomputing Applications (européenne)

Enabling Grids for E-sciencE EGEE-II INFSO-RI Le projet LCG LHC Computing Grid –Démarré en même temps que EGEE –Doit continuer jusqu’à la fin du LHC (~20 ans) –Financé par les états du CERN –Fournir une grille mondiale pour les expériences LHC 40 m 20 m 7000 tons ATLAS Image: ATL-PHO-GEN ATLAS: 24h/24, 7j/ Go/s données bruts ~1 Po/année 10x plus pour la simulation

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG (organisation) Tier-1 Tier-0 10 Gbps links Trigger and Data Acquisition System Tier-2 Tous les Tier-2 peuvent accéder à tous lesTier-1 Les Tier-1s échangent des données entre eux. Tous les Tier-2 peuvent accéder à tous lesTier-1 Les Tier-1s échangent des données entre eux. General Purpose/Academic/Research Network

Enabling Grids for E-sciencE EGEE-II INFSO-RI Tier-0 to Tier-1 Les transferts de données dans le monde sont supérieurs à 950MB/s pour 1 semaine donnée – Avril Le taux de transfert max en provenance du CERN est de 1.6GB/s Les taux de transfert à haut débit à partir de et vers le CERN doit être atteint de façon routinière.

Enabling Grids for E-sciencE EGEE-II INFSO-RI Sustained Data Rates CERN  Tier-1s CentreALICEATLASCMSLHCbRate into T1 MB/sec (pp run) ASGC, TaipeiXX100 CNAF, ItalyXXXX200 PIC, SpainXXX100 IN2P3, LyonXXXX200 GridKA, GermanyXXXX200 RAL, UKXXX150 BNL, USAX200 FNAL, USAX200 TRIUMF, CanadaX50 NIKHEF/SARA, NLXXX150 Nordic Data Grid FacilityXX50 Totals1,600 L’objectif nominatif est le double de ces taux pour pouvoir rattrapper le manque après des interrupions. Ceci est requis aussi pour les transferts T1-T2 et …

Enabling Grids for E-sciencE EGEE-II INFSO-RI Le projet EGEE EGEE –1 Avril 2004 – 31 Mars2006 –71 partenaires dans 27 pays, fédérés en grilles régionales EGEE-II –1 Avril 2006 – 31 Mars 2008 –91 partenaires dans 32 pays –13 Fédérations Objectifs –Mettre en place une infrastructure de productionà grande échelle pour les applications de e-Science –Attirer de nouvelles ressources et de nouveaux utilisateurs du monde de l’industrie comme du monde de la recherche –Améliorer et Maintenir l’intergiciel de grille “gLite”

Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE-II Activities Service Activities –SA1 – Grid Operations, Support and Management (CERN) –SA2 – Networking Support (CNRS) –SA3 – Integration, Testing and Certification (CERN) Joint Research Activities –JRA1 – Middleware Re-engineering (INFN) –JRA2 – Quality Assurance (CS-SI) Networking Activities –NA1 – Management (CERN) –NA2 – Dissemination, Outreach and Communication (CERN) –NA3 – Training and Induction (UEdin) –NA4 – Application Identification and Support (CNRS) –NA5 – Policy and International Cooperation (GRNET)

Enabling Grids for E-sciencE EGEE-II INFSO-RI De l’utilisation actuelle Organisations virtuelles – Jan 2007 –115 enregistrées dans le portail des opérations –App. Dep. Plan ( Domaines : –Physique des hautes énergies –Biologie –Science de la terre –Fusion –Astrophysique –« Computational Chemistry » –Finance, bibliothèques numériques, nanotechnologie, …

Enabling Grids for E-sciencE EGEE-II INFSO-RI vers … la mission d’EGEE Infrastructure –Manage and operate production Grid for European Research Area –Interoperate with e-Infrastructure projects around the globe –Contribute to Grid standardisation efforts Support applications from diverse communities –Astrophysics –Computational Chemistry –Earth Sciences –Finance –Fusion –Geophysics –High Energy Physics –Life Sciences –Multimedia –… Business –Forge links with the full spectrum of interested business partners + Disseminate knowledge about the Grid through training + Prepare for sustainable European Grid Infrastructure

Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE – What do we deliver? Infrastructure operation –Currently includes >200 sites across 39 countries –Continuous monitoring of grid services in a distributed global infrastructure –Automated site configuration/management Middleware –Production quality middleware distributed under business friendly open source licence User Support - Managed process from first contact through to production usage –Training –Documentation –Expertise in grid-enabling applications –Online helpdesk –Networking events (User Forum, Conferences etc.) Future –Expand on interoperability with related infrastructures

Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE-II Cross-Activities Groups Security –MWSG  Consistent usage of security framework in m/w  Coordination with related projects –JSPG  Operational security issues  Coordination with related projects –Vulnerability Group VO Support –OAG – Operation Advisory Group  Resource allocation to VOs –UIG –User Information Group  Organization of EGEE documentation –VO Managers Group – NEW!  Link between the project and VOs Industry Relations –Industry Forum –Industry Task Force – NEW! Technical Coordination Group – TCG – NEW!

Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE-II Program of Work Formally defined in DoW: Defines 51 deliverables and 89 milestones –Contain quarterly and periodic (1 year) reports (QR and PR) –Are reviewed internally to assure they are of high quality –EU will evaluate the project against deliverables; achievement of milestones needs to be reported to EU in quarterly reports Details can also be found at jra2.web.cern.ch/EGEE-JRA2/EGEE- II/Deliverables/DeliverablesScope.htmhttp://egee- jra2.web.cern.ch/EGEE-JRA2/EGEE- II/Deliverables/DeliverablesScope.htm

Enabling Grids for E-sciencE EGEE-II INFSO-RI SA1 - Organisation

Enabling Grids for E-sciencE EGEE-II INFSO-RI Utilisation Organisations Virtuelles fev. ’06 jan. ’07

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG-France, les sites projet LCG : Les expériences de EGEE-Fr utilisent l’infrastructure du projet LCG-Fr et la plupart des sites de LCG-Fr offrent des ressources à certaines des expériences hors LHC. Participation aux activités SA1, NA4 –Exemple: CEA : 24 hommes/mois (SA1) et 18 hommes/mois (NA4) Les partenaires planifiés heures/mois pour SA1 –CGG  6% –CEA  4% –CSSI  8% –CNRS  82%

Enabling Grids for E-sciencE EGEE-II INFSO-RI LCG-France: Sites Tier-2: Subatech Nantes Tier-2: LPC Clermont- Ferrand Tier-3: CPPM Marseille Tier-3: CPPM Marseille Tier-2: GRIF CEA/DAPNIA LAL LLR LPNHE IPNO Tier-2: GRIF CEA/DAPNIA LAL LLR LPNHE IPNO Centre d’Analyse - Lyon Tier-3: LAPP Annecy Tier-3: LAPP Annecy Tier-1: CC-IN2P3 Lyon Tier-3: IPHC Strasbourg Tier-3: IPHC Strasbourg

Enabling Grids for E-sciencE EGEE-II INFSO-RI Utilisation en FRANCE Organisations Virtuelles Normalized Elapsed Time

Enabling Grids for E-sciencE EGEE-II INFSO-RI Etat des ressources au début d’ EGEE II Storage –Disk: ~32 TB (Classic SE, DPM SE, Dcache SE) –Tape: ~1,2 PB (HPSS)

Enabling Grids for E-sciencE EGEE-II INFSO-RI Résumé La technologie grille a atteint une maturité qui est intéressante pour divers instituts, expériences, et chercheurs. Le projet EGEE collabore avec les autres projets pour fournir une infrastructure informatique mondiale – OSG, NAREGGI et Nordugrid SA1 : Infrastructure –Grille de production disponible. –Ça inclut ~200 sites dispersés dans le monde entier. JRA1 : « Middleware » –EGEE fournit le « middleware » de base. –Les développeurs continuent d’améliorer les softs. NA4 : Applications –Des chercheurs de 15 domaines différentes utilisent la grille. –La grille est une infrastructure collaborative pour les chercheurs. Thanks to Fabio Hernandez, Erwin Laure, Bob Jones, Tony Doyle, Pierre Girard, Cal Loomis Questions?