DataGrid, LCG, EGEE au CC Rolf Rumler Coordinateur EGEE au CC

Présentation au sujet: "DataGrid, LCG, EGEE au CC Rolf Rumler Coordinateur EGEE au CC"— Transcription de la présentation:

1 DataGrid, LCG, EGEE au CC Rolf Rumler Coordinateur EGEE au CC
Centre de Calcul de l’IN2P3 Résumé Lyon, 21 décembre 2004

2 Table des Matières DataGrid LCG EGEE Interactions Questions R. Rumler

3 DataGRID Titre: Research and Technological Development for an International Data Grid Projet européen conduit par la communauté de physique des particules organisée autour du CERN Subvention: ~10 M€ sur 3 ans ( ) pour des salaires Objectif: "To enable next generation scientific exploration which requires intensive computation and analysis of shared large-scale databases, from hundreds of terabytes to petabytes, across widely distributed scientific communities.“ R. Rumler

4 DataGRID (suite) Développer un prototype du logiciel intermédiaire (middle-ware) Déployer une plate-forme de test multi-disciplinaire Physique des particules Applications bio-médicales Observation de la terre Permettre le transfert des technologies de ce type vers l'industrie R. Rumler

5 LCG - Contenu Modèle de Calcul Ressources LCG-France Organisation
Moyens Calendrier R. Rumler

6 LCG – Modèle de Calcul Hiérarchie de centres de ressources avec des rôles différents Tier-0: Centre d’acquisition des données CERN Acquisition et filtrage de données brutes Reconstruction (summary data)  ESD Stockage des données brutes et ESD Distribution des données aux Tier-1 R. Rumler

7 LCG – Modèle de Calcul (suite)
Tier-1: centre de stockage des données à niveau national et régional Stockage de masse accessible via le middleware de grille Stockage de données brutes et reconstruites (ESD), des données de calibration et de méta-données Reconstruction Haute disponibilité des données Considéré comme « online » par le service de distribution de données depuis le Tier-0 Engagement de service à long terme Fourniture de service 24h/24, 7j/7 Distribution des données aux Tiers-2 R. Rumler

8 LCG – Modèle de Calcul (suite)
Tier-2 Stockage de données sur disque, accessible via le middleware de grille Simulation Analyse Batch et interactif Parallèle R. Rumler

9 LCG – Modèle de Calcul (suite)
IFIC MSU IC RAL/UK FNAL/US IFCA CNAF/IT UB Tier-2 Small Centres Cambridge FZK/DE Budapest IN2P3-LPC IN2P3/FR Tier-0 Legnaro PIC/SP CSCS Taipei ICEPP BNL/US Tier-1 TRIUMF Desktop/portables Rome CIEMAT USC NIKHEF Krakow R. Rumler

10 LCG - Ressources au CC 2008 CPU (k SI2000) Disque (PB) MSS (PB) Alice
Expérience CPU (k SI2000) Disque (PB) MSS (PB) Alice 1 820 0,6 0,7 Atlas 2 720 1,4 CMS 2 520 1,7 1,3 LHCb 1 900 0,3 0,1 Total 8 960 4,0 3,6 Estimation basée sur les chiffres de L. Robertson pour tous les Tiers-1, en supposant que Lyon devra fournir 20% des ressources demandées par chaque expérience. R. Rumler

11 LCG-France: Organisation
Responsables du projet Responsable Scientifique: Fairouz Ohlsson-Malek (LPSC Grenoble) Responsable Technique: Fabio Hernandez (CC-IN2P3) Comité de Pilotage Equipe de Direction R. Rumler

12 LCG-France: Calendrier (suite)
Prévisions d’augmentation de la capacité CC-IN2P3 LHC ~= 70% CC-IN2P3 LHC = 30% CC-IN2P3 R. Rumler

13 Répartition géographique Structure de l’exploitation
Aperçu EGEE - Contenu Objectifs Répartition géographique Structure de l’exploitation R. Rumler

14 EGEE: Objectifs Démontrer des services de Grille en production continue et fiable En partant des prototypes et testbeds vers une qualité industrielle Pour quelques domaines scientifiques (au moins HEP et Biomédical) Démontrer une procédure viable pour intégrer autres groupes scientifiques Implémenter un processus largement distribué d’ingénierie logicielle, tout en restant efficace et rapide Harmoniser les activités d’EGEE avec celles aux niveaux national et international R. Rumler

15 EGEE: Répartition financière
Financé par l’UE à la hauteur de 32 millions d’Euros à partir du 1er avril 2004 pour deux ans JRA1: Ingénierie logicielle JRA2: Qualité JRA3: Sécurité JRA4: Développement réseau SA1: Exploitation, support et management de la grille SA2: Approvisionnement ressources réseau NA1: Management NA2: Dissémination NA3: Formation NA4: Applications et support NA5: Politique et coopération internationale 24% Recherche commune 28% Réseau 48% Services Dans le projet EGEE, l’accent est mis sur la production et le support de l’utilisateur final R. Rumler

16 EGEE: Répartition géographique
Régions: CERN, France, Italie, GB+Irlande, Allemagne+Suisse, Europe du Nord (Belgique, Scandinavie, Pays Bas), Europe du Sud Ouest (Espagne+Portugal), Europe du Sud Est (Bulgarie, Chypre, Grèce, Israël, Roumanie), Europe Centrale (Autriche, Hongrie, Pologne, Rép. Tchèque, Slovaquie), Russie R. Rumler

17 EGEE: Structure de l’exploitation
Centres de ressources (RC) Fourniture de la puissance calcul et stockage, connectivité et débit réseau Eventuellement, services additionnels de la grille (UI, testbed de validation…) Centre d’Exploitation Régional (ROC) Support pour les RC (déploiement, communication avec CIC, OMC, OAG) Validation et éventuellement adaptation du « middleware » venant du CIC/OMC Gestion de changement (du « middleware ») Fourniture d’accès à une « CA » (autorité de certification: clés personnelles etc.) Négociation des contrats de service avec les RC (« SLA ») Monitoring des RC Site web pour la région ( R. Rumler

18 EGEE: …exploitation (2)
Pivot d’infrastructure (« CIC ») Fourniture de services uniques pour la grille Catalogue des méta-données des copies de fichiers (« RMC ») Serveurs pour l’administration des organisations virtuelles Centralisation des données de la comptabilité (« accounting data ») Monitoring de l’ensemble de l’infrastructure d’EGEE Gestion des changements de versions en coopération avec les RC Les quatre CIC fonctionnent comme une seule entité. A terme, service 24h/24, 7j/7. R. Rumler

19 EGEE: …exploitation (3)
Centre du Management de l’Exploitation (« OMC ») Coordination centrale des CIC et ROC Dépôt centrale des versions du « middleware » Contact et négociation avec d’autres grilles Participation à la standardisation des grilles Conseil d’Exploitation (« OAG » ou « NA4/SA1 working group ») Composé de représentants des applications et des RC, ainsi que des responsables des ROC et CIC Conseille l’OMC et le PO aux sujets politiques et réglementaires de l’exploitation et de son organisation Négocie les accords concernant les règlements de sécurité, d’accès aux ressources etc. R. Rumler

20 EGEE: …exploitation (4)
RC: CCIN2P3 CGG CINES CPPM DAPNIA ECP IPSL LAL LAPP LPC Clermont ROC: CCIN2P3 CIC: CCIN2P3 R. Rumler

21 Interactions DataGRID/EGEE/LCG
Au début de LCG « Middleware » initial basé sur Globus et DataGRID Peu de développement, plutôt maintenance Au début d’EGEE « Middleware » initial d’EGEE identique à celui de LCG2 Procédures de validation, intégration, mise en exploitation et monitoring initialement identiques Les « Grid Operations Centers » au Royaume-Uni et en Taiwan, complémentés par le groupe de déploiement au CERN, servaient de facto comme CIC d’EGEE Maintenant « Middleware » en transition vers une version propre à EGEE (gLite) Les ROC sont partiellement en fonction Les CIC sont largement établis (roulement de la responsabilité de surveillance) Seulement quelques ROC ont déjà leurs propres monitoring, en particulier l’Italie Au delà des quatre expériences LHC, il y en a d’autres dans EGEE (Biomed, ESR, EGEODE) R. Rumler

22 Liens LCG France: http://grid.in2p3.fr/lcg
GOC de LCG: EGEE SA1: EGEE ROC France: EGEE CIC: Détails sur RC/ROC/CIC…: Technical Annex, EDMS du CERN (nécessite un compte), R. Rumler

23 Remerciements Cette présentation est basée sur une de Fabrizio Gagliardi et deux de Fabio Hernandez. Un transparent était extrait d’une présentation d’Ian Bird. R. Rumler

24 Questions ? R. Rumler