LCG-France Tier-2s Tier-3s Frédérique Chollet Fabio Hernandez Fairouz Malek Forum trimestriel LCG-France Lyon, 2 mars 2009.

Présentation au sujet: "LCG-France Tier-2s Tier-3s Frédérique Chollet Fabio Hernandez Fairouz Malek Forum trimestriel LCG-France Lyon, 2 mars 2009."— Transcription de la présentation:

1 LCG-France Tier-2s Tier-3s Frédérique Chollet Fabio Hernandez Fairouz Malek Forum trimestriel LCG-France Lyon, 2 mars 2009

2 2 Contents Bilan de l’activité des sites  Extraits du bilan présenté en comité de pilotage  Contribution des Tier-2s  Capacités installées (collecte auprès des sites)  Utilisation CPU, disponibilité des sites (rapports WLCG)  Plan de croissance des Tier-3s  Comment mettre en valeur le rôle et la contribution des sites Tier-3s ? Discussion autour du plan de travail actuel  Discussion

3 3 Installed resources in Tier-2s ~3000 CPU (cores) – 1PB Growth over 2008  Data collected from sites (soon will be reported automatically to W-LCG via the information system) x 3 Source LGC-France : EDMS I-012421EDMS I-012421 CPU : x 2 Disk : x 3

4 4 Installed resources in Tier-2s 31.12.08 honour 2008 pledges and cover roughly half of the needs for 2009 Source LGC-France : EDMS I-012421EDMS I-012421 LPC : additionnal disk capacity of 160TB being installed right now In 2008, none of the Tier-2 sites was able to purchase in advance to honor the pledges due in April 09

5 5 Installed resources in Tier-2s Next upgrade – April 09 Mise à jour suite au mail de M.Vetterli

6 6 CPU accounting all Tier-2s – all LHC experiments in 2008 Tier-2s contribution meets LCG-France target

7 7 Source : EGEE accounting portal WLCG Tier-2 reportsEGEE accounting portal WLCG Tier-2 reports WLCG Tier-2 Accounting monthly reports Tier-2 used CPU [% 2008 pledge] by LHC VOs April - Dec. 08 Sites not equally used Pledges fully used inc. 60% efficiency

8 8 Tier-2 Availability over 2008 8 F. Hernandez/F.Chollet/F.Malek Source: WLCG Availability and Reliability ReportsWLCG Availability and Reliability Reports 98% 91% 93% 91% 97% 95% >= 90 % VO OPS Most of Tier-2s are above the availability target of 95 % LAPP: WAN network pbs in august and september

9 9 Tier-3s plans 2008-2012 for all LHC experiments Most of Tier-2s have co-located Tier-3 part (LHC resource outside MoU)  large T3 contributions foreseen in Lyon Analysis Facility and GRIF Tier-3s only : CPPM, IPNL, LPSC are ~ « used as Tier-2 » by experiments except CMS We still need clear understanding of end-user analysis requirements and T3 use case. Source LGC-France : EDMS I-008142EDMS I-008142 LCG-France T2s LCG-France T3s LCG-France T2s

10 10 CPU accounting all sites – all LHC experiments (France) in 2008 10 F. Hernandez/F.Chollet/F.Malek Source: EGEE Accounting PortalEGEE Accounting Portal Normalised CPU time [units 1K.SI2K.Hours] by SITE T2 contribution : ~ 70 % included IN2P3-CC-T2 (co-located with Tier-1) T2 contribution outside Lyon : ~ 45 % T2 contribution : ~ 70 % included IN2P3-CC-T2 (co-located with Tier-1) T2 contribution outside Lyon : ~ 45 %

11 11 Bilan général pour 2008 T2s are in pretty good shape even if  very good reliability of french Tier-2 sites  no major issues were found this year during the various exercises On-going collaboration at the region level  via LCG-France management board and T2-T3 technical group  Strong collaboration with the computing experts of each experiment helps sites to deliver a better service  Optimization process will be a coordinated effort on both sides : experiments and sites  Transition to NGI – goes in same direction CNRS funding support strongly expected by Tier-2s and Tier-3s which have been funded by universities, regional government, hosting laboratories until now

12 12 Resource accounting required by W-LCG  On-going work needs to be followed-up by sites  Still to come : storage accounting and installed capacity reporting CPU Accounting  CPU capacity metrics used by TDRs and WLCG MoU  moving to new HEP-SPEC06 unit  data published regularly, cross-checked with local accounting  user level job accounting required : policy to be approved by the data privacy regulation authority for France (CNIL) Site availability / reliability : regular tests results (SAM), Service metrics  WLCG reports  VO-specific SAM tests and metrics will replace « generic » tests run under OPS VO Plan de travail 2009 Evolution des métriques et rapports d’utilisation W-LCG

13 13 Plan de travail 2009 Transition vers les HEP-SPEC06 Conclusions du groupe de travail benchmarking (G;Merino) présentées au GDB, MG, OB  Accord sur le bench spécifique HEP-SPEC06 et sur la procédure de transition  https://twiki.cern.ch/twiki/pub/LCG/MbMeetingsMinutes/LCG_Management_Board _2009_01_27.htm https://twiki.cern.ch/twiki/pub/LCG/MbMeetingsMinutes/LCG_Management_Board _2009_01_27.htm  https://twiki.cern.ch/twiki/bin/view/FIOgroup/TsiBenchHEPSPEC https://twiki.cern.ch/twiki/bin/view/FIOgroup/TsiBenchHEPSPEC  Facteur de conversion simple HEP-SPEC06 = 4 * kSI2K  Licence achetée par le CC – Contact Pierre Larrieu  Nouvelle unité en place pour le RRB d’Avril

14 14 Consolidation de l’infrastructure et des services en collaboration avec EGEE-SA1-FR  Evolution du modèle EGEE actuel  Spécificités LHC - Transition NGI Poursuite de la collaboration au sein des groupes de travail SA1-FR / LCG-France  Accounting WG animé par C.Barbier (LAPP)  Monitoring WG animé par C.Leroy (Irfu) Plan de travail 2009 Consolidation services & Régionalisation

15 15 Intérêt d’identifier les acteurs et les expertises en France, établir des liens avec l’organisation du computing de chaque expérience Compréhension, mise en place et amélioration des canaux de communication dans le respect du modèle de chacune des expériences Des exemples au quotidien ○Utilisation Savanah vs GGUS pour CMS ○Pas de coordinateur régional Tier-2 identifié pour Alice (implication du T2 SUBATECH pour palier ce manque) ○Procédure LHCb : passage d’un site sur liste noire ○Gestion ticket GGUS par ATLAS (support-vo) Plan de travail 2009 Interaction sites - expériences

16 16 Suivi des activités des expériences – Optimisation de la gestion des sites  Règles de fair-share entre activités LHC – non LHC  Impact de l’utilisation opportuniste des ressources par les VOs non LHC sur la réactivité d’un site  Balance entre les différentes activités production MC – Analyse Démarrage de l’analyse – Processus d’optimisation complexe de part et d’autre  Démarrage côté ATLAS (test fonctionnel)  Limitation LAN, charge infrastructure de stockage observé  Comparaison de différents modes d’accès et protocoles  En cours côté CMS : Test limité ou activité en vraie grandeur ? Quelles conclusions ?  Evaluation par LHCb de l’utilisation de certains T2s pour l’analyse  Alice ? Plan de travail 2009 Interaction sites - expériences

17 17 Plan de travail Compréhension des nouveaux besoins, nouvelles évaluations requises (xrootd, CREAM CE…)  s’organiser pour planifier et mener les évaluations (DPM xrootd au CPPM, CREAM CE…) Autre chose ?