LCG-France Tier-2s Tier-3s Frédérique Chollet Fabio Hernandez Fairouz Malek Forum trimestriel LCG-France Lyon, 2 mars 2009.

Slides:



Advertisements
Présentations similaires
Revenir aux basiques !. 1 Revenir aux basiques Processus Nécessité daméliorer la Maîtrise les Offres et Projets: lanalyse des causes racines montre un.
Advertisements

Planification budgétaire Tier-2s Tier-3s Fairouz Malek, Fabio Hernandez, Frédérique Chollet Comité de direction 7 juillet 2008.
Core Module 10 Advocacy: Engaging the Public Association des conseils scolaires des écoles publiques de l’Ontario (ACÉPO) Association franco-ontarienne.
Le paradoxe Jamais il n’a été aussi facile d’accéder à une masse gigantesque d’information; Jamais il n’a été aussi difficile de ‘trier’ et de synthetiser.
Gilles Dussault Politiques et gestion des ressources humaines en santé Gilles Dussault Note: I am attaching slides on the conceptual framework for the.
Alice LCG Task Force Meeting 16 Oct 2008Alice LCG Task Force Meeting 16 Oct 2008 BARBET Jean-Michel - 1/20BARBET Jean-Michel - 1/20 LCGFR Marseille Juin.
EGEE is a project funded by the European Union under contract IST Noeud de Grille au CPPM.
Transition Unit Personal Information Lesson 1
Calcul CMS: bilan CCRC08 C. Charlot / LLR LCGFR, 3 mars 2008.
Calcul CMS: bilan 2008 C. Charlot / LLR LCG-DIR mars 2009.
2-mars-2009Eric Lançon1 Nouvelles d’ATLAS Reunion LCG 2 mars 2009 Lyon.
CMS ATLAS LHCb CERN Tier 0 Centre at CERN National Centres Lab a Russia Lab c Uni n Lab b Manno Canada Uni y Uni x Tier3 physics department  Ge  Germany.
Gestion de données : Besoins de la VO Biomed Sorina Pop Laboratoire Creatis Université de Lyon, CREATIS; CNRS UMR5220; Inserm U1044; INSA-Lyon; Université.
Résumé CHEP 2010 Distributed processing and analysis Grid and cloud middleware Thèmes : 1.
Tier1 at the CC-IN2P3 March Current state at the CC-IN2P3 storage, computation, network...
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
ANR RADIA (ex-RADEC) Desintegrations radiative des particules belles.
Annual Best Practices Sessions / Ateliers annuels sur les pratiques exemplaires PERFORMANCE MONITORING, REPORTING AND EVALUATION: WHAT’S THE POINT OF.
Les Vêtements Nom Classe. Pour aller à une boum, je vais mettre… Catalogue/site web : ArticleCouleurTaillePrix Total Euros Total $
Annual Best Practices Sessions / Ateliers annuels sur les pratiques exemplaires PERFORMANCE MONITORING, REPORTING AND EVALUATION: WHAT’S THE POINT OF.
Transition EGEE SA1 FR vers Opérations France Grille
La mémoire(1): Comment bien travailler
Modèles d’interaction et scénarios
Recapitulatif des sujets abordés Frédérique Chollet Fabio Hernandez Fairouz Malek Réunion LCG-France Tier-2s & Tier-3s Paris, 20 mars 2008.
Slide 1 of Slide 2 of 35.
Slide 1 of Slide 2 of 37.
Métadonnées Travail du 13/12/07 BARRERE Thérèse COUVIDAT Simon.
Site report et IT Facilities. Site report : à retenir GPFS est toujours (de plus en plus utilisé) Les interconnects entre stockage et « calcul » sont.
Orientation 2006 by Pierrette Guimond Asssistant Director Graduate Programs School of Nursing.
TAX ON BONUSES. Cette présentation appartient à Sefico. Elle est protégée par le code de la propriété intellectuelle : toute reproduction ou diffusion.
Le programme présent  GLAST (2008, calorimètre, calibration, logiciels, LLR,CENBG,LPTA )  13 chercheurs, 2 IR, 4 thèses, 2 post docs  ¼ des coordinateurs.
2007 General Meeting Assemblée générale 2007 Montréal, Québec 2007 General Meeting Assemblée générale 2007 Montréal, Québec Canadian Institute of Actuaries.
CCP Report CSR 15 February CSR meeting Mandate CSR Advisory body to the SCC Oversees all matters regarding restaurants/cafeterias/vending machines.
Frédérique Chollet Fairouz Malek Pierre Girard Yannick Patois Réunion LCG-France, Lyon 1 er décembre 2010 Pour clore cette édition…
(Mon) Résumé (?) Fabio Hernandez Frédérique Chollet Fairouz Malek Réunion Sites LCG-France Marseille, 25 juin 2010.
Infrastructure LCG-France et Analyse de données Frédérique Chollet Fabio Hernandez Fairouz Malek Réunion CMS-France, IPHC Starsbourg, mai 2009.
Roadmap opérations Revue fin 2013 Planification 2014 Visio opérations – décembre 2013.
French leve 1 - Homework due on May 2, 2016 – vocabulary  You are given at the beginning of the year the global list of the vocabulary list of BON VOYAGE,
Cécile Barbier David Bouvet Christine Leroy L'exploitation de la grille au quotidien.
Le projet LCG-France Introduction et Informations générales Fairouz Malek Frédérique Chollet Rencontres LCG-France Novembre 2010 – CCin2p3.
Fonctionnement des sites (1 er trim.09) Frédérique Chollet Fabio Hernandez Fairouz Malek Forum trimestriel LCG-France Lyon, 6 avril 2009.
Eric Lançon1 Calcul ATLAS en France Le CAF au PAF * CAF : Calcul Atlas France *Célèbre contrepèterie.
O WHY IS IT IMPORTANT TO PLAN AHEAD FOR THE FUTURE?
CCRC’08 - phase 2 Point de vue des sites A partir des informations et de contributions de Jean-Michel Barbet Christine Leroy Eric Fede Michel Jouvin Jean-Claude.
2011/06/14 Efficacité des jobs d’Atlas Pierre Girard Réunion de travail avec Atlas CC-IN2P3, le 14 juin 2011.
Merci de remplir le formulaire et de le renvoyer à avant le 16 mai 2016 Please complete and send to
Biennale du LPNHE 2011, 20/09/ Le projet GRIF-UPMC : évolution et utilisation Liliana Martin Victor Mendoza Frédéric Derue
Conclusions (?) Fabio Hernandez Frédérique Chollet Fairouz Malek Réunion Sites LCG-France Annecy, May
Projet LCG: Vue d’Ensemble Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3 Rencontre IN2P3/STIC Grenoble, 25.
1 Le calcul LHC et son informatique à l’IN2P3 et au DAPNIA LCG-France Fairouz Malek.
EGEE is a project funded by the European Union under contract INFSO-RI Copyright (c) Members of the EGEE Collaboration Infrastructure Overview.
Groupe de travail Monitoring LCG-France / SA1-FR Christine Leroy Pierre Girard Fabio Hernandez Frédérique Chollet.
Fabio Hernandez Lyon, 9 novembre 2006 LCG-France Tier-1 Réunion de Coordination.
Tier-2 : GRIF  CEA/IRFU  LAL  LLR  LPNHE  IPNO  APC Suivi des opérations au niveau français: quelle organisation, quels outils Hélène Cordier LCG-FR.
Réunion des sites LCG France- Marseille juin ACTIVITES DU GROUPE ACCOUNTING FRANCE GRILLES Cécile Barbier (LAPP)
Resource allocation: what can we learn from HPC? 20 janvier 2011 Vincent Breton Crédit: Catherine Le Louarn.
Frédérique Chollet (LAPP) Fairouz Malek (LPSC) Temps forts du workshop WLCG Copenhague, Novembre Rencontres LCG-France, 26 – 28 Novemebre CC-IN2P3,
20-mars-2008Eric Lançon1 Activités ATLAS sur le nuage Français Emprunts a K. Bernardet, C. Biscarat, S. Jezequel, G. Rahal.
Ghita Rahal Lyon, 17 Avril 2008 Outils d’information et de suivi pour l’utilisateur.
Tier 2 au LAPP. Plan Historique Objectifs Infrastructures Status/métriques Avenir Conclusion.
EGEE induction course, 22/03/2005 INFSO-RI Enabling Grids for E-sciencE Infrastructure Overview Pierre Girard French ROC deputy.
Colloque LCG France14-15 mars SURVEILLANCE ET GESTION D’INCIDENTS Cécile Barbier (LAPP)
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Monitoring dans EGEE Frederic Schaer ( Judit.
Site Monitoring -Contexte des sites Grilles EGEE &/|| LCG -Etat des sites Francais -Le groupe de travail LCG-Fr / SA1-FR monitoring et les prochaines actions.
IGTMD réunion du 4 Mai 2007 CC IN2P3 Lyon
LCG-France Tier-1 & AF Réunion mensuelle de coordination
Résumé CB WLCG du 3 février 2005
1 ISO/TC 176/SC 2/N1219 ISO 9001:2015 Revision overview - General users July 2014.
High-Availability Linux Services And Newtork Administration Bourbita Mahdi 2016.
M’SILA University Information Communication Sciences and technology
Transcription de la présentation:

LCG-France Tier-2s Tier-3s Frédérique Chollet Fabio Hernandez Fairouz Malek Forum trimestriel LCG-France Lyon, 2 mars 2009

2 Contents Bilan de l’activité des sites  Extraits du bilan présenté en comité de pilotage  Contribution des Tier-2s  Capacités installées (collecte auprès des sites)  Utilisation CPU, disponibilité des sites (rapports WLCG)  Plan de croissance des Tier-3s  Comment mettre en valeur le rôle et la contribution des sites Tier-3s ? Discussion autour du plan de travail actuel  Discussion

3 Installed resources in Tier-2s ~3000 CPU (cores) – 1PB Growth over 2008  Data collected from sites (soon will be reported automatically to W-LCG via the information system) x 3 Source LGC-France : EDMS I EDMS I CPU : x 2 Disk : x 3

4 Installed resources in Tier-2s honour 2008 pledges and cover roughly half of the needs for 2009 Source LGC-France : EDMS I EDMS I LPC : additionnal disk capacity of 160TB being installed right now In 2008, none of the Tier-2 sites was able to purchase in advance to honor the pledges due in April 09

5 Installed resources in Tier-2s Next upgrade – April 09 Mise à jour suite au mail de M.Vetterli

6 CPU accounting all Tier-2s – all LHC experiments in 2008 Tier-2s contribution meets LCG-France target

7 Source : EGEE accounting portal WLCG Tier-2 reportsEGEE accounting portal WLCG Tier-2 reports WLCG Tier-2 Accounting monthly reports Tier-2 used CPU [% 2008 pledge] by LHC VOs April - Dec. 08 Sites not equally used Pledges fully used inc. 60% efficiency

8 Tier-2 Availability over F. Hernandez/F.Chollet/F.Malek Source: WLCG Availability and Reliability ReportsWLCG Availability and Reliability Reports 98% 91% 93% 91% 97% 95% >= 90 % VO OPS Most of Tier-2s are above the availability target of 95 % LAPP: WAN network pbs in august and september

9 Tier-3s plans for all LHC experiments Most of Tier-2s have co-located Tier-3 part (LHC resource outside MoU)  large T3 contributions foreseen in Lyon Analysis Facility and GRIF Tier-3s only : CPPM, IPNL, LPSC are ~ « used as Tier-2 » by experiments except CMS We still need clear understanding of end-user analysis requirements and T3 use case. Source LGC-France : EDMS I EDMS I LCG-France T2s LCG-France T3s LCG-France T2s

10 CPU accounting all sites – all LHC experiments (France) in F. Hernandez/F.Chollet/F.Malek Source: EGEE Accounting PortalEGEE Accounting Portal Normalised CPU time [units 1K.SI2K.Hours] by SITE T2 contribution : ~ 70 % included IN2P3-CC-T2 (co-located with Tier-1) T2 contribution outside Lyon : ~ 45 % T2 contribution : ~ 70 % included IN2P3-CC-T2 (co-located with Tier-1) T2 contribution outside Lyon : ~ 45 %

11 Bilan général pour 2008 T2s are in pretty good shape even if  very good reliability of french Tier-2 sites  no major issues were found this year during the various exercises On-going collaboration at the region level  via LCG-France management board and T2-T3 technical group  Strong collaboration with the computing experts of each experiment helps sites to deliver a better service  Optimization process will be a coordinated effort on both sides : experiments and sites  Transition to NGI – goes in same direction CNRS funding support strongly expected by Tier-2s and Tier-3s which have been funded by universities, regional government, hosting laboratories until now

12 Resource accounting required by W-LCG  On-going work needs to be followed-up by sites  Still to come : storage accounting and installed capacity reporting CPU Accounting  CPU capacity metrics used by TDRs and WLCG MoU  moving to new HEP-SPEC06 unit  data published regularly, cross-checked with local accounting  user level job accounting required : policy to be approved by the data privacy regulation authority for France (CNIL) Site availability / reliability : regular tests results (SAM), Service metrics  WLCG reports  VO-specific SAM tests and metrics will replace « generic » tests run under OPS VO Plan de travail 2009 Evolution des métriques et rapports d’utilisation W-LCG

13 Plan de travail 2009 Transition vers les HEP-SPEC06 Conclusions du groupe de travail benchmarking (G;Merino) présentées au GDB, MG, OB  Accord sur le bench spécifique HEP-SPEC06 et sur la procédure de transition  _2009_01_27.htm _2009_01_27.htm   Facteur de conversion simple HEP-SPEC06 = 4 * kSI2K  Licence achetée par le CC – Contact Pierre Larrieu  Nouvelle unité en place pour le RRB d’Avril

14 Consolidation de l’infrastructure et des services en collaboration avec EGEE-SA1-FR  Evolution du modèle EGEE actuel  Spécificités LHC - Transition NGI Poursuite de la collaboration au sein des groupes de travail SA1-FR / LCG-France  Accounting WG animé par C.Barbier (LAPP)  Monitoring WG animé par C.Leroy (Irfu) Plan de travail 2009 Consolidation services & Régionalisation

15 Intérêt d’identifier les acteurs et les expertises en France, établir des liens avec l’organisation du computing de chaque expérience Compréhension, mise en place et amélioration des canaux de communication dans le respect du modèle de chacune des expériences Des exemples au quotidien ○Utilisation Savanah vs GGUS pour CMS ○Pas de coordinateur régional Tier-2 identifié pour Alice (implication du T2 SUBATECH pour palier ce manque) ○Procédure LHCb : passage d’un site sur liste noire ○Gestion ticket GGUS par ATLAS (support-vo) Plan de travail 2009 Interaction sites - expériences

16 Suivi des activités des expériences – Optimisation de la gestion des sites  Règles de fair-share entre activités LHC – non LHC  Impact de l’utilisation opportuniste des ressources par les VOs non LHC sur la réactivité d’un site  Balance entre les différentes activités production MC – Analyse Démarrage de l’analyse – Processus d’optimisation complexe de part et d’autre  Démarrage côté ATLAS (test fonctionnel)  Limitation LAN, charge infrastructure de stockage observé  Comparaison de différents modes d’accès et protocoles  En cours côté CMS : Test limité ou activité en vraie grandeur ? Quelles conclusions ?  Evaluation par LHCb de l’utilisation de certains T2s pour l’analyse  Alice ? Plan de travail 2009 Interaction sites - expériences

17 Plan de travail Compréhension des nouveaux besoins, nouvelles évaluations requises (xrootd, CREAM CE…)  s’organiser pour planifier et mener les évaluations (DPM xrootd au CPPM, CREAM CE…) Autre chose ?