Etat des lieux des VO Boxes LHC

Slides:



Advertisements
Présentations similaires
Alice LCG Task Force Meeting 16 Oct 2008Alice LCG Task Force Meeting 16 Oct 2008 BARBET Jean-Michel - 1/20BARBET Jean-Michel - 1/20 LCGFR Marseille Juin.
Advertisements

EGEE is a project funded by the European Union under contract IST Noeud de Grille au CPPM.
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
Production DC2 ATLAS David Bouvet LHC Calcul 22 juillet 2004.
ATLAS Ghita Rahal CC-IN2P3 Novembre 9, /6/2006Réunion CAF2 Activités Création et externalisation d’outils de monitoring de l’état du T1 (CPU,
LHCb DC06 status report (LHCb Week, 13/09/06) concernant le CC : –Site currently fine / stable 3% of simulatated events 30% of reconstructed events –Site.
Monitoring: état et perspectives Cette présentation fera le point sur le travail effectué au sein du groupe de travail, créé au sein de LCG-France et EGEE.
Catalogues de fichiers de données. David Bouvet2 Problématique Possibilité de répliquer les fichiers sur divers SE  nécessité d’un catalogue de fichiers.
EGEE is a project funded by the European Union under contract INFSO-RI Copyright (c) Members of the EGEE Collaboration Infrastructure Overview.
Mercredi 22 juin 2016 Suivi des jobs grille Colloque LCG France Mars 2007.
08/02/2007 Site Grille : Ambitions 2007 Pierre Girard LCG-France Tier
05-fevrier-2007Eric Lancon1 ATLAS Bilan Planning 2007.
Nombre de job slot par machine Server_priv/node. Node1 np=2 Règle de 1 core = 1 job slot = 2 Go. Sur un bi-processeur bi-core on annonce alors np=4 Pas.
Le projet MUST Méso infrastructure de calcul et de stockage ouverte sur la grille européenne LCG/EGEE Colloque Grille Rhône-Alpes 10 janvier 2008.
Fabio HERNANDEZ Responsable Grid Computing Centre de Calcul de l'IN2P3 - Lyon Lyon, 30 avril 2004 Déploiement LCG-2 au CC-IN2P3 Etat d’avancement.
Alice LCG Task Force Meeting 16 Oct 2008 BARBET Jean-Michel - 1 /20 LCGFR Marseille Juin 2010Jean-Michel BARBET Subatech 1 /22 Support de la VO Alice à.
Alice LCG Task Force Meeting 16 Oct 2008 BARBET Jean-Michel - 1 /20 LCGFR-T2T3, Annecy Mai 2009Jean-Michel BARBET Subatech 1 /18 IN2P3-SUBATECH :
Facilité d'Analyse au CC-IN2P3 (LAF) Renaud Vernet Journées LCG France 22 novembre 2010.
Yannick Patois 1 Utilisation LCG-France Les Technical Evolution Groups et LCG-France.
ALICE February/March exercise summary Latchezar Betev WLCG Collaboration Workshop 22 April 2008.
Gestion des données : DDM Distributed Data Management
LCG-France Tier-1 & AF Réunion mensuelle de coordination
Devenir d’AFS et remplacement progressif
Passage de Main SYSGRID Réunion 1
Le nœud de grille de calcul de l'IPHC dans CMS
Réunion Analyse D0 France au CCIN2P3 19 janvier 2004
Vue d'ensemble de l'utilisation du CCIN2P3 par les expériences LHC
Planification budgétaire Tier2s & Tier-3s Etat d’avancement
GRIF : Grille pour la Recherche en
Etat des services grid de production
12 mars 2004, Lyon Reunion CAF F.Chollet 1
Surveillance des services grille par NAGIOS
Status des problèmes d’accès à la software area de LHCb
Pierre Girard LCG-France Tier
Fonctionnement de la grille
Consolidation des services FTS et LFC
Activités présentes et à venir
Surveillance des services grille par NAGIOS
2ème coloque LCG-France
Configuration FTS pour CMS
Déploiement d’un LCG CE
Réunion de Coordination – Bilan des opérations LCG Hélène CORDIER
Réunion coordination WLCG Lyon, le 13 mars 2008
Etat actuel et perspectives des CEs
Consolidation des services de grille de production
CeMEB La plateforme MBB
LCG-France Tier-1 & AF Réunion mensuelle de coordination
David Bouvet LCG France T2 T3 – LPNHE
LCG –France Tier2 & AF Réunion de Coordination – Problèmes récurrents des VOs 11 Juin- 10 Septembre Hélène CORDIER.
Jobs ATLAS sur la grille
Utilisation effective de la Grille par ATLAS S. Jézéquel (LAPP)
CeMEB La plateforme MBB
Synthèse problèmes rencontrés par les expériences LHC au CC-IN2P3
CREAM-CE et SGE.
TreqS TReqS 1.0.
Les centres d’analyse: introduction
Atelier régulation de la production dans un contexte grille
Organisation LCG-France Lien avec le computing LHC
Prise en main Emmanuel Braux Institut Mines Telecom / Télécom Bretagne
LCG –France Tier2 & AF Réunion de Coordination – Problèmes récurrents des VOs 10 Septembre – 21 Octobre Hélène CORDIER.
Infrastructure Opérationnelle d’EGEE
GRIF : Site EGEE au Service de la Recherche en IdF
Introduction à GENIUS et GILDA
Infrastructure Opérationnelle d’EGEE2
DC04 CMS Objectif Status Planning
Comité Scientifique GRIF
Efficacité des jobs CMS en 2010
LCG – France et ALICE Bilan 2006 Planning fevrier 2007
Résumé des Actions Suite aux Réunions CB et MB
Michel Jouvin LAL/Orsay
Transcription de la présentation:

Etat des lieux des VO Boxes LHC vendredi 20 juillet 2018vendredi 20 juillet 2018 Etat des lieux des VO Boxes LHC David Bouvet LCG France T1 & AF

ALICE : 1 VO Box ATLAS : 3 VO Box CMS : 3 VO Box LHCb : 1 VO Box VO Boxes LHC au CC ALICE : 1 VO Box cclcgalice ATLAS : 3 VO Box cclcgatlas, cclcgatlas02, cclcgatlas03 CMS : 3 VO Box cclcgcms, cclcgcms01, cclcgcms02 LHCb : 1 VO Box cclcglhcb

Caractéristiques communes Installation de la couche UI gsissh (port 1975) restreint au CERN avec grid-mapfile mapping sur compte local (non AFS) le grid-mapfile est peuplé manuellement Certificat machine proxy-renewal lcg_env lancé au login pour accéder à l’installation partagée des UI au CC lcg_env utilisé par le soft des VO ⇨ redémarrage des services lors du changement de version de lcg_env Monitoring hardware (SMURF)

ALICE ALICE requirements : https://twiki.cern.ch/twiki/pub/LCG/VoBoxesInfo/VO-Box-security-policy_v05.doc Matériel cclcgalice : 4 CPU, 4 GB RAM, SL3 /vo : 8 Go ⇨ 10 Go requis /tmp : 2 Go ⇨ 4-6 Go serait plus confortable Responsable opération (déploiement et gestion) de la partie spécifique à laVO Patricia Mendez, Latchezar Betev Monitoring (soft) : central à la VO Soft ALICE soft installé dans $VO_ALICE_SW_DIR partagé avec les WN (5 Go requis) AliEn SA (Storage Adapter) : interface au stockage local FTD (File Transfer Daemon) : agent de soumission de transferts (utilise FTS) xrootd : pour l’accès au fichier SP (Site Proxy) : local queue monitoring MonALISA : agent de monitoring général PM (PackMan) : application pour le déploiement et la gestion du soft SCA (Site Computing Agent) : interface avec le batch local ou le RB AMON (Agent Monitoring) : monitoring des agents et services de la VO Box daemon proofd pour l’analyse avec PROOF

Publication de la VO Box serait la bienvenue ALICE Backup ⇨ requis /opt/vobox /vo Publication de la VO Box serait la bienvenue Migration SL4 + gLite 3.1 asap Quid de /opt/vobox/cms et /vo/cms ? installés par Artem, plus utilisé depuis son départ : il faut les enlever

ATLAS ATLAS requirements : https://twiki.cern.ch/twiki/pub/Atlas/DDMVOBoxRequirements/VO-Box-Operations-ATLAS.pdf Matériel cclcgatlas : 4 CPU, 4 GB RAM, SL3 /vo : 8 Go /var : 1 Go /scratch : 8 Go montage /pnfs cclcgatlas02 : 4 CPU, 6 GB RAM, SL3 /var : 16 Go /scratch : 50 Go montage /sps accès en ssh car incompatibilité entre /sps et gsissh cclcgatlas03 : 4 CPU, 4GB RAM, SL3 Responsable opération (déploiement et gestion) de la partie spécifique à laVO Ghita, Catherine Monitoring (soft) : central à la VO

ATLAS Soft ATLAS cclcgatlas : cclcgatlas03 : cclcgatlas02 : anciennement DDM (Data Distribution Manager) qui a été migré sur une VO Box du CERN script de vérification de cohérence de fichiers enregistrés dans dCache. largement sous utilisé cclcgatlas03 : pas de répertoire /opt/vobox, pas de proxy-renewal montée pour pouvoir être mappé sur atlagrid au lieu de atlassgm pour pouvoir agir sur les fichiers dCache (qui appartiennent à atlagrid) fermée à partir du 15 avril cclcgatlas02 : PANDA : service d’envoi de jobs de production dans les Tiers. PANDA nécessite les softs suivants Apache CONDOR MySQL : installé sous root et démarré sous atlassgm crons bientôt eLog Pourquoi Panda est-t-il installé sous /scratch (50 Go) et pas sous /vo ?

ATLAS Backup Migration SL4 : Machine de secours : /vo /opt/vobox Migration SL4 : pas de prévision, mais il serait intéressant d’utiliser cclcgatlas03 pour faire des tests Machine de secours : cclcgatlas03 pourrait être utilisée Problème posé par ATLAS : installation sous root de certains soft nécessaires à la VO (ex.: apache, MySQL)

CMS CMS requirements : https://twiki.cern.ch/twiki/bin/view/CMS/CmsComputingVoBoxOperations Matériel cclcgcms : 4 CPU, 4 GB RAM, SL3 /vo : 8 Go montage /pnfs /squid : 99 Go cclcgcms01 : 8 cœurs, 16 GB RAM, SL4/32 /vo : 250 Go cclcgcms02 : 4 CPU, 4 GB RAM, SL3 /vo : 110 Go Responsable opération (déploiement et gestion) de la partie spécifique à laVO Nelli, Farida Monitoring (soft) : central à la VO

CMS Soft CMS cclcgcms cclcgcms01 cclcgcms02 PhEDEx : gestionnaire des transferts de CMS SQUID cclcgcms01 juste livré donc rien pour le moment soft prévu : PhEDEx, SQUID cclcgcms02 pas de répertoire /opt/vobox, pas de proxy-renewal SQUID installé (complètement ?) mais pas lancé sera utilisé comme machine de secours (à voir avec CMS)

Quid de /opt/vobox/alice et /vo/alice ? CMS Backup /vo /opt/vobox Migration SL4 en cours pour PhEDEx SQUID peut tourner sur SL4 Quid de /opt/vobox/alice et /vo/alice ? idem que pour VO Box ALICE; installés par Artem, plus utilisé depuis son départ : il faut les enlever

LHCb LHCb requirements : https://twiki.cern.ch/twiki/bin/viewfile/LHCb/LHCbTaskForce?rev=1;filename=LHCb_VO-box_mod_23102006.pdf Matériel cclcglhcb : 4 CPU, 4 GB RAM /vo : 8 Go pas de proxy renewal Responsable opération (déploiement et gestion) de la partie spécifique à laVO Raja Nandakumar, Roberto Santinelli Monitoring (soft) : central à la VO Soft LHCb DIRAC : It is intended to help us perform data management as needed, in a fault-tolerant manner. It also runs a backup configuration service to handle queries from jobs about the latest LHCb DIRAC configuration. Backup /vo /opt/vobox/lhcb pas utilisé Migration sur SL4 quand on veut

Conclusions Besoin d’harmoniser l’installation de base des VO Box même si certaines choses ne sont pas utilisées par les VO ex.: pas de /opt/vobox sur cclcgatlas03, pas de proxy renewal sur cclcglhcb ⇨ en cours (Pierre) Migration SL4/32 : ALICE, CMS, LHCb : OK ATLAS demande à tester Backup : rien de fait pour le moment SLA en cours pour les VO Box qui contiendra ce point Responsabilité : à définir plus précisément dans le SLA en cours Actuellement : CC : hardware + installation de base (couche UI, gsissh, proxy-renewal, certificat) VO : soft installé par leurs soins + /vo Les VO doivent être claires sur quelles sont les VO Box de production et celles de tests. Le nombre de VO Box de tests doit être limité.

A faire ALICE : ATLAS : CMS : LHCb enlever /vo/cms et /opt/vobox/cms augmentation de /vo à 10 Go (minimum requis) augmentation /tmp à 4-6 Go pour confort publication de la VO Box ( test SAM critique sur gsissh) migration SL4 + gLite 3.1 ATLAS : test SL4 sur cclcgatlas03 CMS : enlever /vo/alice et /opt/voboc/alice sur cclcgcms migration SL4 LHCb