12 mars 2004, Lyon Reunion CAF F.Chollet 1

Slides:



Advertisements
Présentations similaires
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
Advertisements

Production DC2 ATLAS David Bouvet LHC Calcul 22 juillet 2004.
Catalogues de fichiers de données. David Bouvet2 Problématique Possibilité de répliquer les fichiers sur divers SE  nécessité d’un catalogue de fichiers.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Data Management René Météry CS Tutorial EGEE.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Monitoring dans EGEE Frederic Schaer ( Judit.
INFSO-RI Enabling Grids for E-sciencE Data management Daniel Jouvenot IN2P3-LAL ORSAY - 02/02/2007.
INFSO-RI Enabling Grids for E-sciencE La gestion des données Daniel Jouvenot LAL-IN2P3-CNRS 18/06/2008.
CALCUL ATLAS LCG France (CC IN2P3 Lyon) 30 Avril SOMMAIRE Data Challenge 2 (DC2) d’ATLAS Utilisation du CC IN2P3.
05-fevrier-2007Eric Lancon1 ATLAS Bilan Planning 2007.
Réunion Calcul LHC-France 30 Avril 2004 Buts et rôles du comité MoU: discussions ? Demande urgentes Quelques propositions … F. Ohlsson-Malek, LCG-F.
Le projet MUST Méso infrastructure de calcul et de stockage ouverte sur la grille européenne LCG/EGEE Colloque Grille Rhône-Alpes 10 janvier 2008.
Fabio HERNANDEZ Responsable Grid Computing Centre de Calcul de l'IN2P3 - Lyon Lyon, 30 avril 2004 Déploiement LCG-2 au CC-IN2P3 Etat d’avancement.
Alice LCG Task Force Meeting 16 Oct 2008 BARBET Jean-Michel - 1 /20 LCGFR Marseille Juin 2010Jean-Michel BARBET Subatech 1 /22 Support de la VO Alice à.
LES FONCTIONS D'UN SYSTEME D'EXPLOITATION ● Le système d'exploitation contrôle entièrement les ressources matérielles locales. ● Il est responsable de.
Le système Raid 5 Table des matières Qu'est ce que le RAID ? Les objectifs Le raid 5 Les avantages et les inconvénients Les composants d’un Raid.
Yannick Patois 1 Utilisation LCG-France Les Technical Evolution Groups et LCG-France.
INFSO-RI Enabling Grids for E-sciencE Les projets EGEE et LCG C. Loomis (LAL-Orsay) EGEE Tutorial (Marseille) 3-4 octobre 2006.
1 Identifier les composants d’un réseau local. 2 Les composants d’un réseau Des ordinateurs, appelés stations... …munis d’une carte réseau leur permettant.
C. Charlot, Calcul CMS, LCG-DIR, fév 2007 Calcul CMS 2006 TDR de Physique CMS Physics TDR, Volume 1, CERN-LHCC , feb. 2006, 548pp CMS Physics TDR,
La Grille EGEE M. Louvin (LAL-Orsay) Tutorial EGEE Utilisateur (LAL)
Séminaire EOLE Beaune Septembre 2007
Journée Analyse D0, 19 janvier 2004
Passage de Main SYSGRID Réunion 1
L’accounting dans EGEE
GENIUS – GANGA Alternative à la CLI
Compte rendu HEPIX et CHEP2015 Stockage et gestion des données
Réunion Analyse D0 France au CCIN2P3 19 janvier 2004
C. Loomis (LAL-Orsay) Tutorial EGEE Utilisateur (LAL) 2 février 2007
Vue d'ensemble de l'utilisation du CCIN2P3 par les expériences LHC
GRIF : Grille pour la Recherche en
Etat des services grid de production
Projet eXtreme DataCloud XDC
Surveillance des services grille par NAGIOS
Pierre Girard LCG-France Tier
Pierre Girard LCG-France Tier
Fonctionnement de la grille
Consolidation des services FTS et LFC
Surveillance des services grille par NAGIOS
Etat des lieux des VO Boxes LHC
David Bouvet, David Weissenbach Observatoire de Meudon, 01-02/02/2011
Déploiement d’un LCG CE
Réunion de Coordination – Bilan des opérations LCG Hélène CORDIER
Daniel JOUVENOT Laboratoire de l’Accélérateur Linéaire (LAL–ORSAY)
Nouveaux Systèmes de stockage de données (SAN/NAS)
David Bouvet IN2P3-CC Annecy - 27/09/2007
David Bouvet LCG France T2 T3 – LPNHE
LCG –France Tier2 & AF Réunion de Coordination – Problèmes récurrents des VOs 11 Juin- 10 Septembre Hélène CORDIER.
Auteurs : David Bouvet, David Weissenbach
Suzanne Poulat - Philippe Olivero
Tutorial Utilisateurs EGEE
Quoi de neuf dans la communauté HPSS
Synthèse problèmes rencontrés par les expériences LHC au CC-IN2P3
CREAM-CE et SGE.
Août 2009.
TreqS TReqS 1.0.
Atelier régulation de la production dans un contexte grille
Résumé de la réunion PAF-CAF 12/04/2010
Bilan reprocessing données cosmiques Atlas
LCG –France Tier2 & AF Réunion de Coordination – Problèmes récurrents des VOs 10 Septembre – 21 Octobre Hélène CORDIER.
Le contenu est basé aux transparents du 7 ème édition de «Software Engineering» de Ian Sommerville«Software Engineering» de Ian Sommerville B.Shishedjiev.
ALICE Data Challenge Rappel sur l’environnement logiciel
Infrastructure Opérationnelle d’EGEE
Infrastructure Opérationnelle d’EGEE2
DC04 CMS Objectif Status Planning
LUSTRE Integration to SRM
LCG – France et ALICE Bilan 2006 Planning fevrier 2007
Résumé des Actions Suite aux Réunions CB et MB
Intégration GRIF Michel Jouvin Comité Technique GRIF 28 Novembre 2005.
Workshop dCache.
Implémentation de FTP Rappel sur FTP Relation entre un site Web et FTP
Transcription de la présentation:

12 mars 2004, Lyon Reunion CAF F.Chollet 1 LCG-2 status Présentation de Simone Campana (LCG - EIS section) ATLAS software week 02/03/04 http://agenda.cern.ch/fullAgenda.php?ida=a036305#s5 Status of LCG-2 Deployment presente par Iian Bird au dernier GDB 08/03/04 http://agenda.cern.ch/fullAgenda.php?ida=a04112 12 mars 2004, Lyon Reunion CAF F.Chollet 1

12 mars 2004, Lyon Reunion CAF F.Chollet 2 LCG-2 status Site LCG-2 CPU CERN 300 FZK 6 PIC 20 FNAL 4 CNAF 596 Nikhef 230 Taipei 2 RAL 144 Phase initiale : deploiement de pre-releases sur un nombre limite de “cores sites” (8) Prague, Budapest et Moscou sur les rangs http://grid-deployment.web.cern.ch/grid-deployment/cgi-bin/index.cgi?var=gis/lcg2Status Dernier tag lcg2_20040225_1700 : http://grid-deployment.web.cern.ch/grid-deployment/cgi-bin/index.cgi?var=download Support operationnel : http://savannah.cern.ch/bugs/?group=lcgoperation 12 mars 2004, Lyon Reunion CAF F.Chollet 2

12 mars 2004, Lyon Reunion CAF F.Chollet 3 Apport LCG-2 Manuels d’installation https://edms.cern.ch/file/434070//LCG2Install.pf http://lcgapp.cern.ch/cgi-bin/viewcvs/viewcvs.cgi/lcg2/manual-install/?cvsroot=lcgdeploy Consolidation Globus, CondorG, RB Compatibilité RLS & RM avec POOL Convention de nommage et de syntaxes (srm://, srb://, sfn://, rfio://, etc.) Apport attendu SRM (Storage Resource Manager) interface std vers les différents MSS gestion de l’espace de stockage accès transparent aux files GFAL (Grid File Access Library) .. Version file system annoncee 12 mars 2004, Lyon Reunion CAF F.Chollet 3

srm://host.domain/path/file RLS RMC SURL1 srm://host.domain/path/file GUID Grid Unique IDentifier LFN1 lfn:file LFN2 LFN3 SURL2 SURL3 SRM TURL4 SURL4 Globally Unique Identifier (GUID) – Identificateur unique de fichier “guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6” Logical File Name (LFN) – Nom logique ou alias utilisateur “lfn:atlas/20041203/run2/track1” Site URL (SURL) – Identificateur d’un replica “srm://cclcgli02.in2p3.fr/mcprod/higgs10_1” Transfer URL (TURL) – URL permettant l’acces a une copie “gsiftp://tbn03.nikhef.nl/gridstore/atlas/mcprod/higgs10_1 12 mars 2004, Lyon Reunion CAF F.Chollet 4

Grid File Access Library Interface POSIX (Open/Seek/Read/Write/Close...) Encapsule les interactions entre les différents services en jeu : replica manager, srm et le mécanisme d’accès aux fichiers Application GFAL Replica Manager OPEN listReplicas(GUID) SURL SRM get MSS TURL SRM Pin SRM File Access Protocol Open handle 12 mars 2004, Lyon Reunion CAF F.Chollet 5

12 mars 2004, Lyon Reunion CAF F.Chollet 6 Déficience LCG-2 Pb d’interoperabilité de SRM avec presque tous les autres composants (Castor, dCache, gridFTP, Replica Manager, RLS…) Disk-based SE : gridftp serveur, solution Dcache en test Accès MSS - tape via les protocoles gridftp et rfio Protocole file n’est plus supporté SRM annonce pour la release de fin mars Des interfaces SRM Castor, Enstore/dCache, HPSS existent et semblent avoir été testées Pb pour le CC : trouver un gestionnaire de cache compatible SRM pour intégration de HPSS 12 mars 2004, Lyon Reunion CAF F.Chollet 6

12 mars 2004, Lyon Reunion CAF F.Chollet 7 Grid File Access Library Physics Application Replica Manager Client SRM Client Local File I/O dCap I/O open() read() etc. rfio I/O Grid File Access Library (GFAL) SRM Service dCap rfio RM Services MSS Disk POSIX I/O GridFTP Wide Area Access 12 mars 2004, Lyon Reunion CAF F.Chollet 7

12 mars 2004, Lyon Reunion CAF F.Chollet 8 Autres limitations BDII GRIS GIIS Système d’information (en depit de la topologie et des améliorations apportées au BDII - Accord pour évaluation de R-GMA mais les tests n’ont pas encore débuté RMC centralisé Performances du Replica Manager et du RB 12 mars 2004, Lyon Reunion CAF F.Chollet 8

12 mars 2004, Lyon Reunion CAF F.Chollet 9 Migration LCG-1 LCG-2 Creation de 2 systemes d’information paralleles 1 contient tous les sites 1 contient uniquement les “core sites” certifies Migration progressive des nouveaux sites (stabilite) Un RB dedie aux nouveaux sites Debut de la migration le 8 mars Data in LCG-1 Les donnees sur disque ont ete migrees sur bande Les entrees dans le catalogue LCG1 ne seront pas migrees (avec accord des manips) Existing LCG-1 SE’s will be upgraded to LCG-2 Upgrade RLS (un par VO) 12 mars 2004, Lyon Reunion CAF F.Chollet 9

12 mars 2004, Lyon Reunion CAF F.Chollet 10 Difficultes pour le CCIN2P3 Pbs Installation des WNs -> tend a limiter les ressources qui peuvent etre incluses dans LCG Install. LCFG = install. from scratch incompatible avec des fermes en exploitation ! Dependance OS RH 7.3 Gestion des differentes installations grilles Integration BQS Modificatioans de l’information provider devraient etre incluses dans la relese LCG Coll. P.Olivero, D.Smith Config. IP Integration HPSS Compatibilite rfio (CERN/IN2P3) Implementation SE conserver la situation LCG1 Partir sur la sol. SE (WP5) Choix d’un gestionnaire de cache compatible SRM Berkeley disk cache (HRM) / adap. Xstage / dev. en partant du 12 mars 2004, Lyon Reunion CAF F.Chollet 10