SRB (Storage Resource Broker)

Présentation au sujet: "SRB (Storage Resource Broker)"— Transcription de la présentation:

1 SRB (Storage Resource Broker)
Un outil de distribution de données inter-sites. Jean-Yves Nief – CCIN2P3

2 SRB en quelques mots. Fournit une interface uniforme pour se connecter à des données hétérogènes (stockés sur bande, disque, base de données) distribuées dans de multiples sites. Développé par le SDSC (UC San Diego). Qui utilise SRB ? Biologie: BIRN (Biomedical Informatic Research Network). NASA: sciences de l’environnement. Sciences de la Terre. HEP: CMS, BaBar, Belle, JLab etc… Secteur privé: General Atomics. Serveurs déployés aux USA, UK, France, Allemagne, Japon, Corée etc.. SRB - 01/12/03 - CC-IN2P3

3 Architecture. Nécessite:
1 serveur SRB + MetaCatalog (MCAT): contient la liste de tous les fichiers enregistrés dans SRB, ressources physiques, utilisateurs (droits etc…). Un ensemble de serveurs SRB (accés à l’emplacement physique des fichiers). SRB Site 3 SRB MCAT (3) (4) (2) Site 1 test1.txt SRB Site 2 (1) Appli. (demande test1.txt) SRB - 01/12/03 - CC-IN2P3

4 Architecture (suite). SRB porté sur de multiples plateformes: Linux.
Solaris. AIX. etc.. MCAT, base de données: Oracle. DB2. Sybase. PostGreSQL. SRB - 01/12/03 - CC-IN2P3

5 Quelques fonctionnalités.
Permet l’accés, via des commandes à la sauce Unix, aux données à partir de leurs attributs au lieu de leur nom et emplacement physique (site, type de stockage). Ex: > Sinit # connection au serveur SRB > Sls /home/nief.ccin2p3 # liste des fichiers du # répertoire /home/nief.ccin2p3 evs_g_isPhysicsEvents_aod004051 test1.txt Scd, Spwd … pour naviguer dans l’espace des noms logiques. SRB - 01/12/03 - CC-IN2P3

6 Quelques fonctionnalités (suite).
Pour copier chez soi evs_g_isPhysicsEvents_aod004051: > Sget evs_g_isPhysicsEvents_aod <filename> Métadonnées associées aux fichiers. Ex: > SgetD evs_g_isPhysicsEvents_aod004051 data-name : evs_g_isPhysicsEvents_aod004051 path_name: /objydatabases/theData/resident/…. data_grp_name: /home/srbbbr.frslac/import/fdb/0103/aod data_size: phys_rsrc_name: hpss-ccbbsn04 # accés transparent aux fichiers dans HPSS Possibilités d’ajouter ses propres meta-données. SRB - 01/12/03 - CC-IN2P3

7 Quelques fonctionnalités (suite).
Interface avec MSS (HPSS, Castor etc…). Ressources logiques: ensembles de ressources physiques. Ex: ressources physiques: ccasn01-unix: file system Lyon ccbbsn04-hpss: hpss file Lyon hostCern-castor: Castor file CERN Mettre un fichier dans ces 3 ressources en même temps: > Sput –S logical-res test1.txt <SRB filename> logical-res SRB - 01/12/03 - CC-IN2P3

8 MCATs fédérés (« peer to peer »).
SRB V3: 2 serveurs SRB-MCAT (ou +) peuvent maintenant se connecter l’un à l’autre. Nouvelle notion de zones.  Redondance, système plus robuste en cas d’absence de l’un des serveurs MCAT. SRB MCAT site 1’ SRB MCAT site 1 Zone A Zone B SRB SRB site 2’ site 2 SRB - 01/12/03 - CC-IN2P3

9 Administration du MCAT.
Commandes lignes pour: Déclaration des ressources physiques et logiques. Création de nouveaux utilisateurs, gestion des droits, tickets (droit temporaire). Nouvelles meta-données. Ou interface graphique: SRB - 01/12/03 - CC-IN2P3

10 SRB au CC-IN2P3. Utilitaires clients (Sinit, …) installés sous AFS (Linux + Solaris).  Accés par une commande qui positionne les variables d’environnement nécessaires (équivalente à root_env): > srb_env Hébergement du Métacatalogue sur une base Oracle. Hébergement des serveurs SRB sur des machines SUN. SRB - 01/12/03 - CC-IN2P3

11 SRB au CC-IN2P3 (suite). HPSS SRB disque ccsrb01 SRB disque ccsrb02
etc ccsrb (Portail: nom générique) SRB - 01/12/03 - CC-IN2P3

12 SRB au CC-IN2P3 (suite). Utilisé pour l’instant par: CMS: DC03 + DC04.
Collaboration SCS-Slac / CC-IN2P3: BaBar: ~160 To à transférer en 2004. Glast ? SRB - 01/12/03 - CC-IN2P3

13 Performances de SRB. Performances en lecture / écriture dans HPSS comparable à RFIO. MCAT: exemple de CMS: 20 To de données enregistrées. fichiers enregistrés. Quelques secondes pour lister l’ensemble des fichiers. uniquement limité par les performances du (ou des) serveur(s) Oracle. SRB - 01/12/03 - CC-IN2P3

14 Performances de SRB. Performances sur transferts longue distance inférieures à bbftp, mais tout à fait raisonnable (obtenues avec des serveurs SUN): ~ 50 Mbits/s Fiabilité des serveurs SRB pour des transferts en continu (24h/24h, démo au SC2003 – Phoenix): SRB - 01/12/03 - CC-IN2P3

15 SRB et les projets Grid. Soutenu financièrement par PPDG.
Projet d’interface de SRB avec EDG (Bristol/RAL): Fichiers enregistrés dans SRB accessibles par les outils de grille: interface de SRB/MCAT avec RLS (Replica Location Service). Localiser les fichiers enregistrés dans SRB avec RLS. Interface de SRB avec SRM (Storage Resource Manager). SRB - 01/12/03 - CC-IN2P3

16 Conclusion. SRB est un outil très simple d’emploi: permet l’accés aux données, fichiers de façon totalement transparente. Vaste palette de besoins couverts par SRB. Performance, « scalabilité » (peer to peer MCAT). Possibilité de créer des Web services. Equipe de développeurs au SDSC à l’écoute des besoins, très réactifs. SRB - 01/12/03 - CC-IN2P3