SRB (Storage Resource Broker) Un outil de distribution de données inter-sites. Jean-Yves Nief – CCIN2P3

SRB en quelques mots. Fournit une interface uniforme pour se connecter à des données hétérogènes (stockés sur bande, disque, base de données) distribuées dans de multiples sites. Développé par le SDSC (UC San Diego). Qui utilise SRB ? Biologie: BIRN (Biomedical Informatic Research Network). NASA: sciences de l’environnement. Sciences de la Terre. HEP: CMS, BaBar, Belle, JLab etc… Secteur privé: General Atomics. Serveurs déployés aux USA, UK, France, Allemagne, Japon, Corée etc.. SRB - 01/12/03 - CC-IN2P3

Architecture. Nécessite: 1 serveur SRB + MetaCatalog (MCAT): contient la liste de tous les fichiers enregistrés dans SRB, ressources physiques, utilisateurs (droits etc…). Un ensemble de serveurs SRB (accés à l’emplacement physique des fichiers). SRB Site 3 SRB MCAT (3) (4) (2) Site 1 test1.txt SRB Site 2 (1) Appli. (demande test1.txt) SRB - 01/12/03 - CC-IN2P3

Architecture (suite). SRB porté sur de multiples plateformes: Linux. Solaris. AIX. etc.. MCAT, base de données: Oracle. DB2. Sybase. PostGreSQL. SRB - 01/12/03 - CC-IN2P3

Quelques fonctionnalités. Permet l’accés, via des commandes à la sauce Unix, aux données à partir de leurs attributs au lieu de leur nom et emplacement physique (site, type de stockage). Ex: > Sinit # connection au serveur SRB > Sls /home/nief.ccin2p3 # liste des fichiers du # répertoire /home/nief.ccin2p3 evs_g_isPhysicsEvents_aod004051 test1.txt Scd, Spwd … pour naviguer dans l’espace des noms logiques. SRB - 01/12/03 - CC-IN2P3

Quelques fonctionnalités (suite). Pour copier chez soi evs_g_isPhysicsEvents_aod004051: > Sget evs_g_isPhysicsEvents_aod004051 <filename> Métadonnées associées aux fichiers. Ex: > SgetD evs_g_isPhysicsEvents_aod004051 data-name : evs_g_isPhysicsEvents_aod004051 path_name: /objydatabases/theData/resident/…. data_grp_name: /home/srbbbr.frslac/import/fdb/0103/aod data_size: 24461312 phys_rsrc_name: hpss-ccbbsn04 # accés transparent aux fichiers dans HPSS Possibilités d’ajouter ses propres meta-données. SRB - 01/12/03 - CC-IN2P3

Quelques fonctionnalités (suite). Interface avec MSS (HPSS, Castor etc…). Ressources logiques: ensembles de ressources physiques. Ex: ressources physiques: ccasn01-unix: file system Unix @ Lyon ccbbsn04-hpss: hpss file system @ Lyon hostCern-castor: Castor file system @ CERN Mettre un fichier dans ces 3 ressources en même temps: > Sput –S logical-res test1.txt <SRB filename> logical-res SRB - 01/12/03 - CC-IN2P3

MCATs fédérés (« peer to peer »). SRB V3: 2 serveurs SRB-MCAT (ou +) peuvent maintenant se connecter l’un à l’autre. Nouvelle notion de zones.  Redondance, système plus robuste en cas d’absence de l’un des serveurs MCAT. SRB MCAT site 1’ SRB MCAT site 1 Zone A Zone B SRB SRB site 2’ site 2 SRB - 01/12/03 - CC-IN2P3

Administration du MCAT. Commandes lignes pour: Déclaration des ressources physiques et logiques. Création de nouveaux utilisateurs, gestion des droits, tickets (droit temporaire). Nouvelles meta-données. Ou interface graphique: SRB - 01/12/03 - CC-IN2P3

SRB au CC-IN2P3. Utilitaires clients (Sinit, …) installés sous AFS (Linux + Solaris).  Accés par une commande qui positionne les variables d’environnement nécessaires (équivalente à root_env): > srb_env Hébergement du Métacatalogue sur une base Oracle. Hébergement des serveurs SRB sur des machines SUN. SRB - 01/12/03 - CC-IN2P3

SRB au CC-IN2P3 (suite). HPSS SRB disque ccsrb01 SRB disque ccsrb02 etc ccsrb (Portail: nom générique) SRB - 01/12/03 - CC-IN2P3

SRB au CC-IN2P3 (suite). Utilisé pour l’instant par: CMS: DC03 + DC04. Collaboration SCS-Slac / CC-IN2P3: BaBar: ~160 To à transférer en 2004. Glast ? SRB - 01/12/03 - CC-IN2P3

Performances de SRB. Performances en lecture / écriture dans HPSS comparable à RFIO. MCAT: exemple de CMS: 20 To de données enregistrées. 600000 fichiers enregistrés. Quelques secondes pour lister l’ensemble des fichiers. uniquement limité par les performances du (ou des) serveur(s) Oracle. SRB - 01/12/03 - CC-IN2P3

Performances de SRB. Performances sur transferts longue distance inférieures à bbftp, mais tout à fait raisonnable (obtenues avec des serveurs SUN): ~ 50 Mbits/s Fiabilité des serveurs SRB pour des transferts en continu (24h/24h, démo au SC2003 – Phoenix): SRB - 01/12/03 - CC-IN2P3

SRB et les projets Grid. Soutenu financièrement par PPDG. Projet d’interface de SRB avec EDG (Bristol/RAL): Fichiers enregistrés dans SRB accessibles par les outils de grille: interface de SRB/MCAT avec RLS (Replica Location Service). Localiser les fichiers enregistrés dans SRB avec RLS. Interface de SRB avec SRM (Storage Resource Manager). SRB - 01/12/03 - CC-IN2P3

Conclusion. SRB est un outil très simple d’emploi: permet l’accés aux données, fichiers de façon totalement transparente. Vaste palette de besoins couverts par SRB. Performance, « scalabilité » (peer to peer MCAT). Possibilité de créer des Web services. Equipe de développeurs au SDSC à l’écoute des besoins, très réactifs. SRB - 01/12/03 - CC-IN2P3