La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

SRB (Storage Resource Broker) Un outil de distribution de données inter-sites. Jean-Yves Nief – CCIN2P3.

Présentations similaires


Présentation au sujet: "SRB (Storage Resource Broker) Un outil de distribution de données inter-sites. Jean-Yves Nief – CCIN2P3."— Transcription de la présentation:

1 SRB (Storage Resource Broker) Un outil de distribution de données inter-sites. Jean-Yves Nief – CCIN2P3

2 SRB - 01/12/03 - CC-IN2P32 SRB en quelques mots. Fournit une interface uniforme pour se connecter à des données hétérogènes (stockés sur bande, disque, base de données) distribuées dans de multiples sites. Développé par le SDSC (UC San Diego). Qui utilise SRB ? –Biologie: BIRN (Biomedical Informatic Research Network). –NASA: sciences de lenvironnement. –Sciences de la Terre. –HEP: CMS, BaBar, Belle, JLab etc… –Secteur privé: General Atomics. Serveurs déployés aux USA, UK, France, Allemagne, Japon, Corée etc..

3 SRB - 01/12/03 - CC-IN2P33 Architecture. Nécessite: –1 serveur SRB + MetaCatalog (MCAT): contient la liste de tous les fichiers enregistrés dans SRB, ressources physiques, utilisateurs (droits etc…). –Un ensemble de serveurs SRB (accés à lemplacement physique des fichiers). Site 1 SRB Site 2 SRB Site 3 Appli. (demande test1.txt) SRB MCAT (1) (3) (4) (2) test1.txt

4 SRB - 01/12/03 - CC-IN2P34 Architecture (suite). SRB porté sur de multiples plateformes: –Linux. –Solaris. –AIX. –etc.. MCAT, base de données: –Oracle. –DB2. –Sybase. –PostGreSQL.

5 SRB - 01/12/03 - CC-IN2P35 Quelques fonctionnalités. Permet laccés, via des commandes à la sauce Unix, aux données à partir de leurs attributs au lieu de leur nom et emplacement physique (site, type de stockage). Ex: > Sinit # connection au serveur SRB > Sls /home/nief.ccin2p3 # liste des fichiers du # répertoire /home/nief.ccin2p3 evs_g_isPhysicsEvents_aod test1.txt Scd, Spwd … pour naviguer dans lespace des noms logiques.

6 SRB - 01/12/03 - CC-IN2P36 Quelques fonctionnalités (suite). Pour copier chez soi evs_g_isPhysicsEvents_aod004051: > Sget evs_g_isPhysicsEvents_aod Métadonnées associées aux fichiers. Ex: > SgetD evs_g_isPhysicsEvents_aod data-name : evs_g_isPhysicsEvents_aod path_name: /objydatabases/theData/resident/…. data_grp_name: /home/srbbbr.frslac/import/fdb/0103/aod data_size: phys_rsrc_name: hpss-ccbbsn04 # accés transparent aux fichiers dans HPSS Possibilités dajouter ses propres meta-données.

7 SRB - 01/12/03 - CC-IN2P37 Quelques fonctionnalités (suite). Interface avec MSS (HPSS, Castor etc…). Ressources logiques: ensembles de ressources physiques. Ex: ressources physiques: ccasn01-unix: file system Lyon ccbbsn04-hpss: hpss file Lyon hostCern-castor: Castor file CERN Mettre un fichier dans ces 3 ressources en même temps: > Sput –S logical-res test1.txt logical-res

8 SRB - 01/12/03 - CC-IN2P38 MCATs fédérés (« peer to peer »). SRB V3: 2 serveurs SRB-MCAT (ou +) peuvent maintenant se connecter lun à lautre. Nouvelle notion de zones. Redondance, système plus robuste en cas dabsence de lun des serveurs MCAT. SRB MCAT site 1 SRB MCAT site 1 SRB site 2 SRB site 2 Zone AZone B

9 SRB - 01/12/03 - CC-IN2P39 Administration du MCAT. Commandes lignes pour: –Déclaration des ressources physiques et logiques. –Création de nouveaux utilisateurs, gestion des droits, tickets (droit temporaire). –Nouvelles meta-données. Ou interface graphique:

10 SRB - 01/12/03 - CC-IN2P310 SRB au CC-IN2P3. Utilitaires clients (Sinit, …) installés sous AFS (Linux + Solaris). Accés par une commande qui positionne les variables denvironnement nécessaires (équivalente à root_env): > srb_env Hébergement du Métacatalogue sur une base Oracle. Hébergement des serveurs SRB sur des machines SUN.

11 SRB - 01/12/03 - CC-IN2P311 SRB au CC-IN2P3 (suite). ccsrb (Portail: nom générique) SRB disque ccsrb01 SRB disque ccsrb02 etc HPSS

12 SRB - 01/12/03 - CC-IN2P312 SRB au CC-IN2P3 (suite). Utilisé pour linstant par: –CMS: DC03 + DC04. –Collaboration SCS-Slac / CC-IN2P3: BaBar: ~160 To à transférer en Glast ?

13 SRB - 01/12/03 - CC-IN2P313 Performances de SRB. Performances en lecture / écriture dans HPSS comparable à RFIO. MCAT: – exemple de CMS: 20 To de données enregistrées fichiers enregistrés. Quelques secondes pour lister lensemble des fichiers. uniquement limité par les performances du (ou des) serveur(s) Oracle.

14 SRB - 01/12/03 - CC-IN2P314 Performances de SRB. Performances sur transferts longue distance inférieures à bbftp, mais tout à fait raisonnable (obtenues avec des serveurs SUN): ~ 50 Mbits/s Fiabilité des serveurs SRB pour des transferts en continu (24h/24h, démo au SC2003 – Phoenix):

15 SRB - 01/12/03 - CC-IN2P315 SRB et les projets Grid. Soutenu financièrement par PPDG. Projet dinterface de SRB avec EDG (Bristol/RAL): –Fichiers enregistrés dans SRB accessibles par les outils de grille: interface de SRB/MCAT avec RLS (Replica Location Service). Localiser les fichiers enregistrés dans SRB avec RLS. –Interface de SRB avec SRM (Storage Resource Manager).

16 SRB - 01/12/03 - CC-IN2P316 SRB est un outil très simple demploi: permet laccés aux données, fichiers de façon totalement transparente. Vaste palette de besoins couverts par SRB. Performance, « scalabilité » (peer to peer MCAT). Possibilité de créer des Web services. Equipe de développeurs au SDSC à lécoute des besoins, très réactifs. Conclusion.


Télécharger ppt "SRB (Storage Resource Broker) Un outil de distribution de données inter-sites. Jean-Yves Nief – CCIN2P3."

Présentations similaires


Annonces Google