LUSTRE Integration to SRM

Slides:



Advertisements
Présentations similaires
Un serveur de données au format ROOT.
Advertisements

Plateforme de Calcul pour les Sciences du Vivant Gestion de données sur EGEE.
Gestion des données sur la grille C. Charlot / LLR CNRS & IN2P3 For the European DataGrid Project Team
Michel Jouvin LAL/Orsay
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Data Management René Météry CS Tutorial EGEE.
Edit Knoops CPPM 20/01/2009 Enabling Grids for E-sciencE Gestion des données Gestion des jobs Edith Knoops.
INFSO-RI Enabling Grids for E-sciencE Data management Daniel Jouvenot IN2P3-LAL ORSAY - 02/02/2007.
INFSO-RI Enabling Grids for E-sciencE La gestion des données Daniel Jouvenot LAL-IN2P3-CNRS 18/06/2008.
CEA DSM Irfu StoRM sur Lustre Pierre-François Honoré Guillaume Rivière.
Le système Raid 5 Table des matières Qu'est ce que le RAID ? Les objectifs Le raid 5 Les avantages et les inconvénients Les composants d’un Raid.
Yannick Patois 1 Utilisation LCG-France Les Technical Evolution Groups et LCG-France.
INFSO-RI Enabling Grids for E-sciencE Les projets EGEE et LCG C. Loomis (LAL-Orsay) EGEE Tutorial (Marseille) 3-4 octobre 2006.
CASTOR est, au CERN, le système de stockage des gros fichiers de données de physique (>1 GB). Ce tutorial s’adresse aux utilisateurs LXPLUS (tout utilisateur.
- Formation ActiveMQ 1 1.
1 Identifier les composants d’un réseau local. 2 Les composants d’un réseau Des ordinateurs, appelés stations... …munis d’une carte réseau leur permettant.
Outils (MailIntegration et autres)
Framework EHop/Ecenvir
Haute École Roi Baudouin CATÉGORIE ÉCONOMIQUE INFORMATIQUE DE GESTION
Mise en place d’un système de partage de fichiers
Sécurité - Cisco ASA Outil de capture WebVPN
Présentation Scribe NG Serveur pédagogique.
Réf. CS&S/ISE/DFC/TES,xxxx/-/02
Folders Access Manager Capacte
La Grille EGEE M. Louvin (LAL-Orsay) Tutorial EGEE Utilisateur (LAL)
IS-IS - Adjacence Point à Point
Journée Analyse D0, 19 janvier 2004
AugerDb / SimDb Gestion des simulations Auger Java
Séminaire EOLE Dijon Octobre 2010
Installation et Configuration Internet Information Server (IIS 5)
LE MASHUP.
Réunion Analyse D0 France au CCIN2P3 19 janvier 2004
Changer les critères de nommage
Comment fonctionne RADIUS?
C. Loomis (LAL-Orsay) Tutorial EGEE Utilisateur (LAL) 2 février 2007
12 mars 2004, Lyon Reunion CAF F.Chollet 1
Session 03: Démonstration pratique: comment préparer et mapper différents types de données Nicolas Noé GB22 Training event for nodes – 4 October 2015.
Surveillance des services grille par NAGIOS
Fonctionnement de la grille
David Bouvet, David Weissenbach Observatoire de Meudon, 01-02/02/2011
Initiation à l'infrastructure
Déploiement d’un LCG CE
Statut du T2 Île de France
Daniel JOUVENOT Laboratoire de l’Accélérateur Linéaire (LAL–ORSAY)
David Bouvet IN2P3-CC Annecy - 27/09/2007
Séminaire EOLE Beaune Septembre 2007
David Bouvet LCG France T2 T3 – LPNHE
LCG –France Tier2 & AF Réunion de Coordination – Problèmes récurrents des VOs 11 Juin- 10 Septembre Hélène CORDIER.
Auteurs : David Bouvet, David Weissenbach
Tutorial Utilisateurs EGEE
CREAM-CE et SGE.
Août 2009.
TreqS TReqS 1.0.
Windows Server 2012 Objectifs
HTTP DNS NTP FTP R231 RJ45 definition HTTP DNS NTP FTP R231 RJ45.
Le contenu est basé aux transparents du 7 ème édition de «Software Engineering» de Ian Sommerville«Software Engineering» de Ian Sommerville B.Shishedjiev.
Les protocoles de la couche application Chapitre 7.
Mise en place d'un Serveur Radius pour la sécurité d'un réseau Wireless sous Windows Serveur Présenter par le Stagiaire : Etienne Mamadou Guilavogui.
Infrastructure Opérationnelle d’EGEE
Missions Locales Serveur Mutualisé
WiFi Access Michel Avenier LPSC Grenoble
Un cloud de production et de stockage
Active Directory Services
Michel Jouvin LAL/Orsay
PLATE FORME DE GESTION ÉLECTRONIQUE DE DOCUMENTS Présenté par: Amine LARIBI.
Comité Scientifique GRIF
Notions d'architecture client-serveur. Présentation de l'architecture d'un système client/serveur Des machines clientes contactent un serveur qui leur.
LCG – France et ALICE Bilan 2006 Planning fevrier 2007
COURS ADMINISTRATION DE BASES DE DONNÉES IMPORT/EXPORT Karim LABIDI ISET Ch
Implémentation de FTP Rappel sur FTP Relation entre un site Web et FTP
Michel Jouvin LAL/Orsay
Transcription de la présentation:

LUSTRE Integration to SRM Michel Jouvin LAL/Orsay jouvin@lal.in2p3.fr

SRM … SRM : Storage Ressource Manager Point d’entrée d’un SE (Storage Element) ‘vfs’ de la grille Ensemble de services permettant d’accéder au storage d’une ressource à travers le MW Mapping de la sécurité (GSI Certifs, Krb…) Réservation d’espace Gestion des droits en fonction des VOs Interface de haut niveau vers les MSS et/ou les disques Même interface quelque soit le type de ressource 7/7/05 Réunion LUSTRE - HP/CT

… SRM Manipule des fichiers (file granularity) Utilise les metadata et retourne les infos pour le transfert (TURL) Support de requête affectant plusieurs fichiers Mode asynchrone Les fichiers désignés par des URLs LFN (Logical File Name) : à l’intérieur d’un catalogue SFN : Site File Name (machine/file/name), SURL = srm://SFN TFN : Transfer File Name, TURL = protocol://TFN Plusieurs protocoles de transport Defaut : GridFTP (gridftp://) 7/7/05 Réunion LUSTRE - HP/CT

SRM : Quelques Pointeurs… http://www.ppdg.net/docs/oct04/SRM.success.story.pdf http://sdm.lbl.gov/srm-wg/doc/SRM.Joint.Functional.Design.Jan2002.pdf http://sdm.lbl.gov/srm-wg/doc/SRM.spec.v2.1.html 7/7/05 Réunion LUSTRE - HP/CT

Les Protocoles de Transport GridFTP : File Transfer Authentification GSI Fichiers désignés par des URL Commandes : globus-url-copy, lcg-cp RFIO : accès au contenu du fichier Posix-like API 7/7/05 Réunion LUSTRE - HP/CT

Disk Pool Manager (DPM) SRM Backend permettant la gestion de +100TB répartis sur plusieurs serveurs Name space unifié (logical names) 1 serveur de Metadata (Oracle ou MySQL) Multiples serveurs de données (GridFTP, RFIO) Réservation d’espace Intégré avec la sécurité GSI http://indico.cern.ch/sessionDisplay.py?sessionId=73&slotId=1&confId=0513#2005-04-21 7/7/05 Réunion LUSTRE - HP/CT

XROOTD : File Access System Développé à SLAC pour BaBar Permettre accès d’un grand nombre de client au contenu de millions de fichiers représentant des PB Scalability, Fault tolerance, load sharing, peer to peer Utilise le concept d’object streaming Introduit par ROOT, basé sur Java streaming Fournit un espace de nom unifié Logical to physical name resolution API (access class) rendant transparent l’accès aux données quelques soient la configuration du stockage physique API ROOT et Posix 7/7/05 Réunion LUSTRE - HP/CT

XROOTD : Quelques poionteurs… http://xrootd.slac.stanford.edu/ http://xrootd.slac.stanford.edu/papers/xrootd_chep04.pdf 7/7/05 Réunion LUSTRE - HP/CT