Catalogues de fichiers de données. David Bouvet2 Problématique Possibilité de répliquer les fichiers sur divers SE  nécessité d’un catalogue de fichiers.

Slides:



Advertisements
Présentations similaires
SRB (Storage Resource Broker)
Advertisements

ESUP-FWA Connexion simplifiée à Apogée & Harpège via l'ENT
Connecter des données métier à Office SharePoint Server 2007 via le Business Data Catalog.
Septembre 2001Y. Schutz - ALICE / WP6 France1 Activités GRILLE dALICE.
Active Directory Windows 2003 Server
EGEE is a project funded by the European Union under contract IST Gestion des données David Bouvet CCIN2P3 Présentation faite à partir des.
Présentation de Active Directory
Présentation de Windows 2000 Quest-ce que Windows 2000? 2 versions principales : 1.Windows 2000 Professionnel : Système dexploitation client (comme Windows.
Plateforme de Calcul pour les Sciences du Vivant Gestion de données sur EGEE.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks La région France et les sites de calcul EGEE.
Bases de données Open Source Pierre Crépieux 13/03/2008.
Services de production grille en France Gilles Mathieu IN2P3-CC France Grilles Frédérique Chollet IN2P3-LAPP LCG France Rencontres France Grilles et LCG-France,
EGEE is a project funded by the European Union under contract IST Noeud de Grille au CPPM.
Projet LCG: Déploiement Pierre Girard EGEE/LCG ROC EGEE/LCG site deployment Centre de Calcul de l’IN2P3 LCG France Lyon, 14 décembre.
CAPRI 9 juin 2011 Cloud Académique Production Recherche Innovation Comité de Pilotage France-Grilles.
Gestion de données : Besoins de la VO Biomed Sorina Pop Laboratoire Creatis Université de Lyon, CREATIS; CNRS UMR5220; Inserm U1044; INSA-Lyon; Université.
Résumé CHEP 2010 Distributed processing and analysis Grid and cloud middleware Thèmes : 1.
8 sept 2006Thomas Kachelhoffer - CC1 -Recommandation du dernier COS: information des utilisateurs des ressources du CC sur les travaux. -Premier courrier.
Tier1 at the CC-IN2P3 March Current state at the CC-IN2P3 storage, computation, network...
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
Administrer les DNS Vérification des données Portail Web Achat de Sites Web Administrer les Sites Web Achat de nom de domaine Achat de comptes mail Administrer.
Le noeud de grille Tier 3 LAPP.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks TP Data Management René Météry CS Tutorial.
Palaiseau Réunion CCIN2P3/LCG 22/07/2004 Distribution des données CMS Distribution des données et préparation de l’analyse Production MC distribuée et.
Initiation à Oracle Server
Michel Jouvin LAL/Orsay
ATLAS Ghita Rahal CC-IN2P3 Novembre 9, /6/2006Réunion CAF2 Activités Création et externalisation d’outils de monitoring de l’état du T1 (CPU,
LHCb DC06 status report (LHCb Week, 13/09/06) concernant le CC : –Site currently fine / stable 3% of simulatated events 30% of reconstructed events –Site.
Site LMD-J2EE Présentation générale Sécurité Web.
Sample Image CGGVeritas University - Massy Monday 10 December 2007 EGEODE VO meeting of GEOCLUSTER user's on the EGEE grid.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Data management David Bouvet IN2P3-CC Clermont.
EGEODE 08/11/2006 Équipe GRID1 EGEODE EGEODE. 08/11/2006 Équipe GRID2 Plan  La géophysique sur la Grille : EGEODE  Partenariat académique  Comment.
Analyse, élaboration et exploitation d’une Base de Données
Enabling Grids for E-sciencE EGEE-III INFSO-RI Sécurité sur la Grille G. Philippon (LAL – CNRS ) Tutorial EGEE Utilisateur (DAKAR)
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Quelques commandes de la grille David Bouvet.
GRIF Status Michel Jouvin LAL/Orsay
Expérience du déploiement d’une Virtual Organisation (VO) locale Christophe DIARRA
Cécile Barbier David Bouvet Christine Leroy L'exploitation de la grille au quotidien.
Mercredi 1er juin 2016 Panorama sur les outils de monitoring Cyril L’Orphelin David Bouvet.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Data Management René Météry CS Tutorial EGEE.
Sample Image Comment utiliser la grille ? 3ème rencontre EGEODE des utilisateurs de Geocluster et des Sciences de la Terre sur la grille EGEE à Villefranche-sur-Mer.
Réunion EGEE France 11/6/2004Page 1Rolf Rumler Structure de l’exploitation d’EGEE.
Grid au LAL Michel Jouvin LAL / IN2P3
Edit Knoops CPPM 20/01/2009 Enabling Grids for E-sciencE Gestion des données Gestion des jobs Edith Knoops.
Conclusions (?) Fabio Hernandez Frédérique Chollet Fairouz Malek Réunion Sites LCG-France Annecy, May
Projet LCG: Vue d’Ensemble Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3 Rencontre IN2P3/STIC Grenoble, 25.
INFSO-RI Enabling Grids for E-sciencE Sécurité sur la Grille C. Loomis (LAL-Orsay) Tutorial EGEE Utilisateur (LAL) 8 octobre 2007.
EGEE is a project funded by the European Union under contract INFSO-RI Copyright (c) Members of the EGEE Collaboration Infrastructure Overview.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks La région France dans la grille EGEE David.
Mercredi 22 juin 2016 Suivi des jobs grille Colloque LCG France Mars 2007.
L’architecture du service Dirac Implementation au centre de calcul.
Tier 2 au LAPP. Plan Historique Objectifs Infrastructures Status/métriques Avenir Conclusion.
EGEE induction course, 22/03/2005 INFSO-RI Enabling Grids for E-sciencE Infrastructure Overview Pierre Girard French ROC deputy.
INFSO-RI Enabling Grids for E-sciencE Adaptation de GRIDSITE à WEBDAV Cédric Duprilot CNRS/IN2P3/LAL.
INFSO-RI Enabling Grids for E-sciencE Gestion des Données David Bouvet CCIN2P /10/10.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Monitoring dans EGEE Frederic Schaer ( Judit.
INFSO-RI Enabling Grids for E-sciencE Data management Daniel Jouvenot IN2P3-LAL ORSAY - 02/02/2007.
INFSO-RI Enabling Grids for E-sciencE La gestion des données Daniel Jouvenot LAL-IN2P3-CNRS 18/06/2008.
EGEE France, Marseille, 24 mars 2005 INFSO-RI Enabling Grids for E-sciencE Activité SA1 Regional Operations Centre Pierre Girard.
08/02/2007 Site Grille : Ambitions 2007 Pierre Girard LCG-France Tier
Etat des services grid de production
12 mars 2004, Lyon Reunion CAF F.Chollet 1
Fonctionnement de la grille
Consolidation des services FTS et LFC
David Bouvet, David Weissenbach Observatoire de Meudon, 01-02/02/2011
Configuration FTS pour CMS
David Bouvet IN2P3-CC Annecy - 27/09/2007
Auteurs : David Bouvet, David Weissenbach
Atelier régulation de la production dans un contexte grille
Infrastructure Opérationnelle d’EGEE
Transcription de la présentation:

Catalogues de fichiers de données

David Bouvet2 Problématique Possibilité de répliquer les fichiers sur divers SE  nécessité d’un catalogue de fichiers et de leurs replicas –enregistrement des fichiers dans le catalogue lors de la copie sur un SE  GUID : Grid Unique IDentifier  LFN : Logical File Name (pour utilisateur)  SURL : Storage URL 2 types de catalogues : –RLS : Replica Location Service –LFC : LCG File Catalog Le LFC est le remplaçant du RLS. SERVICES CRITIQUES

David Bouvet3 Interactions avec la grille

David Bouvet4 RLS 1 seul par VO Composé de 2 catalogues : –LRC : Local Replica Catalog (GUID ↔ SURL) –RMC : Replica Metadata Catalog (GUID ↔ LFN) Base MySQL ou Oracle

David Bouvet5 LFC Catalogue basé sur le LFN avec un modèle de système de fichiers hiérarchique  ex. de commandes : lfc-ls, lfc-mkdir, lfc-getacl… Sécurité (contrairement au RLS) –permission unix, ACL, mapping DN ↔ uid/gid Possibilité de LFC central et locaux. 1 seule base MySQL ou Oracle. Taille : 1 M entrées ↔ ~1 GB

David Bouvet6 RLS/LFC au CC RLS de production pour Biomed : –base MySQL sur machine cclcgrmli01 –~ entrées ↔ ~1.3 Go LFC locaux pour ATLAS, ALICE, LHCb, Dteam : –base MySQL hébergé par le service « Base de données » –estimation de taille :  ATLAS : entrées  ALICE : ?  LHCb : pas de chiffre précis, +sieurs millions d’entrées  Dteam : très peu et non critique, juste pour test et SFT (Site Fonctionnal Test)

VOMS

David Bouvet8 VOMS : kesako ? VOMS = Virtual Organization Membership Service –référentiel central pour gérer les informations d’autorisation des utilisateurs d’une VO –permet d’accorder des rôles (des droits) aux utilisateurs 1 seul par VO Base MySQL ou Oracle Utilisation : –portail web de gestion (enregistrement de nx user, nx rôle) –utilisation dès qu’un utilisateur se connecte à la grille (voms-proxy-init) –opérations concurrentes attendues : https connections: Maximum 30 database reads: Maximum 20 database writes: Maximum 5

David Bouvet9 VOMS au CC Serveur VOMS : –pré-production pour Biomed –production pour EGEODE, Auvergrid Base MySQL hébergée par le service BD –1 base d’~200 Mo par VO (taille suffisante pour une VO type LHC)