Fonctionnement de la grille

Slides:



Advertisements
Présentations similaires
Plateforme de Calcul pour les Sciences du Vivant Le Système dInformation de gLite.
Advertisements

Plateforme de Calcul pour les Sciences du Vivant Soumission de jobs sur grille.
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Data management David Bouvet IN2P3-CC Clermont.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Soumission de jobs David Bouvet IN2P3-CC.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Quelques commandes de la grille David Bouvet.
EGEE is a project funded by the European Union under contract IST Job Soumission Eric Fede CPPM Grid Tutorial, Novembre
EGEE is a project funded by the European Union under contract IST Job Soumission N.Lajili Seminaire Grille-21 Novembre
Catalogues de fichiers de données. David Bouvet2 Problématique Possibilité de répliquer les fichiers sur divers SE  nécessité d’un catalogue de fichiers.
Edit Knoops CPPM 20/01/2009 Enabling Grids for E-sciencE Gestion des données Gestion des jobs Edith Knoops.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Soumission de jobs C. Loomis / M. Jouvin.
EGEE is a project funded by the European Union under contract INFSO-RI Copyright (c) Members of the EGEE Collaboration Infrastructure Overview.
Mercredi 22 juin 2016 Suivi des jobs grille Colloque LCG France Mars 2007.
EGEE induction course, 22/03/2005 INFSO-RI Enabling Grids for E-sciencE Infrastructure Overview Pierre Girard French ROC deputy.
INFSO-RI Enabling Grids for E-sciencE Data management Daniel Jouvenot IN2P3-LAL ORSAY - 02/02/2007.
INFSO-RI Enabling Grids for E-sciencE La gestion des données Daniel Jouvenot LAL-IN2P3-CNRS 18/06/2008.
08/02/2007 Site Grille : Ambitions 2007 Pierre Girard LCG-France Tier
05-fevrier-2007Eric Lancon1 ATLAS Bilan Planning 2007.
Le projet MUST Méso infrastructure de calcul et de stockage ouverte sur la grille européenne LCG/EGEE Colloque Grille Rhône-Alpes 10 janvier 2008.
Fabio HERNANDEZ Responsable Grid Computing Centre de Calcul de l'IN2P3 - Lyon Lyon, 30 avril 2004 Déploiement LCG-2 au CC-IN2P3 Etat d’avancement.
Quattor Status Guillaume PHILIPPON. Résumé EMI 2 / 3 DPM Changement de nom de profile SPMA 3 Aquillon Stratuslab Organisation de la communauté Quattor.
INFSO-RI Enabling Grids for E-sciencE Statistiques d'usage d'un site de la grille LCG/EGEE Emmanuel Medernach, IN2P3 LPC.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Grid Service Monitoring Working Group Exemple.
Alice LCG Task Force Meeting 16 Oct 2008 BARBET Jean-Michel - 1 /20 LCGFR-T2T3, Annecy Mai 2009Jean-Michel BARBET Subatech 1 /18 IN2P3-SUBATECH :
Enabling Grids for E-sciencE cern.ch/LHCgrid/ LHC Computing Grid Computing Grid for LHC: The LCG project Yannick Patois.
Yannick Patois 1 Utilisation LCG-France Les Technical Evolution Groups et LCG-France.
INFSO-RI Enabling Grids for E-sciencE Les projets EGEE et LCG C. Loomis (LAL-Orsay) EGEE Tutorial (Marseille) 3-4 octobre 2006.
EGEE is a project funded by the European Union under contract IST Soumission de jobs Tutorial Grille (LCG/EGEE) E.Fede (CNRS/IN2P3/LAPP)
La Grille EGEE M. Louvin (LAL-Orsay) Tutorial EGEE Utilisateur (LAL)
Journée Analyse D0, 19 janvier 2004
Introduction aux grilles de calcul et au projet EGI
David Bouvet, David Weissenbach Observatoire de Meudon, 01-02/02/2011
Passage de Main SYSGRID Réunion 1
Modèle opérationnel de la grille
Initiation à l’infrastructure
GENIUS – GANGA Alternative à la CLI
Edith Knoops CNRS/CPPM
C. Loomis (LAL-Orsay) Tutorial EGEE Utilisateur (LAL) 2 février 2007
Soumission de jobs Tutorial Grille (LCG/EGEE)
GRIF : Grille pour la Recherche en
Etat des services grid de production
12 mars 2004, Lyon Reunion CAF F.Chollet 1
Surveillance des services grille par NAGIOS
Intégration de BQS dans CREAM
Soumission de jobs de calcul
Etat des lieux des VO Boxes LHC
David Bouvet, David Weissenbach Observatoire de Meudon, 01-02/02/2011
Initiation à l'infrastructure
Soumission de jobs C. Loomis / M. Jouvin (LAL-Orsay)
Déploiement d’un LCG CE
Statut du T2 Île de France
Consolidation des services de grille de production
Daniel JOUVENOT Laboratoire de l’Accélérateur Linéaire (LAL–ORSAY)
David Bouvet IN2P3-CC Annecy - 27/09/2007
David Bouvet LCG France T2 T3 – LPNHE
JJS (Java Job Submission) Soumission de jobs sur grille
Auteurs : David Bouvet, David Weissenbach
Tutorial Utilisateurs EGEE
CREAM-CE et SGE.
Exercices: Système d’Information
Les centres d’analyse: introduction
Atelier régulation de la production dans un contexte grille
Comparaison RB et gLite WMS
Tutorial Utilisateurs EGEE
Infrastructure Opérationnelle d’EGEE
Introduction à la Grille
Introduction à GENIUS et GILDA
Middleware : Status et Evolution
Infrastructure Opérationnelle d’EGEE2
LUSTRE Integration to SRM
Transcription de la présentation:

Fonctionnement de la grille David

gLite : services User Interface (UI): point d'accès à l'infrastructure de grille toute machine avec un compte personnel et où le certificat de l'utilisateur est installé fournit des outils CLI pour utiliser la grille Computing Element (CE): ressource de calcul localisé dans un site (i.e. cluster, ferme de calcul) inclut : une porte qui agit comme interface avec le cluster un Local Resource Management System (LRMS) – le batch system le cluster lui-même : un ensemble de Worker Node (WN) sur lesquels les jobs tournent To change: View -> Header and Footer

gLite : services WMS (Workload Management System): accepte les jobs des utilisateurs et les assigne au CE le plus approprié enregistre leur statut et récupère l'output. le Resource Broker (RB) est une machine où tourne le WMS le choix du CE sur lequel le job est envoyé est fait par le processus de « match-making », qui sélectionne parmi tous les CE disponibles ceux, qui remplissent les prérequis exprimés par l'utilisateur, et qui sont proche des fichiers « grille » spécifiés en entrée. Il choisit ensuite le CE avec le meilleur rang. Storage Element (SE): fournit un accès uniforme aux ressources de stockage de données peut gérer des simples serveurs de disques, des baies de disques ou des systèmes de stockage de masse (Mass Storage Systems MSS). To change: View -> Header and Footer

GLite : services Local File Catalog (LFC) permet de garder la trace de la localisation des diverses copies des fichiers grille une copie sera abandonnée si l'enregistrement ne peut être effectué File Transfer Service (FTS) ordonnanceur de transferts de fichiers entre sites il permet la définition de canaux de transferts réservés point à point ne transfert pas les fichiers : il gère juste les transferts et communique avec les SE concernés To change: View -> Header and Footer

gLite : services Information Service/System (IS): fournit les informations concernant les ressources des grilles WLCG/EGEE (CE, SE, LFC, FTS) et leur statut. cette information est essentielle pour le fonctionnement de la grille puisque c'est via l'IS que les ressources sont découvertes par les outils. l'information publiée est aussi utilisée pour le monitoring et l'accounting. IS utilise le GLUE Schema, qui définie un modèle commun de données publiées à utiliser par le monitoring et la découverte des ressources grille. la publication se fait au travers des « site BDII » et « Top- Level BDII » (BDII : Berkeley Database Information Index) noeuds publient dans le sBDII les sBDII publient dans le Top-Level BDII To change: View -> Header and Footer

GLite : services Information publiée sur la grille : chaque site publie dans son sBDII une description des services/ressources fournit par VO état actuel des ressources (CPU libre, stockage disponible,...) sur un centre de ressource (RC - Ressource Centre), ce qu'une VO a installé RC3 RC2 RC1 RB1 RB2 LFC Information system (BDII) Grid site VO1 VO2 VO3 To change: View -> Header and Footer

gLite : services Virtual Organization Membership Service (VOMS): amélioration EGEE/gLite pour la gestion des VO fournit des informations sur le statut d'un utilisateur au sein de la VO à laquelle il appartient Membership Group membership Roles of user base de données comparable au serveur Kerberos donne l'information sous un format spécifique (VOMS credentials) administration via CLI et interface web. To change: View -> Header and Footer

Dépendance entre services Core services : VOMS, Top-Level BDII, BDII, LFC VO, USER dépendent de : VOMS : pas d'authentification, pas d'accès LFC : pas d'accès aux données BDII : CE, SE, LFC, FTS disparaissent du SI et ne sont plus utilisables Top-Level BDII : idem que BDII mais à un niveau régional To change: View -> Header and Footer

gLite : job flow UI JDL Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Storage Element (SE) Information System (IS) LCG File Catalog (LFC) To change: View -> Header and Footer

gLite : job flow UI JDL Logging & Bookkeeping (LB) Resource Job Status submitted UI JDL Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Storage Element (SE) Information System (IS) LCG File Catalog (LFC) Job Submit Event Input Sandbox To change: View -> Header and Footer

gLite : job flow UI JDL Logging & Bookkeeping (LB) Resource Job Status submitted UI JDL Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Storage Element (SE) Information System (IS) LCG File Catalog (LFC) waiting To change: View -> Header and Footer

gLite : job flow UI JDL Logging & Bookkeeping (LB) Resource Job Status submitted UI JDL Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Storage Element (SE) Information System (IS) LCG File Catalog (LFC) waiting ready Job Status To change: View -> Header and Footer

gLite : job flow UI JDL Logging & Bookkeeping (LB) Resource Job Status submitted UI JDL Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Storage Element (SE) Information System (IS) LCG File Catalog (LFC) waiting ready scheduled BrokerInfo Job Status To change: View -> Header and Footer

gLite : job flow UI JDL Logging & Bookkeeping (LB) Resource Job Status submitted UI JDL Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Storage Element (SE) Information System (IS) LCG File Catalog (LFC) waiting ready scheduled Input Sandbox running Job Status To change: View -> Header and Footer

gLite : job flow UI JDL Logging & Bookkeeping (LB) Resource Job Status submitted UI JDL Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Storage Element (SE) Information System (IS) LCG File Catalog (LFC) waiting ready scheduled running done Job Status To change: View -> Header and Footer

gLite : job flow UI JDL Logging & Bookkeeping (LB) Resource Job Status submitted UI JDL Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Storage Element (SE) Information System (IS) LCG File Catalog (LFC) waiting ready scheduled running done Job Status output ready Output Sandbox To change: View -> Header and Footer

gLite : job flow UI JDL Logging & Bookkeeping (LB) Resource cleared submitted waiting ready scheduled running done Job Status UI JDL Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Storage Element (SE) Information System (IS) LCG File Catalog (LFC) Output Sandbox Job Status output ready To change: View -> Header and Footer