EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks La région France et les sites de calcul EGEE.

Présentation au sujet: "EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks La région France et les sites de calcul EGEE."— Transcription de la présentation:

1 EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks La région France et les sites de calcul EGEE en France David Bouvet Tutorial CGG 07-10/11/2006

2 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20062 Plan Rôles ROC France Site grille Site de calcul –infrastructure –aspects fonctionnels –ex. Liens utiles

3 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20063 Regional Operations Centre : rôles Représentant des sites d’une région –assistance aux sites de la région –coordination du déploiement du middleware –canal de communication entre le projet et les sites Gestion régionale de la sécurité Monitoring régional Support et suivi des problèmes Certification des sites Formation des utilisateurs RC France Resource Broker Catalogue de fichiers RC Italie … Stockage VO

4 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20064 ROC France Canaux de communication Support et suivi des problèmes Sites référencés

5 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20065 ROC France : canaux de communication Internes –Visioconférences (15 jours)  acteurs français (SA1, NA4, OAG, etc.)  tour des sites  tour des VO  diffusion d’informations coordination de l’exploitation compte-rendu des réunions d’EGEE etc.  zone d’échanges entre les acteurs français réunion à thèmes: sécurité, autorité de certification, MPI, GGUS… –Mailing list EGEE SA1-Fr Externes –Téléconférence du « ROC Managers’ meeting » (15 jours) –Téléconférence de la GDA « Weekly operation meeting » (hebdo)  envoi hebdomadaire d’un rapport sur l’état des sites français –« All ROC managers meeting » (~ 3-4 mois)

6 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20066 ROC France : support et suivi des problèmes Le support fourni par le ROC est effectué directement via le portail GGUS (Global Grid User Support) : http://gus.fzk.de http://gus.fzk.de –le ROC assigne le ticket GGUS au support du site concerné –l’équipe support du site doit être enregistrée comme « ROC support staff » lors du traitement du 1 er ticket –le ROC est informé des mise à jour des tickets et interagit quand c’est nécessaire Utilisation d’une adresse spécifique : grid- roc@cc.in2p3.frgrid- roc@cc.in2p3.fr –4 lecteurs potentiels : Cyril L’Orphelin, Rolf Rumler, Pierre Girard, David Bouvet –le 1 er lecteur gère le ticket en répondant et/ou faisant suivre à quelqu’un supposé plus expert

7 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20067 ROC France : sites référencés ROC Français: IN2P3-CC IN2P3-CC Lyon (Centre de Calcul de l'IN2P3) IN2P3-CC IN2P3-LPC Clermont (Laboratoire de Physique Corpusculaire) IN2P3-LPC IN2P3-CPPM Marseille (Centre de Physique des Particules de Marseille) IN2P3-CPPM GRIF Ile de France (Grille de Recherche d’Ile de France) Site distribué sur les sites : DAPNIA (CEA/Saclay), IPNO (IN2P3, Orsay), LAL (IN2P3, Orsay), LLR (Ecole Polytechnique, Palaiseau) et LPNHE (IN2P3, Paris 6) GRIF CGG Massy (Compagnie Générale de Géophysique) CGG IPSL/IPGP Paris (Institut Pierre Simon Laplace/Institut de Physique du Globe de Paris) IPSL/IPGP IN2P3-LAPP Annecy (Laboratoire d'Annecy-Le-Vieux de Physique des Particules) IN2P3-LAPP IN2P3-SUBATECH Nantes (Laboratoire de physique SUBAtomique et des TECHnologies associées) IN2P3-SUBATECH IN2P3-IRES Strasbourg (Institut de Recherches Subatomiques) IN2P3-IRES AUVERGRID Clermont (site pour une grille régionale) AUVERGRID  IN2P3-LPSC Grenoble (Laboratoire de Physique Subatomique et de Cosmologie) IN2P3-LPSC

8 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20068 Site grille : un autre niveau de mutualisation des ressources Centre de calcul : –Supercalculateur / Fermes de calcul  ensemble de “Worker Nodes”  machines hétérogènes (Hardware, OS) –Grande capacité de stockage (disques, bandes) –Gestion de communauté d’utilisateurs via les comptes (groupes et utilisateurs) –Gestion experte de la production Grille de calcul : –Mutualisation des centres de ressources –Gestion de communautés via le concept de “Virtual Organization” –Minimisation du temps de latence des utilisateurs

9 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20069 Site grille : un autre niveau de mutualisation des ressources Centre de calcul :Grille de calcul : Ferme1Ferme2 Batch System Système de partage de fichiers WN … Stockage France Resource Broker(s) Catalogue de fichiers RC Italie RC … Stockage VO

10 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200610 Site de calcul : infrastructure Centre de ressources / Site (SA1) –fournit à la grille  des ressources de calcul  des ressources de stockage  éventuellement des services/VO RC France Resource Broker Catalogue de fichiers RC Italie … Stockage VO Storage Element Computing Element RB BDII LFCUI VOMSFTS

11 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200611 Site de calcul : aspects fonctionnels Gestion des membres d’une VO –« login » d’un membre depuis une UI –avec un « certificat proxy » généré à partir du certificat de l’utilisateur et des droits qu’il requière  une durée limitée (12 heures par défaut)  intègre les informations du certificat nécessaire au mapping –sur les noeuds de grille, « mapping » des membres de la VO vers la notion d’utilisateurs des systèmes d’exploitation  génération d’un grid-mapfile sur certains services de la grille  configuration faite par le site sur le noeud pour mapper le proxy vers le compte fonction des gestion de « pool » de comptes: egeode001, egeode002… les différents groupes et rôles se traduisent par un mapping sur des pools/comptes différents tous les pools de la VO partage le même groupe local users VO1_User VO2_User Grid-mapfile SE CE RB ACL Proxy VO VOMS ACL1 ACL2 ACL3

12 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200612 Site de calcul : aspects fonctionnels Publication d’information sur la grille –chaque site publie  Une description des ressources/services qu’il fournit par VO  L’état actuel de ses ressources (CPU libres, espace de stockage...)  Sur les RC, ce qu’une VO a installé (“Tags” des Software Managers) RC3RC2 RC1RB1 RB2LFC Système d’information (BDII) Site CC-IN2P3 VO1 VO2 VO3

13 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200613 Site de calcul : aspects fonctionnels Gestion de jobs (1) –La soumission d’un job  l’exécution de l’application souhaitée sur l’un des WN de la grille  l’accès aux données qui lui sont nécessaires –Le job doit fournir à la grille une description suffisante de ses besoins pour permettre la sélection de l’environnement d’exécution adéquat.  désignation de la VO (nom unique sur la grille)  description de ses besoins via un formalisme de description de job (JDL) le programme à exécuter TAG de l’application cible (pré-installée par les VO software managers) temps max. estimé d’exécution désignation des fichiers dont il a besoin etc.

14 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200614 Site de calcul : aspects fonctionnels Gestion des jobs (2) VO3 RC3RC2 RC1RB1 RB2RLS/RMC BDII TAG VO3_APP1.0.2 Input “datafile1” UI JDL VO3 TAG VO3_APP1.0.2 Input “datafile1”

15 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200615 Site de calcul (ex.) : IN2P3-CC VO Box VO LHC Site BDII Computing Element Computing Element Storage Element Storage Element VOMS 4 VOs LFC Central Biomed HPSS DCACHE Storage Element SRM Gridftp XFS Stockage BQS Anastasie WN Calcul LFC Local 4 VOs LHC FTS 4 VOs LHC MonBox 4 Sites Système d’informatio n de la grille VO Box VO LHC V OBox VO LHC VO Box VO LHC

16 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200616 Liens utiles User support : GGUS – https://gus.fzk.de/pages/home.phphttps://gus.fzk.de/pages/home.php Outils de monitoring –CIC portal  https://cic.in2p3.fr https://cic.in2p3.fr point d’entrée sur les autres outils vue intégrée des autres outils à l’usage des COD opérateurs –Service Availability Monitoring (SAM)  https://lcg-sam.cern.ch:8443/sam/sam.py https://lcg-sam.cern.ch:8443/sam/sam.py –Grid Operations Centre Core Database (GOCDB)  https://goc.grid-support.ac.uk/gridsite/gocdb2 https://goc.grid-support.ac.uk/gridsite/gocdb2 –GIIS monitor (Gstat)  http://goc.grid.sinica.edu.tw/gstat http://goc.grid.sinica.edu.tw/gstat –GOC monitoring tools  http://goc.grid-support.ac.uk/gridsite/monitoring/ http://goc.grid-support.ac.uk/gridsite/monitoring/ –GOC job monitor  http://gridportal.hep.ph.ic.ac.uk/rtm/ http://gridportal.hep.ph.ic.ac.uk/rtm/

17 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200617 Merci