EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Système dinformation Pierre Girard French.

Présentation au sujet: "EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Système dinformation Pierre Girard French."— Transcription de la présentation:

1 EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Système dinformation Pierre Girard French ROC deputy CC-IN2P3 site administrator Activité SA1: European Grid Support, Operation and Management

2 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 2 Plan Introduction Système dInformation de LCG/EGEE Utilisation du Système dInformation Exploitation et Système dinformation Conclusions Annexes

3 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 3 Introduction Quoi ? –Système chargé de collecter des informations sur létat des ressources/services mis à disposition sur la Grille. Pourquoi ? –Découvrir les ressources/services de la grille et leur nature –Disposer des données pertinentes pour utiliser les ressources et les services offerts par des sites hétéroclites. –Vérifier létat de santé des ressources et services de la grille. Comment ? –En monitorant localement létat et la description des ressources/services, et en publiant les données fraîchement collectées sur le système dinformation. –En adoptant un modèle de données commun à/connu de tous les composants/acteurs de la grille qui ont besoin dinteragir avec les ressources/services de la grille. –En offrant les outils qui permettent dalimenter et dinterroger le système dinformation.

4 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 4 Plan Introduction Système dInformation de LCG/EGEE –Principes –Architecture globale Globus LCG-2 –Mise en oeuvre LDAP Glue Schema Utilisation du Système dInformation Exploitation et Système dinformation Conclusions Annexes

5 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 5 Système dInformation de LCG/EGEE Principes RC3RC2 RC1RB1 RB2LFC1 LFC2 Système dinformation Site IN2P3-CC VO1 VO2 VO3 Principes –Chaque site publie Une description des ressources/services quil fournit par VO Létat actuel de ses ressources (CPUs libres, Espace de stockage, etc.) –Chaque VO publie (anecdotique) Ce quelle a installé sur chaque site (Tags des Software Managers) –Les acteurs interrogent le SI pour savoir comment utiliser les services/ressources de la grille RB1 LFC1 RB2 LFC2 Interrogation Utilisation VO1

6 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 6 Architecture globale : Origine du SI actuel Globus: architecture MDS-2 (Monitoring and Discovery System) Cache contains info from A and B Client 1Client 2 Client 2 uses GIIS for searching collective information GIIS Cache contains info from A and B Client 1Client 2 Client 2 uses GIIS for searching collective information Resource A GRIS IP Resource A GRIS IP Resource B GRIS IP Resource B GRIS IP Client 1 searches the GRIS directly GRIS register with GIIS GIIS requests info from GRIS services Grid Resource Information Service Grid Index Information Service 1 2 Storage Element Gridftp Computing Element Gatekeeper Information Provider IP

7 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 7 RB Local GRIS SE Local GRIS CE Local GRIS BDII-A BDII-B SE Local GRIS SE Local GRIS CE Local GRIS SE Local GRIS BDII-C CE Local GRIS CE Site BDII CE Local GRIS CE Site BDII Site BDII Site 1 Site 2 Site 3 Architecture globale : SI actuel LCG-2/GLITE : Aggrégations des systèmes dinformation des sites –BDII (Berkeley Database Information Index): même fonctionnalité que le GIIS, avec une implémentation différente (meilleure gestion de cache) –2 niveaux daggrégation: de GRIS (site BDII) et de site BDII (top BDII)

8 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 8 Mise en oeuvre Annuaire LDAP GRIS, GIIS et BDII sont des serveurs dannuaire LDAP (openldap) –LDAP : Lightweight Directory Access Protocol Modèle de données –Arborescence de nœuds –Chaque nœud (entrée de lannuaire) contient des attributs –La structure dun nœud est définie par une ou des classes au schéma prédéfini. Modèle de nommage –Distinguished Name (DN): cn=Girard Pierre,ou=People,ou=cc,o=in2p3,c=fr o=in2p3,c=fr (racine du DIT) ou=lal ou=People cn=Girard Pierre objectClass: top objectClass: person objectClass: organizationalPerson objectClass: inetOrgPerson ou=ccou=lapp Directory Information Tree cn: Girard Pierre phone: +33 9999999999 uid: girardpi mail: pierre.girard@in2p3.fr

9 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 9 Mise en oeuvre Glue Schema La plupart des nœuds de la grille sont publiés sur le SI GLUE Schema (v1.2): –Définition de schémas LDAP décrivant chaque composant des ressources/services de la grille –http://glueschema.forge.cnaf.infn.it/ objectclass ( 1.3.6.1.4.1.8005.100.2.1.1 NAME 'GlueCE' DESC 'Info for Computing Element service' SUP 'GlueCETop' STRUCTURAL MUST (GlueCEUniqueID) MAY (GlueCEName $ GlueCEHostingCluster)) objectclass ( 1.3.6.1.4.1.8005.100.2.1.2 NAME 'GlueCEInfo' DESC 'General info for the Queue associated to the CE' SUP 'GlueCETop' AUXILIARY MAY (GlueCEInfoTotalCPUs $ GlueCEInfoLRMSType $ GlueCEInfoLRMSVersion $ GlueCEInfoGRAMVersion $ GlueCEInfoHostName $ GlueCEInfo GatekeeperPort $ GlueCEInfoContactString $ GlueCEInfoJobManager $ GlueCEInfoApplicationDir $ GlueCEInfoDataDir $ GlueCEInfoDefaultSE) )

10 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 10 Mise en oeuvre Glue Schema

11 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 11 Plan Introduction Système dInformation de LCG/EGEE Utilisation du Système dInformation –Utilisateurs –Services Grille Matchmaking Data management Exploitation et Système dinformation Conclusions Annexes

12 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 12 Utilisateurs Interrogation du SI via LDAP Ligne de commande –Top BDII: ldapsearch -x -h lcg-bdii.cern.ch -p 2170 -b "mds-vo-name=local, o=grid" –Site BDII: ldapsearch -x -h cclcgip01.in2p3.fr -p 2170 -b "mds-vo-name=in2p3-cc, o=grid" –GRIS: ldapsearch -x -h cclcgceli02.in2p3.fr -p 2135 -b "mds-vo-name=local, o=grid " {ccali32}~(0)>ldapsearch -x -h cclcgceli02.in2p3.fr:2135 -b 'mds-vo-name=local,o=grid' |more # cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short, local, grid dn: GlueCEUniqueID=cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short,mds-vo-name= local,o=grid GlueCEHostingCluster: cclcgceli02.in2p3.fr GlueCEName: short GlueCEUniqueID: cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short GlueCEInfoGatekeeperPort: 2119 GlueCEInfoHostName: cclcgceli02.in2p3.fr GlueCEInfoLRMSType: bqs GlueCEInfoLRMSVersion: not defined GlueCEInfoTotalCPUs: 112 GlueCEInfoJobManager: bqs GlueCEInfoContactString: cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short GlueCEInfoApplicationDir: /afs/in2p3.fr/grid/toolkit GlueCEInfoDataDir: unset GlueCEInfoDefaultSE: cclcgseli01.in2p3.fr GlueCEStateEstimatedResponseTime: 212 GlueCEStateFreeCPUs: 112 GlueCEStateRunningJobs: 0 GlueCEStateStatus: Production GlueCEStateTotalJobs: 0 Sortie sous format LDIF

13 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 13 Utilisateurs Navigateur LDAP Windows –Softerra LDAP Browser 2.6(freeware), http://www.ldapbrowser.com/ Linux –GQ LDAP client, http://gq-project.org/ Java –JXplorer, http://www.jxplorer.org/ –LDAP Browser\Editor, http://www.openchannelfoundation.org/projects/LDAP_Browser_ Editor/

14 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 14 Utilisateurs toolkit LCG-UTILS Commande Lcg-infosites (usage: lcg-infosites –h) {ccali32}~(255)>lcg-infosites --vo esr -is lcg-bdii.cern.ch rb rb.phy.bg.ac.yu:7772 grid09.lal.in2p3.fr:7772 rb.isabella.grnet.gr:7772 rb01.egee-see.org:7772 rbroker.mrs.grid.cnrs.fr:7772 grid014.ct.infn.it:7772 egee-rb-01.cnaf.infn.it:7772 gridit-rb-01.cnaf.infn.it:7772 gridrb.fe.infn.it:7772 prod-rb-01.pd.infn.it:7772 bosheks.nikhef.nl:7772 boswachter.nikhef.nl:7772 lcgrb01.gridpp.rl.ac.uk:7772 mu3.matrix.sara.nl:7772 rb.scai.fraunhofer.de:7772 Installé sur les UIs/WNs

15 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 15 Utilisateurs Gestion des tags dune VO sur un site Commande lcg-ManageVOTag –Permet dajouter, de supprimer ou de lister des tags sur les Computing Element des sites –Lajout et la suppression sont réservés au Software Administrators de la VO –Un tag est un nom logique permettant dindiquer les logiciels installés par la VO sur un site –Les utilisateurs peuvent ainsi sélectionner un site en fonction du logiciel nécessaire à leur job. {ccali32}~(0)>lcg-ManageVOTag -host cclcgceli02.in2p3.fr -vo biomed - -list VO-biomed-autodock-3-0 VO-biomed-GATE-1.1.0-3 VO-biomed-GATE-2.2.0-3 VO-biomed-autodock_IAN-3-0

16 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 16 Services Grille Matchmaking Le SI est interrogé par le RB pour choisir une queue de soumission en fonction du JDL (Job Description Language) fourni par lutilisateur RC3RC2 RC1RB1 RB2LFC1 LFC2 Top BDII TAG VO3_APP1.0.2 Input datafile1 UI JDL VO3 Requirements: TAG VO3_APP1.0.2 MaxCPUTime >= 20 RB2 2- Interroge 3- Soumet 1- soumet un job (JDL)

17 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 17 Services Grille Data management Le middleware exploite le SI pour rendre transparent la gestion des données distribuées sur la grille –Localise le catalogue de fichier de la VO –Exploite les données publiées par le SE pour opérer les transferts RC3RC2 RC1RB1 RB2LFC1 LFC2 Top BDII TAG VO3_APP1.0.2 Input datafile1 UI lcg-cr VO3 lcg-cr --vo VO3 file://monfic 2- Interroge 4- Transfert 1- Copie depuis lUI vers un SE LCG-UTILS Gridftp SE2 3- Enregistre # biomed, cclcgseli01.in2p3.fr, local, grid dn: GlueSALocalID=biomed,GlueSEUniqueID=cclcgseli01.in2p3.fr,Mds-Vo-name=local,o=grid … GlueSAPath: /grid/biomed GlueSAType: permanent GlueSALocalID: biomed GlueSAPolicyMaxFileSize: 10000 GlueSAPolicyMinFileSize: 1 GlueSAPolicyMaxData: 100 GlueSAPolicyMaxNumFiles: 10 GlueSAPolicyMaxPinDuration: 10 GlueSAPolicyQuota: 576716800 GlueSAPolicyFileLifeTime: permanent GlueSAStateAvailableSpace: 1822756076 GlueSAStateUsedSpace: 305668056 GlueSAAccessControlBaseRule: biomed # gsiftp, cclcgseli01.in2p3.fr, local, grid dn: GlueSEAccessProtocolLocalID=gsiftp, GlueSEUniqueID=cclcgseli01.in2p3.fr,Mds-Vo- name=local,o=grid … GlueSEAccessProtocolLocalID: gsiftp GlueSEAccessProtocolType: gsiftp GlueSEAccessProtocolEndpoint: gsiftp://cclcgseli01.in2p3.fr GlueSEAccessProtocolCapability: file transfer GlueSEAccessProtocolVersion: 1.0.0 GlueSEAccessProtocolPort: 2811 GlueSEAccessProtocolSupportedSecurity: GSI GlueChunkKey: GlueSEUniqueID=cclcgseli01.in2p3.fr

18 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 18 Plan Introduction Système dInformation de LCG/EGEE Utilisation du Système dInformation Exploitation et Système dinformation GOC DB Tests fonctionnels et filtrage du SI Conclusions Annexes

19 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 19 Exploitation et Système dinformation GOC DB Référenciel de tous les sites de LCG/EGEE –lURL LDAP du GIIS/Site BDII de chaque site –Le statut/type (Certified/Production) de chaque site –La déclaration éventuelle de « Scheduled Downtime » –… Utilisable pour générer automatiquement la configuration des Top BDIIs avec la liste des sites déclarés en « Production » http://grid-deployment.web.cern.ch/grid-deployment/gis/lcg2-bdii/dteam/lcg2-all-sites.conf GOC DB HTTP URL SiteBDII1 URL SiteBDII2 … URL SiteBDII1 URL SiteBDII2 … BDII Config

20 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 20 Exploitation et Système dinformation Tests fonctionnels et filtrage du SI SAM ( Service Availibility Monitoring ) –https://lcg-sam.cern.ch:8443 –système soumettant régulièrement des tests sur les sites –Le résultat des tests est utilisable pour filtrer les Top BDIIs en supprimant les sites en échec. FCR ( Freedom of Choice for Resources ) –https://lcg-fcr.cern.ch:8443/fcr/fcr.cgi –Permet à une VO de choisir les tests quelle considère critiques et dajouter ses propres tests de site –Pris en compte dans le filtrage des Top BDII (configurés pour)

21 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 21 Conclusions Le SI LCG/EGEE fournit les informations nécessaires à lutilisation des ressources/services de la grille –Pour les utilisateurs –Pour les services de grille –~200 sites sont ainsi publiés Il est organisé autour dune architecture à 3 niveaux de serveurs LDAP –GRIS GIIS/Site BDII Top BDII –Utilise un modèle de données défini par le GLUE Schema –Attention aux temps de latence liés à laccumulation de cache quelques minutes de décalage au niveau du Top BDII Criticité du SI –Stabilité en progression –Les Top BDIIs sur-utilisés peuvent devenir instables et altérés le fonctionnement de la grille Ex.: lcg-bdii.cern.ch Plan pour répartir le SI en Top BDIIs par ROC (fédérations) GSTAT: monitoring permettant de vérifier létat de santé du SI R-GMA ( Relational Grid Monitoring Architecture ), lalternative ? Approche « BD Relationnelle distribuée» Possibilité dextension du modèle de données du SI Déjà utilisé pour l« Accounting » (comptabilité des jobs) Annoncé comme le remplaçant de larchitecture basé sur LDAP Ne semble pas encore avoir fait ses preuves

22 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 22 Remerciements Pour le pillage de leurs présentations –Diego Scardaci, INFN Catania –Jozsef Patvarczki, MTA SZTAKI –Patricia Méndez Lorenzo, CERN

23 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 23 Liens utiles Tutorial LDAP, http://www-sop.inria.fr/semir/personnel/Laurent.Mirtain/LDAP.html GSTAT, http://goc.grid.sinica.edu.tw/gstat/ http://goc.grid.sinica.edu.tw/gstat/ GOC DB, https://goc.grid-support.ac.uk/gridsite/gocdb2/ SAM, https://lcg-sam.cern.ch:8443/sam/sam.py FCR, https://lcg-fcr.cern.ch:8443/fcr/fcr.cgi Projet EGEE, http://www.eu-egee.org/ http://www.eu-egee.org/ Portail des opérations dEGEE, http://cic.gridops.org/

24 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 To change: View -> Header and Footer 24 Questions…