Plateforme de Calcul pour les Sciences du Vivant Le Système dInformation de gLite.

Présentation au sujet: "Plateforme de Calcul pour les Sciences du Vivant Le Système dInformation de gLite."— Transcription de la présentation:

1 Plateforme de Calcul pour les Sciences du Vivant Le Système dInformation de gLite

2 Plateforme de Calcul pour les Sciences du Vivant Système dinformation Quest-ce que cest? –Un système pour collecter des informations sur létat des ressources Pourquoi? –Pour explorer les ressources de la grille et leur nature –Avoir des données utiles pour gérer aux mieux les charges sur les ressources –Vérifier le bon fonctionnement des ressources Comment? –En surveillant létat des ressources localement et en le publiant dans le système dinformation –En adoptant un modèle de données commun pour tous les composants qui veulent accéder à ces informations –En utilisant différentes approches qui seront détaillées dans les prochains transparents

3 Plateforme de Calcul pour les Sciences du Vivant Design des Systèmes dinformations Concernant les mesures –Elles doivent être adaptées aux objectifs des utilisateurs qui y accèdent –Elles doivent être suffisamment précises Concernant la récupération des informations –Comment et quand les données doivent-elles être publiées? –Où les données doivent-elles être stockées? –Combien de temps les données doivent-elles être concervées? Requêtes sur le système dinformation –Où les requêtes doivent-elles être envoyées? –Quels syntaxes et protocoles doivent être utilisés? –Quel est le modèle de données qui décrit les ressources? Sécurité –Qui a le droit de faire des requêtes et quels types de requêtes? –Gestion des droits et des accès

4 Plateforme de Calcul pour les Sciences du Vivant Les SI choisis Le BDII (Berkley DB Information Index) –A été choisi comme système dinformation pour lintergiciel LCG –Cest une évolution du Globus Monitoring and Discovery Service (MDS) –LCG-2 utilise le BDII comme système dinformation. –Il est basé sur des serveurs LDAP (Lightweight Directory Access Protocol) Le Relational Grid Monitoring Architecture (R-GMA) –Cest une implémentation du Grid Monitoring Architecture (GMA) standardisée par le Global Grid Forum (GGF) –Cest une implémentation relationnelle du GMA –Il est fortement orienté Web Services –Sera adopté lors des prochaines versions de lintergiciel gLite

5 Plateforme de Calcul pour les Sciences du Vivant Lcg Information System

6 Plateforme de Calcul pour les Sciences du Vivant LCG Information System LCG utilises un ensemble de solutions –Globus MDS Au plus bas niveau du système dinformation Pour explorer et monitorer les ressources et publier les informations Utilise Grid Information Security (GSI) Système de cache –BDII Au plus haut niveau du système Parce que MDS a des problèmes de passage à léchelle Utilisé par les Resource Broker pour le matchmaking Peut être configuré pour chaque VO Effectue des requêtes de façon périodique (2 minutes) Un système hiérarchisé –Linformation est collecté au niveau des feuilles et transite jusquà la racine –Les clients peuvent effectuer des requêtes à chaque niveau –Plus le niveau où les requêtes sont effectuées est élevé, plus les données sont vielles

7 Plateforme de Calcul pour les Sciences du Vivant Récupération des informations Récupérations des informations à différents niveaux –Plus bas niveau: Grid Resource Information Server (GRIS) Récupère les informations dune ressource donnée Un GRIS sur chaque ressource Un ensemble de scripts et de capteurs qui extraient les informations utiles –Niveau moyen: Grid Index Information Server (GIIS) Récupère les informations pour un site donné Un GIIS pour chaque site –Plus haut niveau: BDII Récupère les informations pour une VO donnée Un BDII pour chaque VO Comment récupérer les données –Pull model (Les niveaux supérieurs effectuent des requête sur les niveaux inférieurs de façon périodique) –Modèle de requêtes LDAP

8 Plateforme de Calcul pour les Sciences du Vivant Globus MDS (Le passé) Globus Meta Directory Server (MDS) –Système hiérarchique –Basé sur des serveurs LDAP –Les GRIS sont les feuilles de larbre –Les GIISes sont les nœuds intermédiaires –Les utilisateurs peuvent faire des requêtes à chaque niveau –Plus linformation provient dun nœud élevé, plus linformation est vieille Grid Resource Information Service (GRIS) –Un pour chaque ressource (CE ou SE) –Récupère les informations pour cette ressources –Donne des informations dynamiques ou statiques Grid Index Information Service (GIIS) –Un pour chaque site –Récupère les informations des GRIS –Met les informations en cache –Effectue des requêtes sur les GRIS quand necessaire GIIS CERN root National GIIS GIIS GRISes GIIS GRISes GIIS GRISes Globus Monitoring and Discovery Service

9 Plateforme de Calcul pour les Sciences du Vivant BDII (le présent) The Berkley Database Information Index (BDII) –Développé dans le cadre du projet LCG –Corrige les problème dinstabilité du MDS qui apparaissent quand le nombre de sites est trop important –Est placé au dessus des GIIS –Un pour chaque VO –Système centralisé –Trois niveau de hiérarchie –Utilisé par le Workload Management System Fonctionnement –Un GRIS pour chaque ressource –Un GIIS pour chaque site récupérant les informations des GRIS –Un BDII par VO récupérant les informations des GIIS –2 serveurs LDAP, un en lecture et un en écriture –Toutes les 2 minutes un script récupère les informations des GIIS –La liste des GIIS devant être accédés est placée dans un fichier de configuration du BDII GIIS GRISes GIIS GRISes GIIS GRISes BDII

10 Plateforme de Calcul pour les Sciences du Vivant R-GMA (le futur) The Relational Grid Monitoring Architecture (R-GMA) –Implémentation relationnelle du GMA –Utilise un modèle de base de données avec des relations entre les tables –Utilise une base de données virtuelle –Lutilisateur fait des requête comme sil utilisait une base de données (SQL) Les informations –Produite au niveau des sites –Toujours à jour –Peuvent être collectées par une entité (producteur secondaire) pour être accédées plus rapidement (cache) Virtual database R-GMA front end R-GMA front end R-GMA front end R-GMA client R-GMA client R-GMA client

11 Plateforme de Calcul pour les Sciences du Vivant GLUE Schema

12 Plateforme de Calcul pour les Sciences du Vivant GLUE Schema Grid Laboratory Uniform Environment (GLUE) Schema –Cest un modèle de données qui décrit les ressources de grille –Cest le résultat de la collaboration des projets EU-DataTAG et iVDGL –EGEE, NorduGrid, LCG et Grid3/OSG ont participé à la définition de ce schéma Schéma XML –GLUE Schema est en train dêtre mis en place dans une représentation XML –http://infnforge.cnaf.infn.it/glueinfomodel/Spec/V12/R1http://infnforge.cnaf.infn.it/glueinfomodel/Spec/V12/R1

13 Plateforme de Calcul pour les Sciences du Vivant Site Element une collection de ressources appartenant à la même organisation et dirigées par le même admin. contient les infos sur les machines, ladmin, la page web de présentation,… description dun WS déployé. contient ladresse URL du WS, le WSDL, la liste des responsables, ….

14 Plateforme de Calcul pour les Sciences du Vivant Cluster Element ensemble de ressources hétérogènes. contient des informations sur des répertoires partagés. ensemble de ressources similaires. contient un nombre logique et physique de CPUs. contient une liste détaillée des hôtes ainsi que des softs installés Les informations sont fonctions du type darchitecture, de la taille mémoire, des OS installés, et du réseau. contient des infos sur la mesure de performance obtenue par lexécution de softs étalons. information sur les softs installés, ainsi que leur version et le chemin daccès

15 Plateforme de Calcul pour les Sciences du Vivant Computing Element informations relatives au scheduler adopté, le SE par défaut, … vue dune Virtual Organization donnée. contient les autorisations détaillées pour les membres de la VO et le nb de ressources disponibles. information dynamique sur le statut de la queue vu comme un nombre de CPUs libre et le temps dattente estimé Abstraction dune queue de jobs contient les infos de configuration. MaxWallClockTime, MaxRunningJobs, MaxCPUTime… ensemble de règles définissant les contrôles daccès Information sur les jobs dans cette queue, leur responsable, son ID local, son ID global, son statut

16 Plateforme de Calcul pour les Sciences du Vivant lcg-info

17 Plateforme de Calcul pour les Sciences du Vivant lcginfo -h/--help: pour voir laide --list-attrs: pour afficher la liste des attributs existants --list-ce: liste les CE qui satisfont la requête. --list-se: liste les SE qui satisfont la requête --bdii: permet de spécifier le BDII à utiliser :. Utilise la valeur de LCG_GFAL_INFOSYS si rien nest spécifié. --vo: Limite les résultats aux sites où la VO est autorisée To change: View -> Header and Footer 17

18 Plateforme de Calcul pour les Sciences du Vivant lcg-infosites

19 Plateforme de Calcul pour les Sciences du Vivant lcginfosites -h/--help: aide --vo: nom de la VO (obligatoire) --is: Permet de spécifier un BDII à utiliser Quelques options: –se: nom des SE accessibles pour la VO –ce: informations sur le nombre de CPU, de jobs en train de tourner… –wms: nom des wms disponibles –sitenames: noms de sites LCG –tag: Noms des tags relatifs aux softwares installés sur les sites –closeSE: Nom des CE où lutilisateur peut envoyer des jobs et leur SE correspondants –voview: Nom des CE où lutilisateur peut envoyer des jobs et leur SE correspondants ainsi que des informations sur les CPU To change: View -> Header and Footer 19

20 Plateforme de Calcul pour les Sciences du Vivant References G L ITE 3 User Guide –https://edms.cern.ch/file/722398/gLite-3-UserGuide.pdfhttps://edms.cern.ch/file/722398/gLite-3-UserGuide.pdf GLUE Schema –http://infnforge.cnaf.infn.it/glueinfomodel/http://infnforge.cnaf.infn.it/glueinfomodel/ EGEE Library –http://egee.lib.ed.ac.uk/http://egee.lib.ed.ac.uk/