EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Monitoring dans EGEE Frederic Schaer ( Judit.

Présentation au sujet: "EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Monitoring dans EGEE Frederic Schaer ( Judit."— Transcription de la présentation:

1 EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Monitoring dans EGEE Frederic Schaer ( Judit Novak, Piotr Nyczyk, Valentin Vidic)

2 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 2 Etat des lieux Outils disponibles GOC DB SFT SFT Admin Pages SAM GRIDVIEW Gstat GGUS CIC Dashboard FCR

3 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 3 GOC DB https://goc.grid-support.ac.uk/gridsite/gocdb2/index.php Information Statique centralisée Données sur l’ensemble des sites partenaires (ou presque) contact, security contact, certification status, site type 290 sites actuellement scheduled downtimes Utilisé par monitoring tools SFT + gstat (via RGMA), SAM scripts qui génèrent des fichiers de config (BDII) operations management tools On Duty Dashboard

4 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 4 GOC DB

5 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 5 GOC DB

6 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 6 SFT https://lcg-sft.cern.ch:9443/sft/lastreport.cgi Affichage du status d’un site, point de vue utilisateur Teste differents aspects d’un CE / Site: job submission, replica management, LCG version, rgma, CA rpms, etc. Soumission SFT officielle depuis le CERN Soumission pour les VOs dteam et ops Toutes les 3 heures Sur les sites certifiés; en production, et monitorés (status défini dans la GOC DB) Résultats des différents tests en ligne

7 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 7 SFT

8 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 8 SFT Admin Pages (Poznan) https://monitoring.egee.man.poznan.pl/index.php?go=9 Soumission SFT à la demande Interface web pour les SFT Soumission possible aux sites non-certifiés Utilisé par : ROCs: certification d’un site site admins, GOoDs (Grid Operator On Duty)

9 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 9 SAM Service Availability Monitoring https://lcg-sam.cern.ch:8443/sam/sam.py monitoring framework pour les services GRID "evolution des SFT " services mis en jeu : –CE, SE, BDII, RB, FTS etc. Developpement des sondes réparti –CERN, RAL, Sinica web services + Oracle DB

10 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 10 SAM

11 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 11 GRIDVIEW http://gridview.cern.ch Statistiques de disponibilité, basé sur R-GMA et SAM Différents services évalués –Data transfers –Job status –Service Availability  CE, SE, SRM Rapports très variés  Affichage par VO  Affichage par (importance de) site  Disponibilité globale

12 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 12 GRIDVIEW

13 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 13 GSTAT http://goc.grid.sinica.edu.tw/gstat/ Monitoring de l’Information System (BDII) Critères : Temps de réponse Cohérence des informations Graphiques générés CPU availability (nombre de CPUs), storage space, running jobs... Mise à jour toutes les 5 mins

14 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 14 GSTAT

15 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 15 GGUS Global GRID User Support http://ggus.org ticketing system pour la grille, basé sur Remedy tickets créés par : Utilisateurs individuels d’EGEE Opérateurs (GOoD) Fournit des liens vers La documentation, Des outils de monitoring Des “news”

16 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 16 CIC dashboard Partie intégrante du CIC portal https://cic.in2p3.fr Résumé des informations de monitoring (GSTAT + SFT/SAM + GOC DB) –Classement par importance de site (CPUs) Création et management de tickets –1 ticket par site et par problème –Attention aux problèmes liés ! (Ré-)envoi d’emails (templates) si mise à jour de ticket

17 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 17 CIC dashboard

18 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 18 Lien entre les outils CIC dashboard gstat Monitoring tools GGUS Problem reporting et tracking fix Modifications des tickets Sites Admins Email(s) sft Grid operator tests résultats

19 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 19 FCR Freedom of Choice for Resources https://lcg-fcr.cern.ch:8443/fcr/fcr.cgi Sélection des “tests critiques” (SFT) et des ressources pour les VOs manipulation de la configuration des BDII Selection CEs Selection des SEs Le but : Sélectionner les fonctionnalités importantes pour chaque VO Blacklister (officieusement et automatiquement) les sites instables Exclure une ressource déficiente dès que possible

20 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 20 FCR - VO Biomed FCR : SFT :

21 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 Journées Informatique IN2P3/DAPNIA, Lyon Valpré 21 Questions