Groupe de travail Monitoring LCG-France / SA1-FR Christine Leroy Pierre Girard Fabio Hernandez Frédérique Chollet.

Présentation au sujet: "Groupe de travail Monitoring LCG-France / SA1-FR Christine Leroy Pierre Girard Fabio Hernandez Frédérique Chollet."— Transcription de la présentation:

1 Groupe de travail Monitoring LCG-France / SA1-FR Christine Leroy Pierre Girard Fabio Hernandez Frédérique Chollet

2 2 Enjeux & Motivations Surveillance du bon fonctionnement de la composante française de WLCG/EGEE  démarrage des opérations pour le computing LHC Monitoring à différents niveaux (cf sessions de cette journée)  supervision des ressources à l’échelle d’un site,  surveillance des services grid à vocation locale au site, régionale ou globale,  surveillance globale de l’état de la grille au niveau régional Contexte :  perspective EGEE III, NGI…  contexte EGEE/WLCG en évolution Intérêt : groupe commun EGEE-SA1-FR / LCG-France Impératif : tenir compte à la fois des besoins, de l’expérience des sites, des orientations WLCG /EGEE

3 3 en 3 points 1.Faire un inventaire des besoins, pratiques et outils et une analyse synthétique  collecter les besoins des responsables des sites et de services de la région,  recenser les pratiques des sites et les outils de monitoring utilisés, 2.Suivre les travaux et orientations WLCG-EGEE  représenter et défendre les intérêts de la région dans les différents groupes de travail existants au sein de WLCG-EGEE  identifier les standards qui doivent être suivis ainsi que les outils pertinents à tous les niveaux (services, site et région), 3.Faire des propositions  proposer un ensemble d'outils répondant aux besoins identifiés à tous les niveaux sites, grid services, région  proposer, si besoin, des améliorations sur les outils et procédures d’alertes  établir, s’il y a lieu, un plan pour la poursuite de ses travaux Monitoring EGEE-SA1-FR / LCG-France Mandat

4 4 Calendrier et Comptes-rendus : Souci d’efficacité = Choix d’échéance courte période initiale de 6 mois Aller au-delà a un sens notamment pour le suivi des travaux au sein de WLCG/EGEE (point 2) Présentations régulières de l'avancement des travaux en réunion EGEE SA1-FR à partir de mai Objectifs  Point 1 : Partie inventaire avant l’été (2 mois) synthèse wiki ou document + présentation  Point 2 : Partie propositions à l’automne (6 mois) à l’ordre du jour d’une réunion EGEE SA1-FR, Réunion LCG-France, JI08… Document EDMS : https://edms.in2p3.fr/document/I-013168/https://edms.in2p3.fr/document/I-013168/

5 5 Groupes de travail WLCG et EGEE Assurer la cohérence avec les orientations WLCG-EGEE (volonté d’unir les efforts)  cf présentation de Michel (modèle et standards WLCG J.Casey) Identifier les groupes existants et les personnes déjà impliquées Sujets connexes :  lien entre les outils de monitoring et l’élaboration des métriques du projet  lien entre entre le monitoring et les opérations  Prise en compte des défaillances : Quel modèle opérationnel ?  Modèle pour les opérations EGEE est-il valable pour tout ? ○au niveau région, au niveau LCG (ex. exercice CCRC’08) ○Question abordée par ex. dans le cadre des opérations réseaux LHCOP Sécurité, accounting, support opérationnel (hors périmètre)

6 6 Groupes de travail WLCG et EGEE Identifier les groupes connexes et les personnes déjà impliqués  Groupes de travail WLCG Groupes de travail WLCG  System management / Supervision système et réseaux System management  Grid service monitoring / Surveillance des services de grille Grid service monitoring  System analysis / essentiellement le Monitoring des applications System analysis Michel Jouvin, …  EGEE Metrics Implementation Group (MIG group) : lien entre les outils de monitoring et l’élaboration des métriques du projet http://egee-docs.web.cern.ch/egee-docs/list.php?dir=./mig/production/& Etienne Urbah LAL (JRA2), Gilles Mathieu (CC)  Perspective EGEE III : Réflexion autour d’un groupe de travail Operations Automation Team (OAT) cf https://edms.cern.ch/document/901705 https://edms.cern.ch/document/901705

7 7 Perspective EGEE III (1) Operations Automation Team (SA1)  Recommandations sur les directions stratégiques à suivre pour améliorer l’automatisation des procédures opérationnelles globales  Coordination de l’infrastructure de monitoring global et du développement des outils de monitoring Périmètre de l’OAT  Supervision des services et de la disponibilité  Collecte d’informations pour l’estimation de la fiabilité  Surveillance de la conformité avec les SLAs  Accounting  Monitoring de site grille (service grille)  Outils opérationnels pour l’exploitation grille Composition  10 à 12 membres  20/30% de leurs temps à l’OAT (6 premiers mois au moins)  Développeurs d’outils, Opérateurs de grille, Représentants de ROC, Représentants de « related projects »

8 8 Perspective EGEE III (2) Mandat de l’OAT (durée d’EGEE III)  Audit de l’existant  Améliorer l’automatisation de l’exploitation  Standardiser les interactions entre les composants (protocoles et standards communs)  Préparer la décentralisation des outils en vue d’un modèle d’exploitation distribué (EGI/NGIs)  Développement des outils opérationnels  Définir et assurer le suivi d’un plan de travail  Coordination du développement de tous les outils opérationnels du projet ○Identifier er requérir les modifications à apporter aux composants existants ○Identifier et requérir les nouveaux composants nécessaires  Négocier avec les partenaires (développement et déploiement)  Favoriser l’intégration de produits bénéficiant d’un support et d’une communauté active  Accompagnement du déploiement de l’infrastructure de gestion de l’exploitation  Planifier l’intégration à l’environnement opérationnel  Gérer le processus de déploiement Architecture de haut niveau et plan de route dès mi-mai Détails d’implémentation et plan de déploiement fin juin Déploiement effectif sur plusieurs ROCs dans 1 an Draft: https://edms.cern.ch/document/901705

9 9 Monitoring EGEE-SA1-FR / LCG-France Composition du groupe Responsable-Animateur-Rapporteur : Christine Leroy Représentants SA1-FR, LCG-France : Pierre Girard, Frédérique Chollet Membres :  personnes déjà impliqués dans les groupes connexes WLCG, EGEE (?),  Sites intéréssés (?)

10 10 Fonctionnement & Organisation définis par le groupe lui-meme

11 11 Discussion

12 12 Liens http://lcg.in2p3.fr/wiki/index.php/Documents http://lcg.in2p3.fr/wiki/index.php/T2T3:Monitoring https://espace.cern.ch/wlcg-monitoring/default.aspx CIC :https://cic.gridops.org/index.php?section=rc&page=dashboardrc&su bpage=othertoolshttps://cic.gridops.org/index.php?section=rc&page=dashboardrc&su bpage=othertools ROC SWE : http://www.egee.cesga.es/EGEE-SA1-SWE/monitoring/http://www.egee.cesga.es/EGEE-SA1-SWE/monitoring/ WLCG Monitoring Working groups : https://twiki.cern.ch/twiki/bin/view/LCG/LCGMonitoringWorkingGroups https://twiki.cern.ch/twiki/bin/view/LCG/LCGMonitoringWorkingGroups  System management : http://www.sysadmin.hep.ac.uk/ System managementhttp://www.sysadmin.hep.ac.uk/  Grid service monitoring : https://twiki.cern.ch/twiki/bin/view/LCG/GridServiceMonitoringInfo Grid service monitoring https://twiki.cern.ch/twiki/bin/view/LCG/GridServiceMonitoringInfo  System analysis : https://twiki.cern.ch/twiki/bin/view/LCG/SystemAnalysisMonitoringInfo System analysis https://twiki.cern.ch/twiki/bin/view/LCG/SystemAnalysisMonitoringInfo EGEE-SA1-FR LCG-France Monitoring :  Mandat : https://edms.in2p3.fr/document/I-013168/https://edms.in2p3.fr/document/I-013168/  Wiki :