mardi 30 mars 2010 Les Outils d'Exploitation et de Surveillance Cyril L’Orphelin, Atelier technique France Grilles, 31 Mai 2010 IN2P3/CNRS Computing Centre, Lyon, France

Atelier technique France Grilles, 31 Mai Les principaux Outils d'Exploitation et de Surveillances Les principaux Outils d'Exploitation et de Surveillances GOC DB GOC DB GGUS GGUS Nagios Nagios MyEGEE Portal MyEGEE Portal Gstat Gstat Dashboard Dashboard Outils réseaux Outils réseaux Outils pour la sécurité Outils pour la sécurité Outils au sein des grilles régionales et de recherche. Outils au sein des grilles régionales et de recherche. Résumé et analyse des besoins actuels Résumé et analyse des besoins actuels

Atelier technique France Grilles, 31 Mai La GOCDB – GOCDB = Grid Operations Centre DataBase Un repository central d'informations statiques Composante clé dans les projets EGEE/WLCG, utilisée comme source de référence Contient des information sur : Les groupements de régions et de pays Les sites, noeuds et services Les utilisateurs Des informations administratives (contacts, noms, responsables…) Les downtimes déclarés des services et des sites Version 4.0 – Version Centrale + Rpm pour les régions Basée sur une couche d'abstraction de données Version identique en région et en centrale GOCDB (1/3)

28/04/1030/03/10 CENTRAL GOCDB WSGUI GOCDB module EGI tools EGI users REGION / NGI WSGUI GOCDB module Local tools Local users 1 REGION / NGI Local users Local tools Local tool Adapter 3 GUI REGION / NGI Local users 2 0 La GOCDB Centrale (0) est le repository d'accès à toutes les données centrales relatives aux projets EGEE/EGI (read only). Les régions peuvent avoir leur propre GOC DB déployée (1),utiliser la GOCDB centrale (2) ou utiliser leur propre outil avec des fonctions similaires (3) GOCDB : architecture en région (2/3)

Atelier technique France Grilles, 31 Mai GGUS (1/2) GGUS – KIT – GGUS = Global User Support Composante clé dans le projets EGEE, utilisée comme système central de gestion de ticket. Cet outil est utilisé pour créer et suivre des tickets d'incidents et d’opérations par et pour les différents acteurs du projet ( sites, VO, utilisateurs finaux,opérateurs, SU spécialisées … ) Version Actuelle Centrale. Version régionalisée en cours de développement : interface customisée pour les NGIs Visibilité des tickets limitée à la région Url adaptée à la région Maintenance faite par l'équipe de KIT Synchronisation avec GGUS pour les problèmes hors régions Module de news.

28/04/1030/03/10 Nagios (1/4) Nagios : -Système de monitoring, Open Source -Revisité durant le projet EGEE pour arriver avec le module NCG à une Nagios Box adaptée au monitoring des sites de grilles. -Nagios supervise les différents services et nœuds des sites enregistrés dans la GOCDB. -Une interface web permet de visualiser les résultats et l’historique. -Il envoie des notifications de changements d’états via un bus de message basé sur les technologies AMQ Une instance virtuelle a été créée pour chaque région au CERN Le but du jeu est de les migrer en région après une phase de validation. Une infrastructure complète de monitoring à plusieurs niveaux s’est construire autour des Nagios Boxes

28/04/1030/03/10 Nagios : Composants Annexes (2/4) Des modules annexes sont utilisés dans l’architecture de monitoring. Metric Description Database (MDDB) – Base de données qui contient la description des métriques utilisées par Nagios, et aussi les métriques calculées pour la disponibilité des services. Metric Results Store (MRS) – Base de données qui contient les résultats utilisés sur du long terme (historique ) des tests Nagios. ATP (Aggregated Topology Provider) – Base de données toplogiques. Elle contient l’aggrégation des données provenant de la GOC DB, du BDII, de OIM (Information Management System – projet OSG) et des VOs.

28/04/1030/03/10 Nagios (3/4)

28/04/1030/03/10 Nagios (4/4) Nagios France : Instance française en cours de validation Pour le moment 2 instances ont été validées régionalement et pour les calculs de disponibilité ( à partir du 1 er juin) Instance hébergé au CC Groupe de travail actif et documentation fournie : Travail en cours pour intégrer des tests spécifiques à une VO : Nagios installé à part pour Biomed Travail qui a pris du retard en partie dû à un déploiement un peu compliqué par Quattor (monitoring Nagios non maintenu par Quattor)

28/04/1030/03/10 MyEGEE MyEGEE - – MyEGEE est l'outil de visualisation pour la plupart de vérification des résultats de métriques et l'état des ressources. – Le portail est un descendant du portail MyOSG ( mis au point pour OSG à l'Indiana University. – Couche graphique associée à la Nagios Box – Composante déjà installé avec l’instance de la Nagios Box francaise

Atelier technique France Grilles, 31 Mai GSTAT GSTAT – GSTAT = Grid Information System Status Monitoring Outil qui surveille l'intégrité du système d'information EGEE (Top- BDII) Il vérifie également le contenu de ce système d’information et le présente de façon résumé et historique. Contient les information dynamiques publiées par les sites : Jobs en cours, en attente. Nombres de CPU publiés, utilisés Utilisation des ressources de stockage Vues par sites ou par VOs Version 2.0 destinée à être distribuée Cependant version centrale a priori maintenue pour le moment Package prêt à l’emploi :

28/04/1030/03/10 Dashboard pour les opérations (1/3) Operations Dashboard, CC-IN2P3 – – Application qui intègre et croise les informations des différents services et outils décrits précédemment – Le but étant de détecter rapidement grâce à des vues synoptiques des problèmes sur les sites afin de créer et de suivre des tickets d’incidents directement à partir des interfaces du dashboard. Version centrale régionalisée Package en cours de distribution

28/04/1030/03/10 Dashboard pour les opérations (2/3)

28/04/1030/03/10 Dashboard pour les opérations (3/3)

Atelier technique France Grilles, 31 Mai De l’ENOC deux outils sont migrés chez GARR (IT) et seront continués au sein d’EGI : support réseau (GARR) + activité CNRS (UREC par IDG) DownCollector – Tests TCP de tous les nœuds Grille déclarés dans la GOCDB – Présentation des résultats au travers d’une interface web et intégration dans Nagios Objectif principal: Vision et historique des évènements réseaux perfSONAR lite troubleshooting service Outil de diagnostic réseau : – Permet de lancer des tests à la demande : bande passante, ping, filtrage etc. – Permet de constater, ou non, des problèmes locaux Objectif principal: Diagnostic distant rapide et homogène ne nécessitant pas d’effort de la part des administrateurs d’un site Outils réseaux

Atelier technique France Grilles, 31 Mai EGI CSIRT Outils sécurité (1/2) EGI CSIRT- Security Monitoring Group Pakiti – – Outils d’analyse des versions de paquets et de détections de faille de sécurité. Interface Web sécurisée pour identifier rapidement des problèmes de sécurité. – Améliorations prévues : Monitorer les résultats du serveur central de Pakiti et remonter des alarmes le cas échéant. Proposer des versions pour les NGI avec une instance de Pakiti nationale. – Source du projet disponible :

28/04/1030/03/10 Nagios – Développement de sondes spécifiques au monitoring sécurité – Déploiement de ces sondes dans le Nagios classique – Proposer du support pour intégrer ces sondes dans les Nagios des NGI Développement d’un dashboard pour agréger et croiser les données du monitoring sécurité Développement d’outils pour tracer les utilisateurs Outils sécurité (2/2)

28/04/1030/03/10 Outils pour les grilles régionales Retour de Yonny pour TiDra : -Quelques scripts spécifiques pour monitorer les jobs et les ressources -Pas vraiment d’outils globaux. -Manque d’outils user-friendly et génériques. Manque d’informations pour les autres grilles régionales et les grilles de recherche.

Atelier technique France Grilles, 31 Mai Résumé (1/3) La GOC DB régionale pour la NGI France ? Intégration de tous les sites français Structure d'intégration pour les nouveaux sites Directement utilisable par le dashboard Maintenance et installation nécessitant du manpower GGUS en version régionalisée pour la NGI France ? Maintenance assurée par KIT Vision limitée à la France Version payante ( coût pas encore établi) Intérêt limité par rapport à la version centrale

Atelier technique France Grilles, 31 Mai Résumé (2/3) GSTAT en version régionale pour la NGI France ? Apparemment facile à déployer Version centrale existante et identique Maintenance et installation nécessitant du manpower Outils réseaux / sécurité ? - Les outils sont en cours de développement ou de re- développement. La France est impliquée dans ses développements - A suivre de près mais pas de nécessité immédiate de déploiements

28/04/1030/03/10 Outils au sein des grilles régionales – Etude à mener pour établir une liste de l'existant ainsi que des besoins Nagios / MyEGEE – Rien de spécifique à faire – procédure en cours Dashboard – Le développement est assuré en France donc on peut envisager facilement des développements spécifiques pour la France même pour l’interface Centrale. Résumé (3/3)

Atelier technique France Grilles, 31 Mai Pour faciliter les opérations, augmenter la visibilité et la cohérence de la NGI France, il est nécessaire : d’installer une GOC DB régionale :  Pour avoir un point d’entrée unique pour les sites de la NGI  Pour avoir une structure de test-bed de suivre et de s’impliquer dans les développements des outils réseaux et sécurité d’évaluer l’intégration d’un Nagios pour des tests VO spécifiques d’utiliser les composantes centrales pour les autres outils pour rentabiliser au maximum le manpower actuel D’étudier l’adaptation de ces outils pour les grilles régionales. Et je propose pour renforcer cette cohérence la création d’une VO française avec un serveur VOMS qui identifie tous les utilisateurs français. Analyse personnelle