Point sur avancement du service de monitoring NAGIOS mercredi 4 juillet 2018mercredi 4 juillet 2018 Point sur avancement du service de monitoring NAGIOS Réunion LCG-France Tier 1 (11/01/2008)
WLCG Grid Service monitoring Plan WLCG Grid Service monitoring Sondes fournis Outils de configuration Etat d'avancement des tests Nagios 3 Mise en production d'un service de monitoring basé sur nagios Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
WLCG Grid Service monitoring Initiative du WLCG Monitoring working group Basé sur Nagios Fournir un ensemble de sondes pour la supervision des service grille Intégrer les tests SAM Fournir un outil de configuration automatique de nagios Composants fournis sous forme de packages RPM dans un repository dedié Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
WLCG Grid Service monitoring 2 type de configuration : "Remote only" : Import des résultat des tests SAM uniquement "Remote and Local" : Import des résultat de SAM Envoi de sonde locale (Nécessite un serveur myproxy) Sondes : FTS-probe LFC-probe RGMA-probe CAdist-probe DPM-probe DPNS-probe GRAM-probe GridFTP-probe GridProxy-probe MyProxy-probe ResourceBroker-probe SRM-probe WMProxy-probe WMS-probe refresh_proxy Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
WLCG Grid Service monitoring Générateur de configuration Interroge la SAM DB Interroge le BDII (optionnel) Simple d'utilisation /opt/lcg/sbin/ncg.pl --site IN2P3-CC Créer la totalité de configuration nagios "hosts", "services", "contact" … La configuration nécessite d'etre adapté Définition des contacts du site (par défaut contact publié dans la goc DB) Suppression des tests redondant Suppression des tests SAM obsolète Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
WLCG Grid Service monitoring Etat d'avancement des test 1ere installation fin décembre sur une machine type UI non AFS Problème de timeout sur certain sondes : Les processus exécuté toujours présent en mémoire Envoi d'un rapport de bug sur la Mailing list le 07/01 Retour ce matin de James Casey et test en "primeur" du nouveau packages Problème d'un sonde qui bloque le service myproxy Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
WLCG Grid Service monitoring Etat d'avancement des test Réinstallation sur une machine SL4 AFS UI Nombreux problèmes du à l'environnement Reste à trier et à valider les sondes Valider la pertinence des tests Enlever les tests inutiles ou redondant Début prometteurs Support des sondes assurés par le projet ! Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
Version 3.0rc1 (17/12/07) Apport principal de la v3 Nagios 3 Version précédente le 23/11/07 Laisse présumer un release officielle dans les semaines à venir Apport principal de la v3 Support des résultat de plugins multi ligne Permet d'avoir des sorties plus "verbeuse" des résultat de sondes. Liste détaillé : http://nagios.sourceforge.net/docs/3_0/whatsnew.html Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
Avant Après Nagios 3 Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
Mise en production de nagios Installation de nagios similaire à celle attendus par les packages RPM du projet Authentification des utilisateur par certificate GRID-FR Définir précisement la structure des fichiers de configuration Configuration de nagios assez permissive Mécanisme d'héritage assez lourd Définir les service à superviser Fréquence des tests Contact associés … Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
Mise en production de nagios Définir un nomenclature des tests Passerelle RLS/NGOP Existant, mais non testé Ajouter éventuellement des recette NGOP aux messages **** Nagios ***** Notification Type: PROBLEM Service: hr.srce.MyProxy-ProxyLifetime Host: MyProxy server Address: 134.158.105.194 State: CRITICAL Date/Time: Fri Jan 11 12:27:07 CET 2008 Additional Info: (Service check did not exit properly) Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
Mise en production de nagios Est-ce que le service "production" est prêt pour utiliser un nouvel outil de monitoring ? Prise en compte de nouveau mails d'alerte Utilisation de l'interface de visualisation A terme : Intégration de nouvelle sondes Configuration de nagios (associé au service). Démonstrateur : http://ccgridvmli11.in2p3.fr/nagios/ Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
Exemple de configuration Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018
Exemple de configuration define command{ command_name check_fcr command_line /opt/ccin2p3/nagios/probes/check_fcr.sh -v $ARG1$ } define contact { contact_name pierrem host_notification_period 24x7 host_notification_options d,u,r host_notification_commands notify-host-by-email service_notification_period 24x7 service_notification_options w,u,c,r service_notification_commands notify-service-by-email email pbrinette@cc.in2p3.fr } define contactgroup { contactgroup_name linux-admins alias Linux Administrators name linux-admins register 1 members pierrem } define service { use generic-service host_name cclcgip01 service_description check_fcr_for_t1 # check_command check_fcr!IN2P3-CC check_command check_fcr!INFN-TRIESTE name check_fcr register 1 max_check_attempts 2 normal_check_interval 10 retry_check_interval 1 check_period 24x7 notification_options w,c,r notifications_enabled 1 contact_groups linux-admins } define host { host_name cclcgip01 alias cclcgbdiili01 address cclcgip01.in2p3.fr use generic-host max_check_attempts 2 contact_groups linux-admins check_command check-host-alive } Pierre-Emmanuel BRINETTE / Monitoring GRID Nagios 04/07/2018