Configuration des sites Intérêt de la mutualisation ! Existant avec Quattor Tendance Puppet Discussion.

Présentation au sujet: "Configuration des sites Intérêt de la mutualisation ! Existant avec Quattor Tendance Puppet Discussion."— Transcription de la présentation:

1 Configuration des sites Intérêt de la mutualisation ! Existant avec Quattor Tendance Puppet Discussion

2 Existant avec Quattor Choix commun des sites LCG-France – Un atout affiché comme tel par LCG France depuis 2006 – Au même titre que DPM Gestion de l’installation ET de la configuration – Serveur unique par site – Historique et en place depuis XX années Composants ‘NCM’ permettant la configuration de certains systèmes – Templates QWG pour certains composants de grille – Peu de contributeurs, peu de validation Evolution lente et parfois difficile Maintenance exigeant un temps important

3 Existant avec Quattor Choix commun des sites LCG-France – Un atout affiché comme tel par LCG France depuis 2006 – Au même titre que DPM Gestion de l’installation ET de la configuration – Serveur unique par site – Historique et en place depuis XX années Composants ‘NCM’ permettant la configuration de certains systèmes – Templates QWG pour certains composants de grille – Peu de contributeurs, peu de validation Evolution lente et parfois difficile Maintenance exigeant un temps important

4 Difficulté La communauté HEP s'organise de plus en plus autour des outils standard Une communauté Quattor de moins en moins grille – Les nouveaux utilisateurs de quattor ne sont pas des sites grilles Un faible man-power pour le développement des templates grilles

5 Réussite Les templates grilles sont utilisés par de nombreux sites qui n'ont pas ou peu de modification a faire – Mise en commun d'un jeu de « templates génériques » Le déploiement des nouveaux templates sur les sites est rapide (passage gLite EMI)... une fois les « templates génériques » mis à disposition – Bénéfice de cette mise en commun

6 Quattor : les évolutions… Bénéfice et simplifications attendues – Evolution du compilateur PAN, Changement des noms de profiles – Evolution de la database de configuration (Aquillon) – Nouvelle version de SPMA (gestion des dépendances, simplification des templates…) vs éventuelles difficultés pour évoluer ? Organisation / Coordination FR : faire mieux ?

7 Tendance Puppet – Gestion de la configuration uniquement Foreman – Gestion des installations et jonction puppet/hard Avec l’outil viennent des inquiétudes – Méthodes de travail différentes – Question du partage du travail Tout est-il partagé/partageable dans quattor ?

8 Expérience @SUBATECH Motivation : curiosité, veille techno Cluster de calcul local en production Authentification Kerberos, NIS et NFS client Ajout de librairies 64 et 32bits Torque client + Munge Pakiti Nagios serveur SQUID pour CVMFS Extension aux services grille envisageable car : Utilisation de TAR_WN (Quattor installe l'OS seulement) Pas de machines complexes (machines virtuelles+YAIM) Autres serveur installés via Quattor OK (xrootd, cluster proof) Difficultés : GIT, procédure de test, maîtrise des versions des packages (solution FS © adoptée modulo qq modifs) Points positifs : Peu de code à écrire (site:76, hostgroup:434)

9 Et d’autres… IPHC CC-IN2P3

10 Expérience @IRFU Passage en production de 250 machines – L’ensemble du calcul EMI2 et EMI3, CREAM/Torque/Argus – Serveurs d’accounting, virtualisation, perfsonar (PS/MDM), WLCG vobox, WMS+LB Maîtrise des paquets via des snapshots (hard links) A moyen terme : ensemble du site Avantages : – Communauté immense – personnalisation système immensément simplifiée/permise par rapport à quattor – L’outil n’est plus un obstacle à l’administration – Modifications/ajouts simples : pas de rpm, pas de perl objet

11 Expérience @IRFU acquisition d’expérience impérative à la compréhension Il a fallu migrer l’ensemble d’une configuration quattor déjà très complexe Développement et modification de modules existants nécessaire Pas de « trigger de déploiement à la quattor » @IRFU (faisable via mcollective) => cron/démon « La simplicité est complexe à atteindre » même avec puppet

12 Groupe de travail HEPix HEPiX configuration management WG – https://twiki.cern.ch/twiki/bin/view/HEPIX/ConfigManagement https://twiki.cern.ch/twiki/bin/view/HEPIX/ConfigManagement Réunion de lancement le 14/11/2013 – Minutes : https://twiki.cern.ch/twiki/bin/view/HEPIX/VideoMeeting14112013https://twiki.cern.ch/twiki/bin/view/HEPIX/VideoMeeting14112013 Bilan – des modules utilisés et partagés (github) – Des outils utilisés (hiera/git/github/gitolite/eclipse/wallet/librarian) Interrogations sur la manière de regrouper tout via github Question de la gestion des données locales (ips, pass hash, hostnames) hors modules Discussions afin de lever les obstacles à la mutualisation de certains modules.

13 Discussion Attentes des sites ? Quelle vision de l'administration systèmes, des outils de configuration, de la situation actuelle, de l'évolution à moyen terme... ?