Eric Fede : Obernai Intégration des services grille dans l'exploitation des systèmes informatiques du laboratoire

Eric Fede : Obernai Avant propos Nœud de grille = Tiers 2 Tiers3 Les engagements Tiers 2 et Tiers 3 sont différents  l’exploitation peut l’être également. Point de vue subjectif pas nécessairement partagé. Liste non exhaustive des rapprochements possibles entre l’exploitation nœud de grille et l’exploitation du laboratoire.

Eric Fede : Obernai Plan Un nœud de grille, quoi de neuf ? Contexte Les convergences possibles Généralités Stockage Calcul Déploiement Supervision Autres Conclusion

Eric Fede : Obernai Les conséquence d’être nœud de grille Plus de matériel Plus de serveurs (beaucoup plus) Plus de disques (beaucoup plus) Plus d’équipements réseau Plus d’achats à effectuer Plus de maintenance Des infrastructures plus importantes/lourdes Plus de services à fournir Niveau de services élevés Disponibilité importante De meilleurs prix De meilleures infrastructures pour tout le monde De meilleurs contacts avec les revendeurs Plus de compétences en interne Personnes multi compétences Solutions : déploiement, surveillance,… }

Eric Fede : Obernai Le contexte Historique lié à l’existant Scriptes maison Création des comptes, des accountings, des imprimantes,… Solutions logicielles plus généralistes Supervision (cacti, lemon, nagios,….) Système de tickets Gestion des logs : syslog,….. …. Procédures Installation des OS, configuration de services,… Facilités Stockage des datas Facilité de calcul Clusters interactifs

Eric Fede : Obernai Intégration du nœud de grille dans l’exploitation quotidienne Quels sont les domaines d’intersections entre l’exploitation d’un labo et l’exploitation d’un nœud de grille? Scriptes maison Création des comptes, des accountings, des imprimantes,… Solutions logicielles plus généralistes Supervision (cacti, lemon, nagios,….) Système de tickets Gestion des logs : syslog,….. …. Procédures Installation des OS, configuration de services,… Facilités Stockage des datas Facilité de calcul Clusters interactifs Grille Hardware Labo Hardware Grille Facilités Labo Facilités Grille Services Labo Services Mutualisation de ressources Mutualisation de services/outils

Eric Fede : Obernai Mutualiser Mutualisation des ressources Le stockage Partager la solution de stockage pour les zones de stockage grille et pour les zones labo. Le calcul Une seule facilité de calcul pour tous. Le réseau Mutualisation des services/outils/procédures Procédure d’installation des serveurs La solution utilisée pour installer les serveur de grilles peut être utile pour installer d’autre familles de machines. La surveillance des machines et services Utiliser les mêmes outils pour surveiller la grille ou surveiller les autres services/machines du laboratoire.

Eric Fede : Obernai Stockage Volumétrie grille >> volumétrie du labo *. Niveaux de fiabilité requis sensiblement les mêmes. Partage sur une même architecture matérielle et(ou) sur une même solution logicielle, des zones grille, labo et université Ex : Un SAN avec GPFS (filesysteme) /dev/grid_admin % /grid_admin /dev/grid_atlas % /grid_atlas /dev/grid_cta % /grid_cta /dev/grid_dteam % /grid_dteam /dev/grid_esr % /grid_esr /dev/grid_lapp % /grid_lapp /dev/grid_lhcb % /grid_lhcb /dev/grid_ops % /grid_ops /dev/grid_sw % /grid_sw /dev/lapp_data % /lapp_data /dev/univ_data % /univ_data /dev/univ_home % /univ_home /dev/univ_saved % /univ_saved * Parle pas ici des HOME directory mais des zones des expériences du labo. Limite le nombre de solution de stockage à gérer Coût plus faible Requis de performance différents  système vraiment unique pas réaliste.

Eric Fede : Obernai Facilité de calcul Faire cohabiter dans une même facilité de calcul les jobs grille et des jobs locaux. Optimisation de l’utilisation des ressources. Gestion dynamique de l’affectation des ressources Peut très bien s’intégrer avec le service d’authentification local du labo. Utilise comptes génériques pour la grille. Utilise le système d’authentification du labo pour comptes locaux (NIS). Utilise de comptes locaux Un seul job-manager, un ordonnancement unique, un jeu de règles unique.

Eric Fede : Obernai Facilité de calcul Ex : Torque/maui Soumissions acceptées depuis La grille Le cluster interactif du labo Un machines portail lhcb024 Running 1 15:53:32 Thu Sep 25 14:26: atlasp Running 1 16:24:47 Thu Sep 25 14:57: fede Running 1 22:47:28 Thu Sep 25 09:20: atlasp Running 1 1:00:47:04 Thu Sep 25 11:19: atlasp Running 1 1:00:57:01 Thu Sep 25 11:29: panxxx Running 8 1:00:57:03 Thu Sep 25 11:29: atlasp Running 1 1:00:57:04 Thu Sep 25 11:29:58 Limite le nombre de solutions, coût plus faible. Ajustement trivial entre ressources pour jobs locaux et pour jobs grille. Jobs locaux et jobs de grille tournent dans le même environnement. Toute personne du labo peut utiliser nativement la facilité de calcul. Plus de contraintes à prendre en compte pour l’ordonnancement

Eric Fede : Obernai Déploiement des serveurs # Machines de grille >> # machine du labo (non poste personnel). Utiliser la procédure/outil pour installer les serveurs de grille pour installer (tous) les serveurs gérés par le service. Outils propriétaires d’installation d’OS ( majoritairement par duplication de ghosts). « Installation » par filesystéme partagés. Outils spécifiques ; cfengin, quattor,…. Développements maison. Ex: Cas quattor: Pleinement compatible avec les services de grille. Installation/configuration de OS. Installation/configuration de services spécifiques. Installation/configuration des services de grille. Assure la cohérence des machines/services installés.

Eric Fede : Obernai Déploiement des serveurs Exemple: Quattor sert pour l’installation : Des machines de services de grille ( OS + services spécifiques). Du cluster interactif du labo (OS + packages nécessaires pour que le cluster soit User Interface de grille). D’une partie des serveurs gérés par le services info. Installation de OS Installation de packages supplémentaires Installation de machines virtuelles vmware Commence à utiliser Quattor pour installation des portables utilisateurs en Linux natif. Un même outil Cohérence dans les installations Gain de temps Une « scalabilité » importante

Eric Fede : Obernai Supervision Services souvent présents au sein des laboratoires. Surveillance du hardware. Indispensable avec le volume de machines. Concerne un éventail de matériel large :onduleur, switch, serveur, imprimantes,…., bref tout ce qui a une interface réseau. Surveillance des services. Spécifique à un service particulier : ssh, réponse sur un port particulier,.. La grille fournit un certain nombre de « sondes », « plugins » qui permettent de s’interfacer avec certains produits : nagios, lemon,…

Eric Fede : Obernai Supervision Surveillance des services (suite) Interface avec des services « haut niveau » Remonter non pas l’état d’un service, mais un résultat qui sera significatif sur l’état d’une fonctionnalité ou bien d’une chaine de services Remonter simplement une info provenant d’ailleurs : rôle relayeur d’info Surveillance réseau Plus dans la notion de accounting, mesure quantitative Bénéficie des différents modes de communication de l’outils Page web, Pop-up, Mails, SMS,….

Eric Fede : Obernai Supervision

Eric Fede : Obernai Supervision

Eric Fede : Obernai Supervision

Eric Fede : Obernai Supervision

Eric Fede : Obernai Supervision

Eric Fede : Obernai Supervision

Eric Fede : Obernai Autres convergences Réseau d’administration Volume des serveurs  mise en place d’un réseau d’administration. Extension de ce réseau à l’ensemble des serveurs en exploitation dans le labo ? Système de ticket unique Intégrer les tickets de grille au système de tickets du labo Les traiter sur un même plan ? ….

Eric Fede : Obernai Conclusion La « grille » peut se fondre dans l’exploitation « traditionnelle » d’un labo. L’exploitation des ressources informatiques d’un labo peut bénéficier d’outils/procédures que la grille va apporter/nécessiter.