Eric Fede : Obernai Intégration des services grille dans l'exploitation des systèmes informatiques du laboratoire.

Présentation au sujet: "Eric Fede : Obernai Intégration des services grille dans l'exploitation des systèmes informatiques du laboratoire."— Transcription de la présentation:

1 Eric Fede : Obernai Intégration des services grille dans l'exploitation des systèmes informatiques du laboratoire

2 Eric Fede : Obernai Avant propos Nœud de grille = Tiers 2 Tiers3 Les engagements Tiers 2 et Tiers 3 sont différents  l’exploitation peut l’être également. Point de vue subjectif pas nécessairement partagé. Liste non exhaustive des rapprochements possibles entre l’exploitation nœud de grille et l’exploitation du laboratoire.

3 Eric Fede : Obernai Plan Un nœud de grille, quoi de neuf ? Contexte Les convergences possibles Généralités Stockage Calcul Déploiement Supervision Autres Conclusion

4 Eric Fede : Obernai Les conséquence d’être nœud de grille Plus de matériel Plus de serveurs (beaucoup plus) Plus de disques (beaucoup plus) Plus d’équipements réseau Plus d’achats à effectuer Plus de maintenance Des infrastructures plus importantes/lourdes Plus de services à fournir Niveau de services élevés Disponibilité importante De meilleurs prix De meilleures infrastructures pour tout le monde De meilleurs contacts avec les revendeurs Plus de compétences en interne Personnes multi compétences Solutions : déploiement, surveillance,… }

5 Eric Fede : Obernai Le contexte Historique lié à l’existant Scriptes maison Création des comptes, des accountings, des imprimantes,… Solutions logicielles plus généralistes Supervision (cacti, lemon, nagios,….) Système de tickets Gestion des logs : syslog,….. …. Procédures Installation des OS, configuration de services,… Facilités Stockage des datas Facilité de calcul Clusters interactifs

6 Eric Fede : Obernai Intégration du nœud de grille dans l’exploitation quotidienne Quels sont les domaines d’intersections entre l’exploitation d’un labo et l’exploitation d’un nœud de grille? Scriptes maison Création des comptes, des accountings, des imprimantes,… Solutions logicielles plus généralistes Supervision (cacti, lemon, nagios,….) Système de tickets Gestion des logs : syslog,….. …. Procédures Installation des OS, configuration de services,… Facilités Stockage des datas Facilité de calcul Clusters interactifs Grille Hardware Labo Hardware Grille Facilités Labo Facilités Grille Services Labo Services Mutualisation de ressources Mutualisation de services/outils

7 Eric Fede : Obernai Mutualiser Mutualisation des ressources Le stockage Partager la solution de stockage pour les zones de stockage grille et pour les zones labo. Le calcul Une seule facilité de calcul pour tous. Le réseau Mutualisation des services/outils/procédures Procédure d’installation des serveurs La solution utilisée pour installer les serveur de grilles peut être utile pour installer d’autre familles de machines. La surveillance des machines et services Utiliser les mêmes outils pour surveiller la grille ou surveiller les autres services/machines du laboratoire.

8 Eric Fede : Obernai Stockage Volumétrie grille >> volumétrie du labo *. Niveaux de fiabilité requis sensiblement les mêmes. Partage sur une même architecture matérielle et(ou) sur une même solution logicielle, des zones grille, labo et université Ex : Un SAN avec GPFS (filesysteme) /dev/grid_admin 1258291200 997686784 260604416 80% /grid_admin /dev/grid_atlas 1258291200 813591808 444699392 65% /grid_atlas /dev/grid_cta 26214400 286464 25927936 2% /grid_cta /dev/grid_dteam 209715200 53923840 155791360 26% /grid_dteam /dev/grid_esr 62914560 40925696 21988864 66% /grid_esr /dev/grid_lapp 26214400 286208 25928192 2% /grid_lapp /dev/grid_lhcb 1048576000 827897088 220678912 79% /grid_lhcb /dev/grid_ops 52428800 313856 52114944 1% /grid_ops /dev/grid_sw 314572800 232490752 82082048 74% /grid_sw /dev/lapp_data 3250585600 1667208704 1583376896 52% /lapp_data /dev/univ_data 419430400 353703424 65726976 85% /univ_data /dev/univ_home 104857600 4493568 100364032 5% /univ_home /dev/univ_saved 104857600 86109440 18748160 83% /univ_saved * Parle pas ici des HOME directory mais des zones des expériences du labo. Limite le nombre de solution de stockage à gérer Coût plus faible Requis de performance différents  système vraiment unique pas réaliste.

9 Eric Fede : Obernai Facilité de calcul Faire cohabiter dans une même facilité de calcul les jobs grille et des jobs locaux. Optimisation de l’utilisation des ressources. Gestion dynamique de l’affectation des ressources Peut très bien s’intégrer avec le service d’authentification local du labo. Utilise comptes génériques pour la grille. Utilise le système d’authentification du labo pour comptes locaux (NIS). Utilise de comptes locaux Un seul job-manager, un ordonnancement unique, un jeu de règles unique.

10 Eric Fede : Obernai Facilité de calcul Ex : Torque/maui Soumissions acceptées depuis La grille Le cluster interactif du labo Un machines portail 826765 lhcb024 Running 1 15:53:32 Thu Sep 25 14:26:26 826876 atlasp Running 1 16:24:47 Thu Sep 25 14:57:41 824922 fede Running 1 22:47:28 Thu Sep 25 09:20:22 825617 atlasp Running 1 1:00:47:04 Thu Sep 25 11:19:58 825793 atlasp Running 1 1:00:57:01 Thu Sep 25 11:29:55 825793 panxxx Running 8 1:00:57:03 Thu Sep 25 11:29:57 825798 atlasp Running 1 1:00:57:04 Thu Sep 25 11:29:58 Limite le nombre de solutions, coût plus faible. Ajustement trivial entre ressources pour jobs locaux et pour jobs grille. Jobs locaux et jobs de grille tournent dans le même environnement. Toute personne du labo peut utiliser nativement la facilité de calcul. Plus de contraintes à prendre en compte pour l’ordonnancement

11 Eric Fede : Obernai Déploiement des serveurs # Machines de grille >> # machine du labo (non poste personnel). Utiliser la procédure/outil pour installer les serveurs de grille pour installer (tous) les serveurs gérés par le service. Outils propriétaires d’installation d’OS ( majoritairement par duplication de ghosts). « Installation » par filesystéme partagés. Outils spécifiques ; cfengin, quattor,…. Développements maison. Ex: Cas quattor: Pleinement compatible avec les services de grille. Installation/configuration de OS. Installation/configuration de services spécifiques. Installation/configuration des services de grille. Assure la cohérence des machines/services installés.

12 Eric Fede : Obernai Déploiement des serveurs Exemple: Quattor sert pour l’installation : Des machines de services de grille ( OS + services spécifiques). Du cluster interactif du labo (OS + packages nécessaires pour que le cluster soit User Interface de grille). D’une partie des serveurs gérés par le services info. Installation de OS Installation de packages supplémentaires Installation de machines virtuelles vmware Commence à utiliser Quattor pour installation des portables utilisateurs en Linux natif. Un même outil Cohérence dans les installations Gain de temps Une « scalabilité » importante

13 Eric Fede : Obernai Supervision Services souvent présents au sein des laboratoires. Surveillance du hardware. Indispensable avec le volume de machines. Concerne un éventail de matériel large :onduleur, switch, serveur, imprimantes,…., bref tout ce qui a une interface réseau. Surveillance des services. Spécifique à un service particulier : ssh, réponse sur un port particulier,.. La grille fournit un certain nombre de « sondes », « plugins » qui permettent de s’interfacer avec certains produits : nagios, lemon,…

14 Eric Fede : Obernai Supervision Surveillance des services (suite) Interface avec des services « haut niveau » Remonter non pas l’état d’un service, mais un résultat qui sera significatif sur l’état d’une fonctionnalité ou bien d’une chaine de services Remonter simplement une info provenant d’ailleurs : rôle relayeur d’info Surveillance réseau Plus dans la notion de accounting, mesure quantitative Bénéficie des différents modes de communication de l’outils Page web, Pop-up, Mails, SMS,….

15 Eric Fede : Obernai Supervision

16 Eric Fede : Obernai Supervision

17 Eric Fede : Obernai Supervision

18 Eric Fede : Obernai Supervision

19 Eric Fede : Obernai Supervision

20 Eric Fede : Obernai Supervision

21 Eric Fede : Obernai Autres convergences Réseau d’administration Volume des serveurs  mise en place d’un réseau d’administration. Extension de ce réseau à l’ensemble des serveurs en exploitation dans le labo ? Système de ticket unique Intégrer les tickets de grille au système de tickets du labo Les traiter sur un même plan ? ….

22 Eric Fede : Obernai Conclusion La « grille » peut se fondre dans l’exploitation « traditionnelle » d’un labo. L’exploitation des ressources informatiques d’un labo peut bénéficier d’outils/procédures que la grille va apporter/nécessiter.