Expérience du déploiement d’une Virtual Organisation (VO) locale Christophe DIARRA

18-21 Sep 20065eme JI IN2P3 et DAPNIA2 Qu’est ce qu’une Virtual Organization (VO)? Une VO est un groupe d’utilisateurs de la grille partageant les mêmes intérêts et besoins Les membres travaillent en collaboration entre eux Ils partagent des ressources (data, logiciels, CPU, stockage) qui peuvent être géographiquement réparties Il faut être membre d’une VO pour pouvoir soumettre des jobs sur la grille La création d’une nouvelle VO globale est régit par une procédure stricte Il y a déjà plusieurs VOs souvent liées aux gros projets ou grosses expériences : Alice, Atlas, CMS, LHCb, BioMed,.

18-21 Sep 20065eme JI IN2P3 et DAPNIA3 Qu’est-ce qu’une VO locale ? Une VO doit être officiellement reconnue avant d’être supportée sur la grille Techniquement une VO locale ne se différencie pas d’une VO  Ceci simplifie le formalisme de création d’une VO Une VO locale permet l’accès aux ressources locales par les utilisateurs du site  Elle remplit la fonction de login sur les machines locales Si la VO locale est acceptée par d ’autre sites, elle n’est plus locale  Donc un formalisme minimum doit être respecté

18-21 Sep 20065eme JI IN2P3 et DAPNIA4 Pourquoi une VO locale ? Tous les utilisateurs ne peuvent pas s’inscrire dans les VOs existantes Car il faut être membre du projet associé à la VO L’inscription dans une VO nécessite une approbation des VOs Managers Les utilisateurs sans VO sont privés de l’accès aux ressources (mêmes locales) de la grille Sans VO locale, on serait obligé de leur ouvrir une porte « dérobée » pour permettre l’accès aux ressources Si on crée une VO locale, on peut administrer localement l’inscription des utilisateurs Une fois dans la VO locale les utilisateurs peuvent exploiter les ressources locales voire même distantes

18-21 Sep 20065eme JI IN2P3 et DAPNIA5 Services nécessaires pour un VO [locale] 1 nom de VO (unique sur la grille) 1 RB (Ressource Broker) 1 BDII (Berkeley DB Information Index) ≥1 CE (Computing Element) ≥1 SE (Storage Element) 1 serveur LFC (File Catalog) Pas nécessaire d’en démarrer un. On peut utiliser un serveur déjà existant sur un autre site ≥1 UI (User Interface) 1 serveur VOMS: VO MemberShip Management Server 1 serveur VOMS peur servir plusieurs VOs Il suffit de contacter un site ayant déjà un serveur VOMS (CC, GRIF, …) Donc il n’est pas nécessaire d’en démarrer un

18-21 Sep 20065eme JI IN2P3 et DAPNIA6 Le site LCG IPNO : Historique / Objectifs /Financement Démarrage du site IPNO dans GRIF fin 2005 GRIF est un Tier-2 distribué avec 5 sites en Ile-de- France (DAPNIA, IPNO, LAL, LLR, LPNHE) Le but du site IPNO: Fournir des ressources via la grille pour ALICE et AGATA Optimiser, mutualiser l’utilisation des ressources locales Bénéficier des ressources libres d’autres sites (GRIF, …) Plusieurs contributeurs financiers à l’IPNO: ALICE, AGATA, Physique théorique, Radio-chimie, Service informatique, Astro-particules/CSNSM (à venir).

18-21 Sep 20065eme JI IN2P3 et DAPNIA7 Le site LCG IPNO (suite) Géré sous Quattor Système de batch: Torque+MAUI Stockage : SE/DPM et NFS Le site doit supporter les VOs : ALICE, vo.grif.fr, vo.lal.in2p3.fr, vo.dapnia.in2p3.fr, dteam, ops, vo.ipno.in2p3.fr, « AGATA » (à venir)

18-21 Sep 20065eme JI IN2P3 et DAPNIA8 Solution matérielle BladeCenter avec 9 lames LS20 Bi-Opteron Bi-Core 2GHz, 4GB (1 CE + 1 UI + 7 WNs) 4x1U HP Bi-Opteron 2.2, 4GB (2 WNs, 1 VOBOX ALICE, 1 SE) 1 baie RAID Infortrend 12 TB 1 serveur Dell (pour Quattor) Doublement de la capacité CPU et disque avant fin 2006

18-21 Sep 20065eme JI IN2P3 et DAPNIA9 Création de la VO vo.ipno.in2p3.fr Choix d’un nom unique: vo.ipno.in2p3.fr Création sur le serveur VOMS de GRIF (grid12.lal.in2p3.fr) basé au LAL Ce serveur gérait déjà à l’époque les VOs vo.grif.fr, vo.lal.in2p3.fr, vo.dapnia.in2p3.fr Enregistrement de la VO sur le portal cic.in2p3.fr : il faut la clé publique du serveur VOMS le AUP (acceptable use policy) Config du RB et du LFC de GRIF pour supporter la VO

18-21 Sep 20065eme JI IN2P3 et DAPNIA10 Inscription dans la VO vo.ipno.in2p3.fr Avec le certificat enregistré dans un navigateur, se connecter sur une page WEB du serveur VOMS Remplir un formulaire simple et valider Après validation par un administrateur de la VO, l’utilisateur est notifié L’utilisateur peut alors utiliser la VO

18-21 Sep 20065eme JI IN2P3 et DAPNIA11 Utilisation de la VO vo.ipno.in2p3.fr voms-proxy-init --voms vo.ipno.in2p3.fr edg-job-submit [ --vo vo.ipno.in2p3.fr ] un_job.jdl Le job s’exécute dans la queue batch associée à la VO vo.ipno.in2p3.fr : ipnls2001.in2p3.fr:2119/jobmanager-pbs-ipno

18-21 Sep 20065eme JI IN2P3 et DAPNIA12 Le partage des ressources CPUs avec le Scheduler MAUI Il faut garantir un minimum de ressources pour les utilisateurs locaux : Limitation du pourcentage de ressources utilisable par chaque VO (attribut FSTARGET) Limitation du nombre de jobs par VO (attribut MAXPROC)  Il reste toujours des ressources pour les utilisateurs locaux

18-21 Sep 20065eme JI IN2P3 et DAPNIA13 La gestion des données : Usage conventionnel Les jobs LCG utilisent: Des fichiers joints (avec le job) Des fichiers sur le(s) SE(s) Eventuellement des applications standards de la VO Les commandes lcg-*, etc. Les jobs n’ont pas accès aux disques locaux de l’utilisateur

18-21 Sep 20065eme JI IN2P3 et DAPNIA14 La gestion des données : besoins de la VO vo.ipno.in2p3.fr L’usage conventionnel inadapté dans certains cas: Besoin d’utiliser dans les jobs des applications commerciales ou maison Besoin d’accéder plus simplement depuis les jobs aux disques NFS visibles sur le UI Besoin d’un espace disque réservé par groupe ou projet

18-21 Sep 20065eme JI IN2P3 et DAPNIA15 La gestion des données : Config du SE Config du SE / DPM : 1 pool pour ALICE Un pool partagé par toutes les VOs Un pool pour AGATA (en NFS pour le moment) Le SE est aussi le serveur NFS pour les : Experiment software area Disques privés des groupes/projets locaux radio-chimie, physique théorique Les disques NFS sont visibles sur le UI, le CE et les WNS LFC : celui de GRIF basé au LAL

18-21 Sep 20065eme JI IN2P3 et DAPNIA16 La gestion des données : le UI, NFS et les UIDs/GIDs Le UI : environnement NIS et NFS de l’IPNO + « clients grille » + disques NFS du SE UIDs/GIDs sur le UI ≠ UIDs/GIDs sur la grille  changer les permissions d’accès aux fichiers pour les rendre accessibles dans les deux mondes Sur la grille, un certificat  1 UID et 1 GID (groupe ipno pour la VO vo.ipno.in2p3.fr)  Créer sur le UI le groupe ipno Mettre les utilisateurs IPNO de la grille dans ce groupe Faire appartenir les fichiers « partagés grille-UI » à au groupe ipno

18-21 Sep 20065eme JI IN2P3 et DAPNIA17 La gestion des données : Les permissions permettant un double accès grille et UI Pour un accès en lecture (cas d’une application) chrgp ipno Exemple: Logiciel Gaussian (g03) drwxr-x--- 5 root ipno 4096 May 2 16:03 g03 Pour un accès en lecture/écriture chgrp ipno chmod g+ws umask 0002 dans le début du script.sh du job N.B.: Plutôt utiliser les ACLs ?

18-21 Sep 20065eme JI IN2P3 et DAPNIA18 Conclusion Site opérationnel sans SE depuis Janvier 2006 Bénéfice énorme de Quattor et de l’expérience du LAL et du DAPNIA Site en exploitation depuis Juillet Document utilisateur remis avec des exemples concrets réutilisables Problèmes principaux: config du SE/DPM, VOBOX ALICE, des permissions sur les fichiers 9 inscrits dans la VO locale (5 utilisateurs actifs) Il reste à attirer plus d’utilisateurs

18-21 Sep 20065eme JI IN2P3 et DAPNIA19 Liens utiles Virtual Organisations (VO) and certificate request process in practice : How to deploy a new Virtual Organization (VO) : LCG Users Registration : List of supported VOs : GRIF : Grille de Recherche d’Ile de France :