08/02/2007 Site Grille : Ambitions 2007 Pierre Girard LCG-France Tier-1 2007-02.

Présentation au sujet: "08/02/2007 Site Grille : Ambitions 2007 Pierre Girard LCG-France Tier-1 2007-02."— Transcription de la présentation:

1 08/02/2007 Site Grille : Ambitions 2007 Pierre Girard LCG-France Tier-1 2007-02

2 08/02/2007Pierre Girard / Site Grille : Chantiers 20072 Plan Statut du déploiement Consolidation du site T1 Administration du site Mais aussi…

3 08/02/2007Pierre Girard / Site Grille : Chantiers 20073 Statut du déploiement Version officielle : 3.0.2 Update 13 Mises-à-jour : –CE: 3.0.4 vers 3.0.10-0 Retard: 2 m-à-j critiques –WN: 3.0.4 vers 3.0.11-0 (fait mais rollbacké) Retard: 2 m-à-j critiques –UI: 3.0.4 vers 3.0.12-0 (fait mais rollbacké) Retard: 2 m-à-j critiques Problèmes –Multiplication anormale des job-manager sur le CE –Gestion des priorités au sein d’une VO

4 08/02/2007Pierre Girard / Site Grille : Chantiers 20074 Site BDII Consolidation du site T1 (1) Site grille IN2P3-CC actuel VO Box VO LHC Computing Element Computing Element Storage Element Storage Element VOMS 4 VOs LFC Central Biomed HPSS DCACHE Storage Element SRM Gridftp XFS Stockage BQS Anastasie WN Calcul LFC Local 4 VOs LHC FTS 4 VOs LHC MonBox 4 Sites Système d’informatio n de la grille VO Box VO LHC V OBox VO LHC VO Box VO LHC Service global Service régional/fédéral Service local

5 08/02/2007Pierre Girard / Site Grille : Chantiers 20075 Site BDII Consolidation du site T1 (2) Site grille IN2P3-CC (1 er sem.) VO Box VO LHC Computing Element Computing Element Storage Element Storage Element VOMS 4 VOs LFC Central Biomed Storage Element SRM Gridftp DCACHE XFS LFC Local 4 VOs LHC FTS 4 VOs LHC MonBox 4 Sites Système d’informatio n de la grille VO Box VO LHC V OBox VO LHC VO Box VO LHC Service global Service régional/fédéral Service local SRM BQS Anastasie WN Calcul Computing Element Computing Element Stockage HPSS

6 08/02/2007Pierre Girard / Site Grille : Chantiers 20076 Site BDII Consolidation du site T1 (3) Site grille IN2P3-CC (1 er sem.) VO Box VO LHC Computing Element Computing Element Storage Element VOMS 4 VOs LFC Central Biomed Storage Element SRM DCACHE LFC Local 4 VOs LHC FTS 4 VOs LHC MonBox 4 Sites Système d’informatio n de la grille VO Box VO LHC V OBox VO LHC VO Box VO LHC Service global Service régional/fédéral Service local SRM BQS Anastasie WN Calcul Computing Element Computing Element Stockage HPSS FTS 4 VOs LHC LFC Local 2 VOs LHC

7 08/02/2007Pierre Girard / Site Grille : Chantiers 20077 Consolidation du site T1 (4) Résumé Changements au niveau du site + 2 CEs (1 par VO LHC) + 1 FTS (distribution des canaux) + 1 LFC (1 pour 2 VOs LHC) + 1 SE Dcache (Administré par le stockage) − 2 SE Classiques − Serveur LDAP (Auvergrid) − RLS/RMC (Biomed) Engagement d’hébergement d’un Top BDII pour la France Upgrade des machines –Vers V20Z ou mieux –Voir page d'estimation des migrationsVoir page d'estimation des migrations Machines de spare –1 CE de « spare » (pour updates ou pannes) –VMs LFC/FTS pré-installées (pour updates ou pannes) Cf. FAQ sur la mise en place des services secouru lors de l’OPUS NOIR

8 08/02/2007Pierre Girard / Site Grille : Chantiers 20078 Administration du site (1) Gestion du parc de machines « Grille »  Répertoriées à travers des documents ou FAQs  Ingérable avec la multiplication de machines et les changements fréquents  Inutilisable par des outils (monitoring, web, etc.)  Pas pratique pour communiquer un Lagaffe  Mettre en place un référentiel des machines Son statut (production, test, spare, etc.) Son état (in, out, unknown) Sa configuration (hardware, OS, etc.) Son ou ses profil(s) (lcg-CE, site-BDII, etc.) Son ou ses responsable(s) Et bien plus…  Fournir des outils pour que les administrateurs y enregistrent les machines (à l’installation) les changements

9 08/02/2007Pierre Girard / Site Grille : Chantiers 20079 Administration du site (2) Gestion de la configuration des nœuds « Grille »  Hétérogène et décentralisée  Formats YAIM, gLite…  Configurations de certains nœuds (CE, SE, BDII, WN, UI) sur AFS  Tentative de factoriser les données de configuration  Compilation du « site-info.def » par machine (LCFGng-like)  Des restes de configurations sur CVS  Inutilisable par d’autres outils  Pas pratique pour communiquer avec les autres équipes (Exploitation)  Mettre en place un référentiel structuré et homogène des configurations Pour s’affranchir du format de l’installeur utilisé Pour factoriser l’information Configuration externe (RB, Top BDII, VOs, etc.) Configuration « grille » du CC Configuration interne du CC (environnement, AFS, Dcache, etc.) Pour en disposer comme on le souhaite Génération des configurations dans le format souhaité par un installer Affichage dans un dashboard Outils de monitoring

10 08/02/2007Pierre Girard / Site Grille : Chantiers 200710 Administration du site (3) Administration des services « Grille »  Outils  inexistants pour les « vieux » nœuds (CE, SE, GRIS, WN, UI, etc.)  Interface hétérogène pour les autres  Un changement anodin et ponctuel requiert toujours la présence d’un expert du nœud Ex.: supprimer une queue ou une VO sur un CE  Mettre en place une interface homogène d’administration Identification des actes d’administration par noeud Implémentation spécifique au type de service, à charge de et maintenu par l’administrateur « expert »  Vers la mise en place d’une infrastructure de gestion des services Accueil d’un étudiant vénézuélien Déploiement et validation du framework standard WSDM (Web Services Distributed Management)

11 08/02/2007Pierre Girard / Site Grille : Chantiers 200711 Mais aussi… (1) Constitution d’une base de tests/validation –Un premier jet est déjà utilisé par Nadia pour valider les CEs, WNs et UIs –Un peu trop monolithique –A rendre plus utilisable par d’autres Validation des installations / VOs –On ne valide que la VO dteam –Utilisation de rôles/groupes VOMS (dteam ou VO local) Ex.: /dteam/France/in2p3-cc/atlas/ROLE=lcgadmin Mapping local de validation pour chaque VO

12 08/02/2007Pierre Girard / Site Grille : Chantiers 200712 Mais aussi… (2) Publication du CE –Nouvelle implémentation et sémantique proposées par Jeff Templon –A discuter Priorités des jobs au sein d’une VO –Solution temporaire par altération des jobs en queue –Solution BQS –Nécessite d’en savoir un peu plus sur l’organisation VOMS des Vos Suivi des jobs –Visibilité sur les jobs grille soumis chez nous –Informations à remonter pour l’exploitation grid job identifier Email du soumetteur

13 08/02/2007Pierre Girard / Site Grille : Chantiers 200713 Mais aussi… (3) CE glite –Développement en cours (Sylvain) –Planning pour un déploiement sur PPS ? SL4 –Apparemment une première release avec l’update 13 –Voir avec l’exploitation –Mise en place d’un nouveau CE ? Rationalisation du cluster de VMs –Système de réservation de slots –A mettre en oeuvre