Middleware : Status et Evolution Michel Jouvin LAL/Orsay jouvin@lal.in2p3.fr

Agenda La fusion LCG / gLite Etat actuel Les services disponibles Les évolutions prévues 18/02/201920/9/2006 Middleware : Status et Evolution

Fusion LCG / gLite Serpent de mer… enfin devenu réalité ! gLite 3.0 released au printemps, large déploiement La grille a survécu !!!! gLite 3.0 : LCG 2.7++ + gLite 1.5++ “Chacun chez soi”… : peu de problèmes induits Outils de configuration très différents Pas d’harmonisation prévue Une glue pour faire apparaitre les systèmes unifiés LCG 2.7 intégrait quelques services gLite VOMS, FTS, R-GMA Pas de changement majeur : quelques problèmes de chemin (/opt/glite au lieu de /opt/lcg) 18/02/201920/9/2006 Middleware : Status et Evolution

Les Promesses gLite Implémentation service oriented Permettre plusieurs implémentations inter-opérables d’un même services Supprimer les inter-dépendances entre service pour une évolution plus souple Utilisation des Web services Des nouvelles fonctionnalités Ex: WMS/gCE (pull model, bulk mode), service de meta- données Plus de stabilité et de performances Bénéfice de l’implémentation Web service Reste une promesse : gLite encore jeune et peu testé en environnement de production lourd La réponse dans un an… Implémentation “légère”… Sans doute plus une promesse qu’une réalité… 18/02/201920/9/2006 Middleware : Status et Evolution

Etat Actuel Migration gLite 3.0 en cours… et bien avancée Tous les gros sites (LCG T1 : pré-requis depuis juin) Inter-opérabilité LCG 2.7 / gLite 3.0 sans problème Les services LCG (presque) uniquement Y compris VOMS, FTS et R-GMA Version courante : gLite 3.0.2 + security patch Version de base + mises à jour : pas de package 3.0.2 Sauf tar WN “relogeable” Migrer est une opération “mineure” Particulièrement avec Quattor : aucun changement dans la configuration du site Pas de réinstallation nécessaire DPM nécessite un upgrade de la base de données (script) 18/02/201920/9/2006 Middleware : Status et Evolution

gLite3 : Principaux Services… Tous les services LCG : UI, WN, CE, MON, RB, PX… Classic SE deprecated au profit de DPM RLS remplacé par LFC (Pratiquement) pas de nouveautés BDII est toujours le système d’information UI et WN : gLite/LCG combinés gLite WMS (RB) : Nouvelles fonctionnalités : bulk submission, pull submission (CE), accès temps réel au job output… Performance accrue… mais stabilité moins bonne Priorité pour les nouvelles releases Compatible avec LCG CE et gLite CE Requiert le client gLite (glite-job-submit…) Toujours polling du CE 18/02/201920/9/2006 Middleware : Status et Evolution

… gLite3 : Principaux Services gLite CE : meilleure interaction avec le RB Support du pull model BLAH doit permettre de passer les user requirements du RB au CE… mais pas encore disponible Support de MPI sans home directorie partagés Requiert le gLite RB Possibilité d’attacher un LCG CE et un gLite CE à une même ferme de WNs Double enregistrement dans le BDII mais traité par le RB (?) FTS (server) : pour les T1 uniquement Amélioration des performances, stabilisation DPM et LFC : SE et file catalog standard de gLite Intégration VOMS complète : n’utilise pas LCMAPS Virtual uid/gid : ACL indépendante des comptes Unix 18/02/201920/9/2006 Middleware : Status et Evolution

gLite3 : Autres Services Status non certifiés Premiers tests en production, contrairement à FTS, VOMS AMGA : service de meta-données pour la grille Développé dans le cadre de ARDA Associe des méta-données à des fichiers ou des objets Fonctionnalités type base de données (simpliste) Schema based : hiérarchie d’informations Réplication / distribution de l’arbre d’information Utilisé au départ par Biomed (contraintes de sécurité) pour l’information sur les fichiers de data Utilisé par LHCb bookkeeping Utilisé par GANGA (framework de soumission LHCb/Atlas) pour stocker l’état des jobs Hydra Serveur de clés pour l’encryption au vol de fichiers Utilisé (critique) par Biomed 18/02/201920/9/2006 Middleware : Status et Evolution

Les Evolutions : Releases Releases “continues” Evolution séparée et continue des différents services Des releases de temps en temps : snapshot des différents services à un instant donné 3.1.0 prévue bientôt… (d’ici la fin de l’année) Evolutions décidés par le TCG : représentant des utilisateurs (NA4, VOs LHC, Biomed…) Mais discussions/décisions très politiques… + : meilleure évolutivité La validation complète d’une release et son packaging demande beaucoup d’effort - : nécessité d’upgrade “permanente” Quattor particulièrement approprié : upgrade massive simple, downgrade possible en cas de problème - : numérotation très complexe Ex : gLite 3.0.2 inclut WN 3.0.4, WMS 2.3.15… 18/02/201920/9/2006 Middleware : Status et Evolution

Les Evolutions : 64-bit et SL4 Actuellement gLite tourne en mode 32-bit sur SL3 Installation possible sur une machine SL4 et/ou 64-bit 2/3 des WNs du LAL, pas (peu) de problèmes How-to disponible sur le site gLite/LCG SL4 64-bit : meilleure gestion des tailles mem > 4 GB Utilisation 64-bit natif : amélioration des performances Particulièrement important pour DPM (amélioration I/O) Meilleure gestion de la mémoire Particulièrement important pour les machines multi-coeurs Peut être (probablement) d’ici la fin de l’année Problème principal : migration GT4/VDT1.3 gLite : toujours GT2 18/02/201920/9/2006 Middleware : Status et Evolution

Les Evolutions : IS Plus de projet de remplacer BDII par R-GMA BDII plus adapté à l’information faiblement dynamique Des problèmes de scalability apparus sur BDII Timeout hardcoded sur le client : 15s Manque d’une infrastructure de caching Inter-opérabilité avec les autres Grid OSG : MDS4 Séparer la collection d’information (format neutre) de la publication (BDII/GIP, MDS…) 18/02/201920/9/2006 Middleware : Status et Evolution

Les Evolutions : gCE et WMS… BLAH : protocole d’interaction entre CE et LRMS Passage des user requirements au LRMS pour meilleure allocation des ressources CREAM : remplacement de Condor-C Computing Resource Execution and Management Condor-C : remplaçant du LCG/Globus Gatekeepeer Utilisé par OSG Les 2 interfaces coexisteront Web service based Interaction plus riche avec le CE : job list, cancel, delete Relation entre WMS et CE basé sur ICE (souscription) Alternative plus efficace au polling du LCG RB Pas pour tout suite… (après 3.1) Seulement après la stabilisation de l’implémentation Condor-C 18/02/201920/9/2006 Middleware : Status et Evolution

… Les Evolutions : gCE et WMS CEMon : service de publication des informations du CE Utilisé par le mode pull uniquement Information collectée par GIP (commun avec BDII) Supporte la notification asynchrone Utilisé par WMS pour connaitre l’état des jobs sans polling (?) Implémentation Web service Support de VOView Description des groupes d’une VO dans le BDII Attribution des priorités à l’intérieur d’une VO 18/02/201920/9/2006 Middleware : Status et Evolution

Les Evolutions : GPBOX Objectif : permettre une administration des priorités relatives dans une VO entre groupe d’utilisateur Définition des politiques par les utilisateurs/VO admins Site peut accepter ou refuser les politiques Hiérarchie de GPBOX : délégation depuis le VO manager jusqu’au site Politiques définies en terme de VO, VOMS roles ou VOMS groups Toujours pas en production… Planning pas très clair Evaluation d’alternatives un peu moins flexible mais plus simple à mettre en œuvre (ex : basé sur VOView) Besoin d’une solution opérationnelle avant le démarrage LHC 18/02/201920/9/2006 Middleware : Status et Evolution

Les Evolutions : Stockage SRM v2.2 (fin de l’année) Support des ACLs Support des opérations sur les directories GFAL Support de SRM 2.2 Intégration de Hydra Remplacement de gLite I/O (requiert SRM ACL) FTS Support SMR 2.2 Support VO plugins VOMS aware proxy renewal LFC : remplacement de Fireman 18/02/201920/9/2006 Middleware : Status et Evolution

Les Evolutions : Accounting Service critique pour la grille en phase de production Utilisateurs (VO) doivent pouvoir vérifier les engagements Beaucoup de contraintes liées à la publication d’information personnelle Actuellement APEL : publication dans R-GMA Analyse des log files du LRMS Futur = DGAS : meilleure prise en compte de la confidentialité, plus grande flexibilité Nouveaux types de sensor Publication dans une database de site dédié à l’accounting Consolidation dans une base centrale Démarrage en // avec APEL 18/02/201920/9/2006 Middleware : Status et Evolution

Les Evolutions : Autres Besoins Elargissement des utilisateurs de la grille amènent des nouveaux besoins Nouveaux services Ex : encryption, méta-données pour Biomed Nouvelles implémentations de certains services pour coller les infrastructures existantes d’une communauté Ex : SRB Coût/complexité d’une migration du stockage EGEE-II : baisse de l’effort développement Nouveaux services doivent être développés par les Vos Ex : AMGA, Hydra L’intégration/validation peut être longue… 18/02/201920/9/2006 Middleware : Status et Evolution

Documentation et Références Le site officiel : http://glite.cern.ch Difficile de trouver des informations sur la roadmap gLite plans : http://agenda.pi.infn.it/askArchive.php?base=agend a&categ=a06133&id=a06133s2t5/transparencies gLite WMS and CE : http://www.cs.wisc.edu/condor/CondorWeek2006/p resentations/white_egee.pdf#search=%22glite%20 deputy%20jra1%22 18/02/201920/9/2006 Middleware : Status et Evolution