Middleware : Status et Evolution

Présentation au sujet: "Middleware : Status et Evolution"— Transcription de la présentation:

1 Middleware : Status et Evolution
Michel Jouvin LAL/Orsay

2 Agenda La fusion LCG / gLite Etat actuel Les services disponibles
Les évolutions prévues 18/02/201920/9/2006 Middleware : Status et Evolution

3 Fusion LCG / gLite Serpent de mer… enfin devenu réalité !
gLite 3.0 released au printemps, large déploiement La grille a survécu !!!! gLite 3.0 : LCG gLite 1.5++ “Chacun chez soi”… : peu de problèmes induits Outils de configuration très différents Pas d’harmonisation prévue Une glue pour faire apparaitre les systèmes unifiés LCG 2.7 intégrait quelques services gLite VOMS, FTS, R-GMA Pas de changement majeur : quelques problèmes de chemin (/opt/glite au lieu de /opt/lcg) 18/02/201920/9/2006 Middleware : Status et Evolution

4 Les Promesses gLite Implémentation service oriented
Permettre plusieurs implémentations inter-opérables d’un même services Supprimer les inter-dépendances entre service pour une évolution plus souple Utilisation des Web services Des nouvelles fonctionnalités Ex: WMS/gCE (pull model, bulk mode), service de meta- données Plus de stabilité et de performances Bénéfice de l’implémentation Web service Reste une promesse : gLite encore jeune et peu testé en environnement de production lourd La réponse dans un an… Implémentation “légère”… Sans doute plus une promesse qu’une réalité… 18/02/201920/9/2006 Middleware : Status et Evolution

5 Etat Actuel Migration gLite 3.0 en cours… et bien avancée
Tous les gros sites (LCG T1 : pré-requis depuis juin) Inter-opérabilité LCG 2.7 / gLite 3.0 sans problème Les services LCG (presque) uniquement Y compris VOMS, FTS et R-GMA Version courante : gLite security patch Version de base + mises à jour : pas de package 3.0.2 Sauf tar WN “relogeable” Migrer est une opération “mineure” Particulièrement avec Quattor : aucun changement dans la configuration du site Pas de réinstallation nécessaire DPM nécessite un upgrade de la base de données (script) 18/02/201920/9/2006 Middleware : Status et Evolution

6 gLite3 : Principaux Services…
Tous les services LCG : UI, WN, CE, MON, RB, PX… Classic SE deprecated au profit de DPM RLS remplacé par LFC (Pratiquement) pas de nouveautés BDII est toujours le système d’information UI et WN : gLite/LCG combinés gLite WMS (RB) : Nouvelles fonctionnalités : bulk submission, pull submission (CE), accès temps réel au job output… Performance accrue… mais stabilité moins bonne Priorité pour les nouvelles releases Compatible avec LCG CE et gLite CE Requiert le client gLite (glite-job-submit…) Toujours polling du CE 18/02/201920/9/2006 Middleware : Status et Evolution

7 … gLite3 : Principaux Services
gLite CE : meilleure interaction avec le RB Support du pull model BLAH doit permettre de passer les user requirements du RB au CE… mais pas encore disponible Support de MPI sans home directorie partagés Requiert le gLite RB Possibilité d’attacher un LCG CE et un gLite CE à une même ferme de WNs Double enregistrement dans le BDII mais traité par le RB (?) FTS (server) : pour les T1 uniquement Amélioration des performances, stabilisation DPM et LFC : SE et file catalog standard de gLite Intégration VOMS complète : n’utilise pas LCMAPS Virtual uid/gid : ACL indépendante des comptes Unix 18/02/201920/9/2006 Middleware : Status et Evolution

8 gLite3 : Autres Services
Status non certifiés Premiers tests en production, contrairement à FTS, VOMS AMGA : service de meta-données pour la grille Développé dans le cadre de ARDA Associe des méta-données à des fichiers ou des objets Fonctionnalités type base de données (simpliste) Schema based : hiérarchie d’informations Réplication / distribution de l’arbre d’information Utilisé au départ par Biomed (contraintes de sécurité) pour l’information sur les fichiers de data Utilisé par LHCb bookkeeping Utilisé par GANGA (framework de soumission LHCb/Atlas) pour stocker l’état des jobs Hydra Serveur de clés pour l’encryption au vol de fichiers Utilisé (critique) par Biomed 18/02/201920/9/2006 Middleware : Status et Evolution

9 Les Evolutions : Releases
Releases “continues” Evolution séparée et continue des différents services Des releases de temps en temps : snapshot des différents services à un instant donné 3.1.0 prévue bientôt… (d’ici la fin de l’année) Evolutions décidés par le TCG : représentant des utilisateurs (NA4, VOs LHC, Biomed…) Mais discussions/décisions très politiques… + : meilleure évolutivité La validation complète d’une release et son packaging demande beaucoup d’effort - : nécessité d’upgrade “permanente” Quattor particulièrement approprié : upgrade massive simple, downgrade possible en cas de problème - : numérotation très complexe Ex : gLite inclut WN 3.0.4, WMS … 18/02/201920/9/2006 Middleware : Status et Evolution

10 Les Evolutions : 64-bit et SL4
Actuellement gLite tourne en mode 32-bit sur SL3 Installation possible sur une machine SL4 et/ou 64-bit 2/3 des WNs du LAL, pas (peu) de problèmes How-to disponible sur le site gLite/LCG SL4 64-bit : meilleure gestion des tailles mem > 4 GB Utilisation 64-bit natif : amélioration des performances Particulièrement important pour DPM (amélioration I/O) Meilleure gestion de la mémoire Particulièrement important pour les machines multi-coeurs Peut être (probablement) d’ici la fin de l’année Problème principal : migration GT4/VDT1.3 gLite : toujours GT2 18/02/201920/9/2006 Middleware : Status et Evolution

11 Les Evolutions : IS Plus de projet de remplacer BDII par R-GMA
BDII plus adapté à l’information faiblement dynamique Des problèmes de scalability apparus sur BDII Timeout hardcoded sur le client : 15s Manque d’une infrastructure de caching Inter-opérabilité avec les autres Grid OSG : MDS4 Séparer la collection d’information (format neutre) de la publication (BDII/GIP, MDS…) 18/02/201920/9/2006 Middleware : Status et Evolution

12 Les Evolutions : gCE et WMS…
BLAH : protocole d’interaction entre CE et LRMS Passage des user requirements au LRMS pour meilleure allocation des ressources CREAM : remplacement de Condor-C Computing Resource Execution and Management Condor-C : remplaçant du LCG/Globus Gatekeepeer Utilisé par OSG Les 2 interfaces coexisteront Web service based Interaction plus riche avec le CE : job list, cancel, delete Relation entre WMS et CE basé sur ICE (souscription) Alternative plus efficace au polling du LCG RB Pas pour tout suite… (après 3.1) Seulement après la stabilisation de l’implémentation Condor-C 18/02/201920/9/2006 Middleware : Status et Evolution

13 … Les Evolutions : gCE et WMS
CEMon : service de publication des informations du CE Utilisé par le mode pull uniquement Information collectée par GIP (commun avec BDII) Supporte la notification asynchrone Utilisé par WMS pour connaitre l’état des jobs sans polling (?) Implémentation Web service Support de VOView Description des groupes d’une VO dans le BDII Attribution des priorités à l’intérieur d’une VO 18/02/201920/9/2006 Middleware : Status et Evolution

14 Les Evolutions : GPBOX Objectif : permettre une administration des priorités relatives dans une VO entre groupe d’utilisateur Définition des politiques par les utilisateurs/VO admins Site peut accepter ou refuser les politiques Hiérarchie de GPBOX : délégation depuis le VO manager jusqu’au site Politiques définies en terme de VO, VOMS roles ou VOMS groups Toujours pas en production… Planning pas très clair Evaluation d’alternatives un peu moins flexible mais plus simple à mettre en œuvre (ex : basé sur VOView) Besoin d’une solution opérationnelle avant le démarrage LHC 18/02/201920/9/2006 Middleware : Status et Evolution

15 Les Evolutions : Stockage
SRM v2.2 (fin de l’année) Support des ACLs Support des opérations sur les directories GFAL Support de SRM 2.2 Intégration de Hydra Remplacement de gLite I/O (requiert SRM ACL) FTS Support SMR 2.2 Support VO plugins VOMS aware proxy renewal LFC : remplacement de Fireman 18/02/201920/9/2006 Middleware : Status et Evolution

16 Les Evolutions : Accounting
Service critique pour la grille en phase de production Utilisateurs (VO) doivent pouvoir vérifier les engagements Beaucoup de contraintes liées à la publication d’information personnelle Actuellement APEL : publication dans R-GMA Analyse des log files du LRMS Futur = DGAS : meilleure prise en compte de la confidentialité, plus grande flexibilité Nouveaux types de sensor Publication dans une database de site dédié à l’accounting Consolidation dans une base centrale Démarrage en // avec APEL 18/02/201920/9/2006 Middleware : Status et Evolution

17 Les Evolutions : Autres Besoins
Elargissement des utilisateurs de la grille amènent des nouveaux besoins Nouveaux services Ex : encryption, méta-données pour Biomed Nouvelles implémentations de certains services pour coller les infrastructures existantes d’une communauté Ex : SRB Coût/complexité d’une migration du stockage EGEE-II : baisse de l’effort développement Nouveaux services doivent être développés par les Vos Ex : AMGA, Hydra L’intégration/validation peut être longue… 18/02/201920/9/2006 Middleware : Status et Evolution

18 Documentation et Références
Le site officiel : Difficile de trouver des informations sur la roadmap gLite plans : a&categ=a06133&id=a06133s2t5/transparencies gLite WMS and CE : resentations/white_egee.pdf#search=%22glite%20 deputy%20jra1%22 18/02/201920/9/2006 Middleware : Status et Evolution