Comparaison RB et gLite WMS Lyon, le 22 mars 2007 Sylvain Reynaud sreynaud@in2p3.fr

Les objectifs de cette évolution sont Plan gLite WMS (Workload Management System) est une évolution du Resource Broker Les objectifs de cette évolution sont amélioration de la scalabilité ajout de nouvelles fonctionnalités

RB ?

WMS Information Index nouveau remplace

DAGMan (http://www.cs.wisc.edu/condor/dagman/) [ Type = "dag"; InputSandbox = {…}; Requirements = …; Nodes = [ nodeA = [ file = “foo.jdl”; ]; nodeB = [ description = [ JobType = “Normal”; Executable = “abc.exe”; Arguments = "1 2 3"; ….. ]; ……. dependencies = { {nodeA, nodeB}, {nodeA, nodeC}, {nodeC, nodeD}, {nodeC, nodeE}, { {nodeB, nodeD, nodeE}, nodeF } } ] ]

ISM – Push mode Network Job (RB) Server Adapter Log Monitor Condor C JDL (RB) Job Adapter Log Monitor Condor C JDL info info info

ISM – Pull mode (non disponible) Network Server JDL (RB) Job Adapter Log Monitor Condor C JDL info info

RB WMS Condor-G  Condor-C Condor-G Condor-G (legacy) Condor-C ICE interface cliente avec le Gatekeeper (Globus) WMS Condor-G (legacy) Condor-C interface cliente du daemon Condor-C ICE

Condor-G  Condor-C RB UI Submit job Gatekeeper BDII LRMS job-manager LRMS Information Provider LCG-CE Local Resource Management System LRMS middleware LRMS specific

Condor-G  Condor-C WMS UI Submit job + REQ Gatekeeper BDII LRMS job-manager fork job-manager LRMS Information Provider Launch Condor-C Blahpd Condor-C gLite-CE BLAH commands Local Resource Management System LRMS middleware LRMS specific

Condor-G  Condor-C (+ ICE) Submit job + REQ CREAM CEMon BLAH connector LRMS Information Provider Blahpd CREAM BLAH commands Local Resource Management System LRMS-specific BLAH Log Parser LRMS middleware LRMS specific

WMProxy Network Server WM Proxy

parametric jobs (_PARAM_) WMProxy Web Service bulk submission ensemble de jobs indépendants parametric jobs (_PARAM_) arguments, stdinput… ZippedISB glite-wms-job-perusal inspecte output d'un job en cours d'exécution

Statut de gLite WMS (14/02/2007) "Bulk submission" améliore les performances de façon significative WMS s'écroule sous la charge (20 000 jobs/jour) nécessite redémarrage des process et nettoyage De gros progrès et de nombreux patchs au cours de ces derniers mois 15 000 jobs/jour pendant 5 jours (avec bulk submission) Amélioration robustesse en cours (refactoring pour permettre de court-circuiter DAGMan) source: Stefano Belforte (INFN Trieste)

Autres nouvelles fonctionnalités ? WMS versus RB Questions Autres nouvelles fonctionnalités ? WMS versus RB Performance ? Stabilité ? Facilité d'exploitation ?