Comparaison RB et gLite WMS

Présentation au sujet: "Comparaison RB et gLite WMS"— Transcription de la présentation:

1 Comparaison RB et gLite WMS
Lyon, le 22 mars 2007 Sylvain Reynaud

2 Les objectifs de cette évolution sont
Plan gLite WMS (Workload Management System) est une évolution du Resource Broker Les objectifs de cette évolution sont amélioration de la scalabilité ajout de nouvelles fonctionnalités

3 RB ?

4 WMS Information Index nouveau remplace

5 DAGMan (http://www.cs.wisc.edu/condor/dagman/)
[ Type = "dag"; InputSandbox = {…}; Requirements = …; Nodes = [ nodeA = [ file = “foo.jdl”; ]; nodeB = [ description = [ JobType = “Normal”; Executable = “abc.exe”; Arguments = "1 2 3"; ….. ]; ……. dependencies = { {nodeA, nodeB}, {nodeA, nodeC}, {nodeC, nodeD}, {nodeC, nodeE}, { {nodeB, nodeD, nodeE}, nodeF } } ] ]

6 ISM – Push mode Network Job (RB) Server Adapter Log Monitor Condor C
JDL (RB) Job Adapter Log Monitor Condor C JDL info info info

7 ISM – Pull mode (non disponible)
Network Server JDL (RB) Job Adapter Log Monitor Condor C JDL info info

8 RB WMS Condor-G  Condor-C Condor-G Condor-G (legacy) Condor-C ICE
interface cliente avec le Gatekeeper (Globus) WMS Condor-G (legacy) Condor-C interface cliente du daemon Condor-C ICE

9 Condor-G  Condor-C RB UI Submit job Gatekeeper BDII LRMS job-manager
LRMS Information Provider LCG-CE Local Resource Management System LRMS middleware LRMS specific

10 Condor-G  Condor-C WMS UI Submit job + REQ Gatekeeper BDII
LRMS job-manager fork job-manager LRMS Information Provider Launch Condor-C Blahpd Condor-C gLite-CE BLAH commands Local Resource Management System LRMS middleware LRMS specific

11 Condor-G  Condor-C (+ ICE)
Submit job + REQ CREAM CEMon BLAH connector LRMS Information Provider Blahpd CREAM BLAH commands Local Resource Management System LRMS-specific BLAH Log Parser LRMS middleware LRMS specific

12 WMProxy Network Server WM Proxy

13 parametric jobs (_PARAM_)
WMProxy Web Service bulk submission ensemble de jobs indépendants parametric jobs (_PARAM_) arguments, stdinput… ZippedISB glite-wms-job-perusal inspecte output d'un job en cours d'exécution

14 Statut de gLite WMS (14/02/2007)
"Bulk submission" améliore les performances de façon significative WMS s'écroule sous la charge ( jobs/jour) nécessite redémarrage des process et nettoyage De gros progrès et de nombreux patchs au cours de ces derniers mois jobs/jour pendant 5 jours (avec bulk submission) Amélioration robustesse en cours (refactoring pour permettre de court-circuiter DAGMan) source: Stefano Belforte (INFN Trieste)

15 Autres nouvelles fonctionnalités ? WMS versus RB
Questions Autres nouvelles fonctionnalités ? WMS versus RB Performance ? Stabilité ? Facilité d'exploitation ?