CREAM & ICE Réunion SA1-France 11 mars 2008

Présentation au sujet: "CREAM & ICE Réunion SA1-France 11 mars 2008"— Transcription de la présentation:

1 CREAM & ICE Réunion SA1-France 11 mars 2008 sreynaud@in2p3.fr

2 2 Plan Objectifs de CREAM Fonctionnalités –Utilisateurs –Administrateurs Architecture –CREAM-CE –Intégration dans WMS –Intégration du LRMS Tests –Conditions –Résultats –Tests d'acceptation Perspectives –CREAM2 –autres

3 3 Objectifs de CREAM CREAM: Computing Resource Execution and Management ensemble d'opérations bien définies et minimales ouvert aux standards émergents architecture légère, flexible et extensible robuste et scalable performance et fiabilité garanties sécurité comptabilité source: CHEP 2007

4 4 Fonctionnalités – utilisateur Fonctionnalités classiques des CE –soumission (MPI), contrôle (annulation, suspension et reprise), monitoring, staging des fichiers d'entrée/sortie Informations sur le job –dates, nœud de calcul, cause d'échec… Liste de jobs Délégation de proxy Renouvellement de proxy Location de ressource Soumission en bloc (en cours)

5 5 Fonctionnalités – utilisateur Clients pour l'interface legacy –Lignes de commande en C++ –WMS –JSAGA (développement en cours) Clients pour l'interface BES (en cours) –Tous les outils compatibles BES –OGSA JobManager –JSAGA (développement prévu)

6 6 Fonctionnalités – administrateur Nettoyage du CE (purge) –par l'utilisateur –par l'administrateur –configurable Désactivation de la soumission de nouveaux jobs –explicite (commande en ligne) –implicite (règles) –les autres opérations restent autorisées Comptabilité source: EGEE 2007

7 7 Fonctionnalités – administrateur Information provider –visibilité des informations publiées –ajout/suppression à chaud des capteurs –gestion des souscriptions prédéfinies Administration des autorisations –gestion des administrateurs, des super-utilisateurs –gestion des politiques d'autorisation de l'accès aux opérations d'administration Paramètres internes (nombre de threads, taille du cache, …) source: EGEE 2007

8 8 Architecture – CREAM-CE source: CHEP 2006

9 9 Architecture – intégration/WMS ICE = Interface to CREAM Environment ICE CREAM CEMon Glite CE LCG CE

10 10 Architecture – LRMS/LCG-CE Gatekeeper LRMS job-manager BDII Local Resource Management System LCG-CE Submit job middleware LRMS specific UIRB LRMS Information Provider LRMS

11 11 Architecture – LRMS/gLite-CE LRMS job-manager LRMS GatekeeperBDII Condor-CBlahpd Launch Condor-C gLite-CE Submit job + REQ fork job-manager LRMS Information Provider UIWMS BLAH commands Local Resource Management System middleware LRMS specific

12 12 Architecture – LRMS/CREAM-CE CREAMCEMon Blahpd CREAM BLAH connector ICE BLAH Log Parser LRMS-specific Submit job + REQ LRMS Information Provider LRMS BLAH commands Local Resource Management System middleware LRMS specific Connector BLAH Log Parser LRMS-specific

13 13 Test – scénario Executable = "test.sh"; StdOutput = "std.out";; InputSandbox = {"gsiftp://grid005.pd.infn.it/Preview/test.sh"} OutputSandbox = “out.out”;; OutputSandboxDestURI={"gsiftp://grid005.pd.infn.it/…/std.out"}; RetryCount = 0; ShallowRetryCount = 0; #!/bin/sh echo “I am running on `hostname`” echo “I am running as `whoami`” sleep 600 1000 x

14 14 Test – résultats source: CHEP 2007

15 15 Tests d'acceptation (août 2007) Passés avec succès –plus de 8 jours d'exécution sans intervention –86.000 jobs soumis via WMS 5.000 jobs simultanés par CE 10.000 jobs par jour 50 utilisateurs différents par CE –aucune erreur due à CREAM –aucune dégradation de performance observée Mais problèmes de scalabilité avec: –Renouvellement de proxy –Location de ressource sources: CHEP 2007 & All-hands meeting - février 2008 CREAM2 TCG: rendre CREAM "production-ready"

16 16 Perspectives – CREAM2 (1/2)

17 17 Perspectives – CREAM2 (2/2)

18 18 Perspectives – autres Portage vers SL4 et VDT 1.6 Portage vers ETICS Installation via le YAIM officiel de gLite (v4) Re-développement du BLparser de BLAH –générique –basé sur les commandes du LRMS au lieu des logs Diverses améliorations –meilleure intégration du LB –réduire la redondance de code entre les job wrappers de WMS et de CREAM –cohérence des autorisations gJAF et LCAS/LCMAPS source: All-hands meeting, février 2008