Interopérabilité de grilles Lyon, le 04 mai 2007 Sylvain Reynaud

Interopérabilité de grilles2 Plan Introduction –Exemples d'utilisation de grilles –L'interopérabilité aujourd'hui –Motivations pour un nouvel outil Nouvel outil proposé: JSAGA –Exemple –Vue d'ensemble Soumission de jobs –Description –Sélection de ressources –Gestion des I/O des jobs –Control et monitoring Plug-ins communs Architecture logicielle Conclusion

Interopérabilité de grilles3 Exemples d'utilisation de grilles EGEE –Fonctionnalités avancées intégrées au RB / WMS sélection de ressources, gestion de sandbox, jobs paramétriques… –Il faut permettre à ceux qui le souhaitent d'utiliser ces fonctionnalités JJS (Java Job Submission) –Exploite le déploiement EGEE –Sélection de ressources basée sur QoS constatée au cours des soumissions de job effectuées

Interopérabilité de grilles4 Exemples d'utilisation de grilles Grilles industrielles RUGBI/OpenPlast –Hétérogénéité des sites Gatekeeper ou WS-GRAM, règles de firewall, disponibilité d'un système de fichiers partagé, pré-installation de logiciels/données… –Il faut permettre de fonctionner sur tous les sites d'exploiter au mieux les avantages de chaque site CNES, BBE… –Souhaitent pouvoir travailler alternativement en local (e.g. Open PBS) et sur la grille (EGEE)

Interopérabilité de grilles5 L'interopérabilité aujourd'hui ThèmeLCGgLiteOSGNAREGIARC Sécurité gridmap  VOMS MyProxy VOMS MyProxy VOMS (?) ? User Mgt Server Trust Service VOMS ? Système d'info GIIS  BDII GIP (Glue schema) BDII  RGMA CEMon (pull) (Glue schema) RSS CEMon (push) (Grid3 schema) Distributed Info S. LRPS (extended CIM) ARCGIIS ? (nordugrid sch.) Gestion de données GridFTP  SRM LRC/RMC  LFC  FTS SRM LFC  FiReMan FTS SRM ? N/A DRMS (Gfarm FS) N/A GridFTP ? N/A Gestion de l’exécution RB (JDL) VDT-based CE WMS (JDL) gLite-CE, CREAM Condor-G (VDL), … VDT  WS-GRAM GridRPC, SS (JSDL) GridVM N/A GridFTP modified GSI + généralisation de l'utilisation de VOMS et MyProxy Développement de traducteurs, déploiement de SI globaux Généralisation de l'adoption du standard SRM Interopérabilité gérée au cas par cas

Interopérabilité de grilles6 L'interopérabilité aujourd'hui Des CEs jouant le rôle de passerelle –SAMGrid (D0)  LCG –EGEE  CNGrid Des meta-schedulers supportant plusieurs middlewares –WMS (EGEE) –Super Scheduler (Naregi) –CSF (Platform) –GridSAM (OMII Europe) Interopérabilité gérée au cas par cas

Interopérabilité de grilles7 Motivations pour un nouvel outil Inconvénients de ces approches –redondance des efforts –interopérabilité parfois unilatérale –pas d'interopérabilité avec les grilles industrielles, régionales, locales… Besoin d'interfaces pensées pour l'interopérabilité –faciliter l'ajout du support de nouveaux middlewares –l'abstraction des interfaces ne doit pas défavoriser la scalabilité Éviter toute ingérence sur les grilles et les sites utilisés Utilisation de standards de l'OGF: SAGA, JSDL

Interopérabilité de grilles8 Motivations pour un nouvel outil Supporter différents middlewares n'est pas suffisant, il faut également permettre: –différents types de déploiement, et les utiliser efficacement connectivité, protocoles, logiciels et données disponibles sur workers –différents besoins des utilisateurs, et y répondre efficacement approche choisie pour la sélection de ressource et pour la gestion des fichiers d'entrée/sortie des jobs, niveau de sécurité requis –l'accès aux fonctionnalités avancées des middlewares soumission de jobs en masse, réservation de ressource –l'accès transparent depuis les jobs aux données disponibles sur d'autres grilles

Interopérabilité de grilles9 Nouvel outil proposé: JSAGA Exemple avec EGEE/gLite et RUGBI/Globus job desc. gLite plug-ins Globus plug-ins JSAGA WMS RUGBI EGEE input data SRM GridFTP job RSL selected resource sandbox planning JDL delegate selection & sandbox management job WS-GRAM gLite-CEgLite-CEWS-GRAM firewall

Interopérabilité de grilles10 JSAGA JSDL * Nouvel outil proposé: JSAGA Vue d'ensemble JSAGA

Interopérabilité de grilles11 translatetriggerselect get info.build graph job wrappertranslatecontrolmonitor Nouvel outil proposé: JSAGA Vue d'ensemble JSDL * * check syntax translate check syntax add default values preprocess merge expand parametric job merge add worker alternatives generate POSIX appli. resource requirements selected resources sandbox transfer graph sandbox status default JSDL extract requirements select resource manage job collection control job job monitor job wrapper script get resource info. rest of JSDL build transfer graph bypass if delegated inverse structure generate job wrapper pre-staging Info. System translate Exec. Service add aborted/failed jobs to retry trigger submit JSAGA

Interopérabilité de grilles12 Soumission de jobs Traduction de la description langage natif JSDL + extensions –Job collection Parametric job Termination rules –Elapsed time –% jobs per status –Individual jobs Job identification Application –POSIX application –Script application Resources requirements –Tag Data staging –Alternatives sources/targets –URI steps –Pre/post processing –Delete instructions Retry rules –Elapsed time –Status Selected resources –Identifier –Information translate

Interopérabilité de grilles13 Soumission de jobs Sélection et obtention d'informations sur les ressources RUGBI/OpenPlast –fonction des caractéristiques du job et des données du système d'information EGEE –déléguée au RB / WMS JJS –basée sur la QoS constatée au cours de l'exécution des jobs Autres exemples –préférences de l'utilisateur –combinaison de plusieurs algos select Info. System get info. Connectivité SE proche Tag QoS job-list-match rejected

Interopérabilité de grilles14 Soumission de jobs Gestion des fichiers d'entrée/sortie des jobs build graph EGEE –déléguée au RB / WMS JJS –2 fichiers tar par job (I/O) –tous envoyés sur le même SE Autres exemples –compression –encryptage RUGBI/OpenPlast, fonction de… –caractéristiques des sites connectivité des workers élément de stockage proche système de fichiers partagé –caractéristiques des protocoles supporté par worker, par soumetteur modes d'accès (RO, WO, RW) support du transfert third-party –caractéristiques des fichiers contextes de sécurité du fichier / du job communs ou individuels (par job) pré-installés ou à transférer vers le worker prêts à utiliser ou à préparer (e.g. build) arborescence de fichiers

Interopérabilité de grilles15 RUGBI EGEE CA SMTPGSIFTPGSIFTPHTTP GSIFTP X509 HTTPS Soumission de jobs Gestion des fichiers d'entrée/sortie des jobs RUGBI/OpenPlast, fonction de… –caractéristiques des sites connectivité des workers élément de stockage proche système de fichiers partagé –caractéristiques des protocoles supporté par worker, par soumetteur modes d'accès (RO, WO, RW) support du transfert third-party –caractéristiques des fichiers contextes de sécurité du fichier / du job communs ou individuels (par job) pré-installés ou à transférer vers le worker prêts à utiliser ou à préparer (e.g. build) arborescence de fichiers build graph job C"Esrc D1D1D1D1 E

Interopérabilité de grilles16 Soumission de jobs Gestion des fichiers d'entrée/sortie des jobs build graph job C" EGEE CA Esrc SMTPGSIFTPGSIFTPHTTP D1D1D1D1 E C R1R1R1R1 R3R3R3R3 E3E3E3E3 R2R2R2R2 E2E2E2E2 R1R1R1R1 E1E1E1E1 C" Esrc D1D1D1D1 C" Esrc D3D3D3D3 D2D2D2D2 C"CC' CC' CC' E1E1E1E1 X509 HTTPS C' transfer graph E1E1E1E1 R1R1R1R1 CC'C'' common EEsrc executable D1D1D1D1 input data result std-error

Interopérabilité de grilles17 Soumission de jobs Gestion des fichiers d'entrée/sortie des jobs E1E1E1E1 R1R1R1R1 CC'C'' common EEsrc executable D1D1D1D1 input data result std-error build graph job C" EGEE CA Esrc SMTPGSIFTPGSIFTPHTTP GSIFTP D1D1D1D1 E C R1R1R1R1 tar Esrc C" C' R2R2R2R2 E2E2E2E2 R1R1R1R1 E1E1E1E1 R3R3R3R3 E3E3E3E3 D1D1D1D1 CC' C"CC' Esrc Esrc R1R1R1R1 E1E1E1E1 X509 HTTPS C' transfer graph transfer graph transfer graph C" Esrc D1D1D1D1 C" Esrc D3D3D3D3 D2D2D2D2 C"CC' CC' CC' tar CC' R3R3R3R3 E3E3E3E3 R2R2R2R2 E2E2E2E2 R1R1R1R1 E1E1E1E1 R3R3R3R3 E3E3E3E3 R2R2R2R2 E2E2E2E2 R1R1R1R1 E1E1E1E1

Interopérabilité de grilles18 Soumission de jobs Contrôle et monitoring Déclenchement de la soumission d'un sous-ensemble des jobs de la collection Contrôle de jobs –soumission –annulation –suspension/reprise Monitoring de jobs controlmonitor Exec. Service trigger jobstatus Interface utilisateur (changements uniquement) : à la demande / notification Interfaces plug-in: à la demande / notification requête / liste de jobid / job individuel

Interopérabilité de grilles19 Soumission de jobs Control et monitoring RUGBI/OpenPlast –soumission: au plus tôt –monitoring: job individuel / notification (Globus) JJS –soumission: fonction de succès et durée des jobs précédents –monitoring: requête / à la demande (liste répertoire gsiftp) EGEE –soumission: bulk –monitoring: liste de jobid / à la demande (LB) Autres exemples: –soumission: séquentielle, gestion de dépendances –monitoring: classique (job individuel / à la demande) controlmonitor Exec. Service trigger

Interopérabilité de grilles20 Plug-ins communs Contextes de sécurité Protocoles de gestion de fichier –manipulation –transfert GSIMyProxyVOMSX509PKILogin/Pwdgsiftpftphttpmailtofilesrmlfnsrbworkertargzip Implémentent la spécification SAGA

Interopérabilité de grilles21 CoG-Core API internal (IS gsiftp, file, http security input/output sandbox Execution environment controlmonitor File transfer task Web service task … login/pwd PKI GSI (classic OpenPlast gatekeeper, WS-GRAM, sshRSL (2&4) Architecture logicielle Framework et plug-ins prévus/envisagés (Enterprise grid with Local Infrastructure and Services for Applications) best path, Job submission task (multi-users,

Interopérabilité de grilles22 Architecture logicielle Framework et plug-ins prévus/envisagés internal (IS, QoS, user preferences, RSS, job-list- match, infosite, Lavoisier) delegated, combined gsiftp, file, http, srm (1.1, 2.1.1), lfn, srb, mailto, worker, tar, gzip, dcap, (gfarm?) control job desc. translator resource selection security input/output sandbox Job submission task Execution environment controlmonitorto/from JSDL best path, encrypted File transfer task Web service task … login/pwd PKI GSI (classic, VOMS, MyProxy, (CAS?)), X509 SAGA OpenPlast gatekeeper, WS-GRAM, sshRSL (2&4) EGEE CREAM, WMS, (gLite-CE?) JDL OSG VDT-based CE, (Condor-G?) (VDL?) NAREGI GridVM, (Super Scheduler?) JSDL+ext. regional GRIA, (UNICORE?) local local, PBS, simulator, proxy (Enterprise grid with Local Infrastructure and Services for Applications) SAGA + extended JSDL monitor (multi-users, parametric jobs, failure tolerance)

Interopérabilité de grilles23 Conclusion Un N ième outil de soumission de jobs ? Facilité: pour l'ajout du support de nouveaux middlewares, grâce aux interfaces qui.. –"encadrent" mieux –favorisent la réutilisation Flexibilité –sites: pas d'ingérence –utilisateurs: liberté de choix –middleware: accès aux fonctionnalités spécifiques (via namespaces XML) Transparence –de l'utilisation du middleware –de l'acheminement des données jusqu'au job –de l'exécution de pre/post staging Efficacité –de la gestion des fichiers d'entrée/sortie –du monitoring Standards de l'OGF –SAGA –JSDL Objectif: permettre à une description de jobs unique d'être exécutée sur de multiples grilles. Cet outil permet d'utiliser multiples grilles avec plus de…