CREAM-CE et SGE.

Slides:



Advertisements
Présentations similaires
Production DC2 ATLAS David Bouvet LHC Calcul 22 juillet 2004.
Advertisements

Developpement Process « Coding party !! » Tony Carnal Altran.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Soumission de jobs C. Loomis / M. Jouvin.
CREAM & ICE Réunion SA1-France 11 mars 2008
Nombre de job slot par machine Server_priv/node. Node1 np=2 Règle de 1 core = 1 job slot = 2 Go. Sur un bi-processeur bi-core on annonce alors np=4 Pas.
Technologies de grille Lyon, 20 mars 2007 Sylvain Reynaud
Fabio HERNANDEZ Responsable Grid Computing Centre de Calcul de l'IN2P3 - Lyon Lyon, 30 avril 2004 Déploiement LCG-2 au CC-IN2P3 Etat d’avancement.
INFSO-RI Enabling Grids for E-sciencE Statistiques d'usage d'un site de la grille LCG/EGEE Emmanuel Medernach, IN2P3 LPC.
Séminaire EOLE Dijon Octobre 2008 Eole SSO.
JRES Gestion des ressources de calcul : 4 points de vue Recherche Développement Production Romaric David Julien Devemy Philippe Olivero Suzanne Poulat.
EGEE is a project funded by the European Union under contract IST Soumission de jobs Tutorial Grille (LCG/EGEE) E.Fede (CNRS/IN2P3/LAPP)
Fadhel jied Oussama hédhili V - conclusion IV - Les avantages et les inconvénients III - exemples II - aspect informatique I - introduction.
Infrastructure de Calcul
Mise en place d’un système de partage de fichiers
La Grille EGEE G. Philippon (LAL-Orsay)
Sécurité - ASA8.x - Import du Plug-in RDP pour utilisation dans WebVPN
Michel Jouvin LAL/Orsay
La Grille EGEE M. Louvin (LAL-Orsay) Tutorial EGEE Utilisateur (LAL)
Fleet Management.
Journée Analyse D0, 19 janvier 2004
Introduction aux grilles de calcul et au projet EGI
Lundi 2 juillet 2007 Résumé ARM Stockholm Rolf Rumler.
Passage de Main SYSGRID Réunion 1
L’accounting dans EGEE
Grilles de Calcul - Formation utilisateurs
GENIUS – GANGA Alternative à la CLI
Réunion Analyse D0 France au CCIN2P3 19 janvier 2004
PROTEOMIQUE.
Comment fonctionne RADIUS?
GANGA/DIANE Mohammed AIRAJ CEA/IRFU EGEEIII/NA4
C. Loomis (LAL-Orsay) Tutorial EGEE Utilisateur (LAL) 2 février 2007
Soumission de jobs Tutorial Grille (LCG/EGEE)
GRIF : Grille pour la Recherche en
Interface d’utilisation IZIEval
Etat des services grid de production
12 mars 2004, Lyon Reunion CAF F.Chollet 1
Surveillance des services grille par NAGIOS
Intégration de BQS dans CREAM
Pierre Girard LCG-France Tier
Pierre Girard LCG-France Tier
Fonctionnement de la grille
Soumission de jobs de calcul
Etat des lieux des VO Boxes LHC
Intégration de BQS dans CREAM
Initiation à l'infrastructure
Configuration FTS pour CMS
Soumission de jobs C. Loomis / M. Jouvin (LAL-Orsay)
Déploiement d’un LCG CE
Réunion coordination WLCG Lyon, le 13 mars 2008
David Bouvet IN2P3-CC Annecy - 27/09/2007
David Bouvet LCG France T2 T3 – LPNHE
LCG –France Tier2 & AF Réunion de Coordination – Problèmes récurrents des VOs 11 Juin- 10 Septembre Hélène CORDIER.
JJS (Java Job Submission) Soumission de jobs sur grille
Tutorial Utilisateurs EGEE
Exercices: Système d’Information
Atelier régulation de la production dans un contexte grille
HTTP DNS NTP FTP R231 RJ45 definition HTTP DNS NTP FTP R231 RJ45.
Comparaison RB et gLite WMS
Tutorial Utilisateurs EGEE
A. DAAIF ENSET Mohammedia Université Hassan II Casablanca.
Service web Réalise par: Latifa Gamoun Mariem jridi Majdouline Hassni Service web Réalise par: Latifa Gamoun Mariem jridi Majdouline Hassni 1.
Infrastructure Opérationnelle d’EGEE
Introduction à la Grille
Introduction à GENIUS et GILDA
Middleware : Status et Evolution
Infrastructure Opérationnelle d’EGEE2
KoXo Développement Outils de gestion de réseaux
ORGANISER DES MANIFESTATIONS SCIENTIFIQUES A LA SFA
LUSTRE Integration to SRM
Résumé des Actions Suite aux Réunions CB et MB
Transcription de la présentation:

CREAM-CE et SGE

(basé sur Globus gatekeeper) LCG-CE / CREAM-CE LCG-CE (basé sur Globus gatekeeper) protocole spécifique langage RSL Resource Specification Language stream (via gass) il n'existe pas d'interface permettant de l'utiliser directement sans faire écrouler le serveur => WMS ou Condor-G obligatoire pour les gros utilisateurs CREAM-CE (web service CREAM) protocole SOAP/https langage JDL Job Description Language sandbox (partiellement) peut être utilisé via WMS via Interface to CREAM Environment sans intermédiaire

WMS / CREAM-CE WMS glite-wms-job-submit (JDL) glite-wms-job-status glite-wms-job-cancel glite-wms-job-delegate-proxy glite-wms-job-output glite-wms-job-list-match glite-wms-job-logging-info CREAM-CE glite-ce-job-submit (JDL) glite-ce-job-status glite-ce-job-cancel glite-ce-delegate-proxy globus-url-copy glite-ce-job-list glite-ce-job-purge glite-ce-job-suspend glite-ce-job-resume

CREAM-CE / SGE @ CC-IN2P3 Accounting Système d'information APEL ? Accounting maison comme pour BQS ? Système d'information Soumission de jobs plug-ins BLAH modifiés pour les besoins du CC-IN2P3 suppression de l'utilisation de scp pour les fichiers d'entrée/sortie exécution d'un prologue (le même pour tous…) en attente du support des tokens AFS pour les Software Managers reste à faire… ?

CERequirements Requirements CERequirements utilisé pour sélectionner le CE (match-making) CERequirements utilisé pour renseigner le batch system sur les besoins du jobs impact sur le temps d'attente impact sur les limites du jobs exemple CERequirements = "other.GlueCEPolicyMaxCPUTime >= 100 && other.GlueHostMainMemoryRAMSize > 2000";

CERequirements avec CREAM BQS GlueCEPolicyMaxCPUTime GlueHostMainMemoryRAMSize GlueHostMainMemoryVirtualSize GlueHostOperatingSystemName SGE à définir…

CERequirements avec CREAM

CERequirements avec CREAM

CERequirements avec WMS

Alternative au CERequirements Adapter la description du job ressources demandées le type la quantité version de middleware droit d'écrire dans AFS informations diverses pour l'exploitation pour l'accounting En fonction de… CE queue du CE groupe (=> indirectement VO) utilisateur Possibilité de réutiliser un des composants développés pour l'intégration de BQS dans CREAM-CE (conçu pour être aussi indépendant que possible du batch system)

Alternative… Exemple avec BQS