Nombre de job slot par machine Server_priv/node. Node1 np=2 Règle de 1 core = 1 job slot = 2 Go. Sur un bi-processeur bi-core on annonce alors np=4 Pas.

Slides:



Advertisements
Présentations similaires
Eric Fede - 1 GESTION DES PRIORITES SUR LA GRILLE.
Advertisements

Bibliothèque Centrale de l’École Polytechnique Session pratique Recherches documentaires en sciences dures PSC 2011 septembre/octobre 2011 Denis Roura,
INFSO-RI Enabling Grids for E-sciencE Statistiques d'usage d'un site de la grille LCG/EGEE Emmanuel Medernach, IN2P3 LPC.
LE QUOTIDIEN D'UNE AVS AU SEIN DE L'ÉCOLE. En quoi consiste notre mission : ● Nous intervenons au sein des établissements scolaires ordinaires pour l'accueil.
Comprendre Internet Bases théoriques et exercices pratiques, pour débutants complets... Et curieux !
MAUI Généralités Mode de fonctionnement Configuration MAUI Paramètres globaux Attributs des jobs Commandes clientes.
Chapitre 4 la représentation des nombres. Chapitre 4 : La représentation des nombres 1 - Introduction 1.1 – Notion de mot 2 - La représentation des entiers.
09/07/20151J-P Meyer GRIF-CS Les nouvelles générales Les pledges 2016 Le point sur l’Accounting et l’availability 10 ans de GRIF Le tour des VO Le tour.
1 Observer le paramétrage d’un réseau. 2 Dans notre réseau téléphonique habituel, les postes, reliés à un auto-commutateur... …peuvent dialoguer, car.
Qu'est-ce que c'est pour vous la veille informationnelle ?
Les Réseaux informatique.
Initiation à la conception des systèmes d'informations
Ciblez le problème, renseignez-vous et demandez de l'aide.
Les titres dans le mémoire
V Suite géométrique : 1°) Définition : un+1
Téléchargement de fichiers
Modèle objet : les classes
Bilan des travaux de la commission
java : l'héritage (rappel)
Introduction au Langage Pascal
LA PARITE LE CLASSEMENT.
Ce videoclip produit par l’Ecole Polytechnique Fédérale de Lausanne
des fédérations de Cuma
Albertine DUBOIS et Alexandre LIEGE
Projet de classe – Cycle 3 Classe de ____ Domaine 1 – CG 1: Développer sa motricité et construire un langage du corps Domaine 2 – CG 2: S’approprier.
Les bases de données et le modèle relationnel
L’accounting dans EGEE
Astuces jquery.
C. Loomis (LAL-Orsay) Tutorial EGEE Utilisateur (LAL) 2 février 2007
GRIF : Grille pour la Recherche en
Interface d’utilisation IZIEval
Etat des services grid de production
Session 03: Démonstration pratique: comment préparer et mapper différents types de données Nicolas Noé GB22 Training event for nodes – 4 October 2015.
Windows 7 NTFS.
Pierre Girard LCG-France Tier
Fonctionnement de la grille
Les interfaces en PHP.
– La communication : notions de base. – INTRODUCTION : QU’EST-CE QUE LA COMMUNICATION ? I/ LES DIFFÉRENTS TYPES DE COMMUNICATION II/ LES COMPOSANTES DE.
Déploiement d’un LCG CE
Consolidation des services de grille de production
Daniel JOUVENOT Laboratoire de l’Accélérateur Linéaire (LAL–ORSAY)
Gestion du cours Aissa Boulmerka.
Mathilde DUFOUR, consultante ingenieure gnss (ALTRAN)
Jobs ATLAS sur la grille
L’exploitation des données du collisionneur LHC: un défi pour le calcul scientifique un enjeu pour le LAPP S. Jézéquel.
CREAM-CE et SGE.
Exercices: Système d’Information
Atelier régulation de la production dans un contexte grille
Exemple Infrastructure Standing réservation Partition Priorité Autres.
la structure de l’entreprise: Définition : La structure organisationnelle d’une entreprise définie le mode d’organisation entre les différentes unités.
Modélisation avec UML 2.0 Partie II Diagramme de classes.
Règles d'utilisation des images sur Internet
Bienvenue à l’école Primaire Privée MERE TERESA
Vuibert Systèmes d’information et management des organisations 6 e édition R. Reix – B. Fallery – M. Kalika – F. Rowe Chapitre 1 : La notion de système.
– La communication notions de base. – INTRODUCTION : QU’EST-CE QUE LA COMMUNICATION ? I/ LES DIFFÉRENTS TYPES DE COMMUNICATION II/ LES COMPOSANTES DE.
Free Powerpoint Templates Page 1 Free Powerpoint Templates L’indicateur technique: Relative Strength Index (RSI)
Gestion de Projet BTS SI0 Gilles G. CASANOVA Professeur Agrégé d’Economie Gestion et Informatique Ingénieur Arts & Métiers Lycée Honoré d’Estienne d’Orves,
Chapitre2: SGBD et Datawarehouse. On pourrait se demander pourquoi ne pas utiliser un SGBD pour réaliser cette structure d'informatique décisionnelle.
Transmission de puissance par poulie courroie
Infrastructure Opérationnelle d’EGEE
Mésocentre de calcul et de stockage ouvert sur la grille EGEE (MUST) LAPP/ Université de Savoie / EGEE.
Kit de formation multimedia
DESIGN PATTERN BUILDER KADRI LOUBNA CHARMATI SEWSEN.
Colloque organisé par le GTI MP – 18/10/2018
Un cloud de production et de stockage
Position, dispersion, forme
Démarches d'investigation en physique appliquée
Bases – Banques Entrepôts de données
Notions d'architecture client-serveur. Présentation de l'architecture d'un système client/serveur Des machines clientes contactent un serveur qui leur.
Fête du bénévolat Rassembler les bénévoles de toutes les bases, de toutes les instances le temps d’un week-end festif. Fidéliser nos bénévoles, favoriser.
Transcription de la présentation:

Nombre de job slot par machine Server_priv/node. Node1 np=2 Règle de 1 core = 1 job slot = 2 Go. Sur un bi-processeur bi-core on annonce alors np=4 Pas toujours respectée. –Pour faire tourner X jobs sur Y cores. –Pour avoir des job slots supplémentaires qui permettrons d’y faire tourner des jobs aux caractéristiques particulières (standing reservation) CPPM, GRIF 2 x plus de job slot que de core LAPP 1,25 x plus de job slot que de core La surcharge de job slot est elle une bonne chose ? Oui mais ca dépend du pourquoi faire

Nombre de job slot publiés dans le SI de EGEE Les scripts remontant les infos par queues se basent sur le job manager ldapsearch -x -H ldap://lapp-ce01.in2p3.fr:2135 -b mds-vo-name=local,o=grid | grep GlueCEStateRunningJobs GlueCEStateRunningJobs: 102 ldapsearch -x -H ldap://lapp-ce01.in2p3.fr:2135 -b mds-vo-name=local,o=grid | grep GlueCEStateWaitin GlueCEStateWaitingJobs: 34 N’IMPORTE OU lapp-ce01.in2p3.fr :> qstat atlas |grep R | wc -l 102 lapp-ce01.in2p3.fr :> qstat atlas |grep Q |wc -l 34 SUR LE CE Problème : Torque n’est pas au courant des standing reservation –Donc on publie tous les job slots –Ou on modifie les scripts afin de récupérer les informations auprès de MAUI et non plus torque : solution GRIF

Publication d’infos Ressources du CE publiées –Attention aux différentes infos publiées dans le système de la grille GlueCEUniqueID –GlueCEStateRunningJobs: –GlueCEStateWaitingJobs: –GlueCEStateTotalJobs: Basé les queues GlueVOViewLocalID –GlueCEStateRunningJobs: –GlueCEStateWaitingJobs: –GlueCEStateTotalJobs: Basé sur les VO (mapping entre group unix et VO) Queues de type 1Queues de type 2

Publication d’infos Doit-on publier les queues locales (si on en a) ? –Non, si pas connues, pas utilisées Doit on les protéger ? –Oui, pas accessibles depuis un job grille set queue local queue_type = Execution set queue local max_queuable = 800 set queue local acl_host_enable = True set queue local acl_hosts = lappsl07.in2p3.fr set queue local acl_hosts += lappsl06.in2p3.fr set queue lhcb queue_type = Execution set queue lhcb max_queuable = 400 set queue lhcb acl_host_enable = True set queue lhcb acl_hosts = lapp-ce01.in2p3.fr Les machines lappsl07 et lappsl06 peuvent faire qsub sur la queue local Le CE peut faire un qsub la queue lapp (qui est une queue de grille)

Standing reservation L’intérêt est de réserver une ressource à un type de jobs. –Parce qu’il y a un critère physique qui justifie cela ( type de processeur, interconnect,…) –Parce qu’on veux « garder » cette ressource pour un type de job particulier. Jobs prioritaires –Utilisateur, groupe, queue, …. particulier Faibles latences –Ne pas attendre en queue …

Standing reservation Exemple : –SRCFG[reserv_overload] HOSTLIST=lapp-wn00[1-9],lapp-wn01[0-9],lapp-wn02[0- 9],lapp-wn03[0-2] –SRCFG[reserv_overload] PERIOD=INFINITY –SRCFG[reserv_overload] ACCESS=DEDICATED –SRCFG[reserv_overload] TASKCOUNT=1 –SRCFG[reserv_overload] RESOURCES=PROCS:1 –SRCFG[reserv_overload] GROUPLIST=dteam,ops –SRCFG[reserv_overload] CLASSLIST=flash –SRCFG[reserv_overload] USERLIST=atlass,lhcbs –Cette réservation s’applique aux machines HOSTLIST –Elle n’est pas limitée dans le temps –Elle concerne 1 processeur(core) –En benéficient : les groupes unix dteam et ops, la queue flash, et les utilisateurs atlass et lhcbs Pour une machine ayant 4 cores si on a défini 5 jobs slots dans le job-manager on a ainsi: 4 job slots « normaux » + 1 réservé à la standing réservation : reserv_overload

Priorité MAUI Les priorités pouvant être appliquées à chacun des attributs des jobs. –USER : L’identité de l’utilisateur –Utilisateur au sens UNIX. Correspondant à des utilisateurs génériques dans le cadre des jobs grille. –GROUP : Le groupe de l’émetteur du job. –Groupe au sens unix. –CLASS : Notion liée aux queues du job-manager. –C’est le nom de la queue : atlas, lhcb, short, long,…. –ACCOUNT :Non officiellement utilisée par la grille. –QOS : Notion construite en fonction des besoins et permettant de caractériser un ensemble de jobs.

Priorité MAUI Au sein d’une VO –USER : Dépend du mapping du VOMS attribut Intéressant pour définir les priorités entre rôle d’une VO. Si on a X mapping entre VO et user doit on maintenir X règles de priorité ??? –GROUP : Si unique par VO, permet de définir des priorités entre groupe (donc VO) Si plusieurs groupe pour une VO plus difficile. Or VO –CLASS : Intéressant pour définir des règles de priorité entre des queues grilles et des queues locales. –ACCOUNT :Peut être utilisé pour définir son propre critère sur lequel sera appliqué des règles de priorité. Utilisation du submit_script

Accounting L’accounting des queues de grille est remonté par apel mais quid des queues locales. –Nécessite un outil local pour monitorer toutes les queues –Permet notamment de vérifier que les infos remontées dans appel correspondent a celles remontées par l’outils local

Nettoyage du CE –??

Comment partager les infos Un wiki –Pour y mettre les astuces et recettes de chaque site ? –Un wiki de plus –Nécessite une certaine discipline pour l’alimenter régulièrement AOB