MAUI Généralités Mode de fonctionnement Configuration MAUI Paramètres globaux Attributs des jobs Commandes clientes.

Présentation au sujet: "MAUI Généralités Mode de fonctionnement Configuration MAUI Paramètres globaux Attributs des jobs Commandes clientes."— Transcription de la présentation:

1 MAUI Généralités Mode de fonctionnement Configuration MAUI Paramètres globaux Attributs des jobs Commandes clientes

2 Généralités Maui n’est qu’un scheduler. S’appuie sur un job-manager indépendant –L’espace des possibilités offertes par le couple n’est pas nécessairement la somme des possibilité du scheduleur + possibilités du job- manager. Des « incohérences » de configuration entre scheduleur et job-manager sont possibles. –Si cela est possible, tout faire du coté du scheduleur. Ne pas espérer que le scheduleur se comporte comme on l’aurait fait. –Le scheduleur se base sur une vision globale en temps et en ressources.

3 Modes de fonctionnement Au nombre de trois –Normal –Simulation –Test Paramètre SERVERMODE du fichier de configuration RMCFG[base] TYPE=PBS SERVERPORT 40559 SERVERMODE NORMAL

4 Modes de fonctionnement Configuration hardware JOB-MANAGER MAUI Ordonnancement Execution Flux des jobs CONF 1 diagnose –p showq checkjob MAUI Ordonnancement CONF 2 diagnose –p showq checkjob MAUI Ordonnancement CONF 3 Fichier définissant les ressources Fichier définissant des jobs et leur flux diagnose –p showq checkjob schedctl NORMAL TEST SIMULATION

5 Modes de fonctionnement Mode test –Ne permet de tester la configuration que sur le flux réel des jobs.  –Non intrusif pour l’ordonnanceur qui travaille en mode normal. Sous réserve de modifier certains paramètres –MAUIHOMEDIR : afin d’éviter le mélange des fichiers log –SERVERPORT : afin d’éviter les conflits de socket Mode simulation –Complexe à mettre en œuvre.  Fichiers de flux de job à générer. Nombreux paramètres. –Permet de simuler le comportement de MAUI sur une architecture matérielle quelconque.

6 Organisation de la configuration MAUI Essentiellement segmentée en trois parties –Celle définissant les paramètres de MAUI –Celle définissant les paramètres globaux qui vont être utilisés par les règles de scheduling. –Les règles de scheduling à proprement dit.

7 Paramètres globaux Scheduling –Intervalle de polling du job-manager : RMPOLLINTERVAL 00:02:30 –Agrégation de job avant ordonnancement JOBAGGREGATIONTIME 00:00:05 Attend 5 secondes après l’arrivée d’un job event (nouveau job par exemple) avant de faire l’ordonnancement.

8 Paramètres globaux Backfilling –Permet d’exécuter des jobs qui ne sont pas éligibles à l’éxécution (priorité pas la plus haute) mais dont une ressource disponible remplit les conditions. JOB 12 JOB 20 JOB 1 JOB 8 PRIORITES RESSOURCE A RESSOURCE C RESSOURCE B OCCUPE Besoin de la ressource A et B Besoin de la ressource C Besoin de la ressource C ou A Backfilling OCCUPE

9 Paramètres globaux Backfilling –Paramètres BACKFILLDEPTH : Profondeur d’action du backfilling BACKFILLMETRIC : Critère sur lequel le backfilling va se baser (PROCS, PROCSECONDS, SECONDS,..) BACKFILLPOLICY : Nature de l’algo de backfilling (bestfit, firstfit,…) –Le BFchunk Notion permettant de « suspendre » temporellement le backfilling.

10 Paramètres globaux Besoin de la ressource A et B Besoin de la ressource A ou B ou C Besoin de la ressource B ouC ou A PRIORITES JOB 12 JOB 20 JOB 1 JOB 8 RESSOURCE A RESSOURCE B Besoin de la ressource A et B Besoin de la ressource A ou B Besoin de la ressource B ou A Besoin de la ressource B ou A OCCUPE BFCHUNKDURATION 00:05:00 –Pendant 5 minutes agrège les ressources disponibles sans les proposer au backfilling. BFCHUNKSIZE 4 –Définit la taille minimale des jobs qui pourront bénéficier des ressources non proposées au backfilling.

11 Paramètres globaux Allocation des machines (node) –NODEACCESSPOLICY Spécifie la nature de l’accès à une machine ( partagé, réservé à un job, réservé à un utilisateur,..) –NODEALLOCATIONPOLICY Règles appliquées pour l ’allocation des machines (charge cpu, première disponible) Intéressant pour disperser les jobs sur l’ensemble du cluster

12 Paramètres globaux Disponibilité des machines (node) –NODEAVAILABILITYPOLICY Définit les critères qui vont être pris en compte pour déterminer la disponibilité d’une machine. Peut être une combinaison linéaire de ressources définies ou/et mesurées (processeur, mémoire,…) de la machine NODEAVAILABILITYPOLICY DEDICATED:PROCS COMBINED:MEM UTILIZED:SWAP Ce paramètre peut avoir plus d’importance qu’il n’y parait car selon sa valeur, la disponibilité d’un job slot ne signifie pas que la machine soit disponible.

13 Paramètres globaux Les partitions –C’est un découpage des ressources NODECFG[lapp-wn032.in2p3.fr] PARTITION=TOTO –Il est ainsi possible à travers les standing reservation de dédier une partition (donc un matériel) à une certaine classe de job. – Il est également possible au sein d’une partition de définir des règles d’ordonnancement (limite, fairshare,…) différentes.

14 Attributs des jobs Dans MAUI les job sont caractérisés par: –USER : L’identité de l’utilisateur –Utilisateur au sens UNIX. Correspondant à des utilisateurs génériques dans le cadre des jobs grille. –GROUP : Le groupe de l’émetteur du job. –Groupe au sens unix. –CLASS : Notion liée aux queues du job-manager. –C’est le nom de la queue : atlas, lhcb, short, long,…. –ACCOUNT :Non officiellement utilisée par la grille. –QOS : Notion construite en fonction des besoins et permettant de caractériser un ensemble de jobs. Vrai dans le cadre de la grille et de torque

15 Le commandes clientes Permettent de suivre l’état des jobs du point de vue scheduleur. –Showq ( -r, –i, –b): permet de voir l’état des jobs. –Diagnose (-p –t –u –g,….) : commande de base permettant de suivre l’état du scheduleur. –Checkjob : permet de connaître les caractéristiques (intrinsèques et affectées par MAUI) d’un job. –Checknode, showres,showstate,….

16 Le commandes clientes –Canceljob : –Setspri : permet de modifier la priorité d’un job. –Setres : permet de définir des réservations en ligne (sans modifier le fichier de conf de MAUI) –Releasehold : relâche les jobs passés en état holding. –Releaseres : relâche les réservations 3 niveaux d’administration existent dans MAUI, donnant plus ou moins de droits sur chaque commande.