EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Quelques commandes de la grille David Bouvet.

Présentation au sujet: "EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Quelques commandes de la grille David Bouvet."— Transcription de la présentation:

1 EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Quelques commandes de la grille David Bouvet Tutorial CGG 07-10/11/2006

2 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20062 Plan Soumission d’un job –proxy –JDL –commandes de soumission Gestion de données –commandes de bases –gestion à travers un job –catalogue LFC

3 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20063 Soumission de jobs : création d’un proxy voms-proxy-init -voms egeode  Cannot find file or dir: /afs/in2p3.fr/home/d/dbouvet/.glite/vomses Your identity: /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=David Bouvet Enter GRID pass phrase: Creating temporary proxy........................................... Done Contacting cclcgvomsli01.in2p3.fr:15001 [/O=GRID-FR/C=FR/O=CNRS/OU=CC- LYON/CN=cclcgvomsli01.in2p3.fr] "egeode" Done Creating proxy.................................... Done Your proxy is valid until Sat Nov 4 02:56:14 2006 voms-proxy-info  subject : /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=David Bouvet/CN=proxy issuer : /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=David Bouvet identity : /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=David Bouvet type : proxy strength : 512 bits path : /tmp/x509up_u2028 timeleft : 11:58:53 voms-proxy-info -all === VO egeode extension information === VO : egeode subject : /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=David Bouvet issuer : /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvomsli01.in2p3.fr attribute : /egeode/Role=NULL/Capability=NULL timeleft : 11:58:25  subject : /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=David Bouvet/CN=proxy issuer : /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=David Bouvet identity : /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=David Bouvet type : proxy strength : 512 bits path : /tmp/x509up_u2028 timeleft : 11:58:25 === VO egeode extension information === VO : egeode subject : /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=David Bouvet issuer : /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvomsli01.in2p3.fr attribute : /egeode/Role=NULL/Capability=NULL timeleft : 11:58:25

4 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20064 Soumission d’un job : JDL JDL : Job Distinguish Language –On spécifie (minimum) :  le programme et ses arguments  redirection des outputs et erreurs dans des fichiers  ce qu’on fait de l’ouput (OutputSandbox) JDL simple :  Executable = "/bin/echo "; Arguments = "Hello World "; StdOutput = "message.txt "; StdError = "stderror "; OutputSandbox = {" message.txt", "stderror "}; autre ex. : InputData = “lfn:testbed0-00019”; DataAccessProtocol = “gridftp”; Requirements = other.Architecture==“INTEL” && \ other.OpSys==“LINUX” && other.FreeCpus\ >=4; Rank = “other.GlueHostBenchmarkSF00”;  Executable = “gridTest”; StdError = “stderr.log”; StdOutput = “stdout.log”; InputSandbox = {“/home/joda/test/gridTest”}; OutputSandbox = {“stderr.log”, “stdout.log”}; InputData = “lfn:testbed0-00019”; DataAccessProtocol = “gridftp”; Requirements = other.Architecture==“INTEL” && \ other.OpSys==“LINUX” && other.FreeCpus\ >=4; Rank = “other.GlueHostBenchmarkSF00”; attribut job attribut données attributs ressources

5 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20065 Soumission d’un job : commandes sur une UI edg-job-submit –soumet un job –retourne l’ID du job edg-job-list-match –liste les ressources répondant à la description du job –effectue la correspondance job/ressource sans soumettre le job edg-job-cancel –annule un job donné edg-job-status –retourne le statut du job edg-job-get-output –retourne l’output du job (les fichiers de l’OutputSandbox) à l’utilisateur edg-job-get-logging-info –retourne les informations de logging concernant le job soumis (tous les événements dus aux divers composants du WMS) –très utile pour le débogage

6 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20066 Soumission d’un job : WMS match making Le RB (Resource Broker) est le cœur du WMS (Workload Management System). –il doit trouver la meilleure ressource de calcul (CE) où le job sera exécuté. –il interagit avec le service de gestion des données et le système d’information.  ceux-ci donnent au RB toutes les informations pour répondre aux requirements du JDL Le CE choisi par le RB doit répondre à tous les requirements du job Si 2 CE ou plus satisfont tous les requirements, celui qui a le meilleur rang est choisi.

7 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20067 Soumission de jobs : info sur les ressources lcg-infosites --vo egeode ce #CPU Free Total Jobs Running Waiting ComputingElement ---------------------------------------------------------- 58 15 0 0 0 ce1.egee.fr.cgg.com:2119/jobmanager-pbs-egeode 132 107 0 0 0 grid10.lal.in2p3.fr:2119/jobmanager-pbs-egeode 88 44 0 0 0 polgrid1.in2p3.fr:2119/jobmanager-pbs-egeode 167 62 105 85 20 cclcgceli02.in2p3.fr:2119/jobmanager-bqs-long 484 483 1 0 1 cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short 484 436 48 25 23 cclcgceli02.in2p3.fr:2119/jobmanager-bqs-medium 62 0 0 0 0 marseillece01.mrs.grid.cnrs.fr:2119/jobmanager-pbs-egeode 5 5 0 0 0 hudson.datagrid.jussieu.fr:2119/jobmanager-lcgpbs-egeode 30 1 2 0 2 scaicl0.scai.fraunhofer.de:2119/jobmanager-lcgpbs-egeode 42 33 13 13 0 gridgate.cs.tcd.ie:2119/jobmanager-lcgpbs-egee

8 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20068 Plan : vous êtes ici Soumission d’un job –proxy –JDL –commandes de soumission Gestion de données –commandes de bases –gestion à travers un job –catalogue LFC

9 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/20069 Outils de gestion des données de grille Replica-manager (RM) est le premier outil –LCG File Catalog (LFC) –LCG File Catalog (LFC) garde la trace de la localisation des diverses copies des fichiers grille –Transfert de données utilise surtout gsiftp  Comme le bon vieux FTP, mais utilise l’authentification grille  Pas de mot de passe !  Peut aussi utiliser des flots multiples pour un transfert plus rapide –RM couvre l’interaction entre gsiftp et le LFC pour faciliter l’instanciation, l’enregistrement et la réplication des données grille Resource Broker –peut envoyer (un petit ensemble) de données aux/depuis les jobs –peut utiliser le LFC pour trouver vos données et les envoyer à votre job, si vos données sont dans le LFC et que vous le spécifiez au RB

10 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200610 Commandes de base du RM (I) Mettre des données sur la grille –Mettre le fichier /home/myhome/toto (de l’ordinateur local) sur le Storage Element leSEchoisi01.in2p3.fr et l’enregistrer avec le nom de fichier logique lfn.test – lcg-cr -d leSEchoisi.in2p3.fr -l lfn:/grid/cms/lfn.test \ --vo egeode file:/home/myhome/toto Storage ElementStorage Element – machine accessible par la grille pour le stockage de données Logical File NameLogical File Name – nom de fichier symbolique avec lequel vous pouvez faire référence à un fichier grille sans préciser sa localisation actuelle La commande ci-dessus retourne le “GUID” : – guid:76373236-b4c7-11d8-bb5e-eba42b5000d0 Global Grid Unique IDLes GUID (Global Grid Unique ID) sont permanents, les LFN non !

11 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200611 Commandes de base du RM (II) Trouvez vos données : la méthode listReplicas (lr) – lcg-lr --vo egeode lfn:/grid/egeode/lfn.test # via LFN  sfn://leSEchoisi.in2p3.fr/grid/egeode/tutorial/dat a/generated/2004-11-10/file7115df45-b4c7-11d8- bb5e-eba42b5000d0 – lcg-lr --vo egeode \ # via GUID guid:76373236-b4c7-11d8-bb5e-eba42b5000d0  sfn://leSEchoisi.in2p3.fr/grid/egeode/tutorial/dat a/generated/2004-11-10/file7115df45-b4c7-11d8- bb5e-eba42b5000d0 “replicas” car quelqu’un (ou un programme) peut faire une copie sur un SE différent – les LFN et GUID font référence à toutes les copies

12 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200612 Commandes de base du RM (III) Trouver l’information concernant le LFC ou le “DMS” (Data Management System) –Comment connaît-on que leSEchoisi.in2p3.fr était un SE ? – lcg-infosites –-vo egeode se  Avail Space(Kb) Used Space(Kb) Type SEs ---------------------------------------------------------- 181360000 73300000 n.a se1.egee.fr.cgg.com 122076 58659616 n.a grid11.lal.in2p3.fr 1 1 n.a grid05.lal.in2p3.fr n.a n.a n.a polgrid2.in2p3.fr 381870000 2838130000 n.a polgrid4.in2p3.fr 1870977288 1594260 n.a cclcgseli01.in2p3.fr 103160000 171880000 n.a sedpm.mrs.grid.cnrs.fr 34253292 753684 n.a barentz.datagrid.jussieu.fr 4112779628 567932436 n.a scaise- 2.scai.fraunhofer.de 80648588 143813576 n.a gridstore.cs.tcd.ie Beaucoup d’autres informations sont affichées –Emplacements des composants du LFC –Emplacements de toutes les ressources

13 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200613 Les données à travers les jobs : données sur votre bureau Vous pouvez définir votre job pour récupérer les données –Le job génère des données dans le répertoire de travail du WN –A la fin du job, les données sont placées dans l’espace de stockage temporaire du RB –Vous les récupérez via “edg-job-get-output” Eléments clé : –Vous devez connaître les noms des fichiers que vous souhaitez récupérer –OutputSandbox = {“higgs.root", “graviton.HDF"}; –Méthode non destinée pour de gros fichiers (> centaine MB)  espace de stockage temporaire limité sur le RB

14 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200614 Les données à travers les jobs : données sur la grille Votre programme génère des données dans un fichier local Le programme doit connaître quel est le nom du fichier local lcg-*Le programme utilise les commandes lcg-* pour : –Mettre les données sur un SE de la grille –Enregistrer les données comme un jeu de données grille Deux options utiles : –Sur quel SE les données doivent-elles être sauvegardées (ou même dans quel répertoire de quel SE !) ?  Par défaut: SE “local” –Un nom de fichier logique.  Par défaut: pas de LFN !

15 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200615 Les données à travers les jobs : données sur la grille Laissez faire le WMS L’attribut OutputData du JDL spécifie où les fichiers doivent aller –si aucun LFN n’est précisé, le WMS en choisit un –si aucun SE n’est précisé, le SE le plus proche est choisi A la fin du job, les fichiers sont effacés du WN et enregistrés Un fichier contenant le résultat de cette opération est créé et ajouté à la sandbox : DSUpload_.out OutputData = { [ OutputFile = “toto.out”; StorageElement = “adc0021.cern.ch”; LogicalFileName = “lfn:/grid/egeode/theBestTotoEver”;], [ OutputFile = “toto2.out”; StorageElement = “adc0021.cern.ch”; LogicalFileName = “lfn:/grid/egeode/theBestTotoEver2”;] };

16 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200616 Soumission de données par le job InputSandboxC’est simple : utiliser le champ InputSandbox Attention : on ne peut pas utiliser ce champ pour de trop grand transfert (plusieurs megabytes) InputSandbox = {“input-ntuple.root“, “job.sh”};InputSandbox = {“input-ntuple.root“, “job.sh”};

17 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200617 Adresser vos données grille à votre job Il faut des données sur la grille == enregistrées dans le LFC Spécifiez les données grille au job (JDL) : –InputData = “lfn:/grid/cms/myfile.dat” Le Resource Broker met des infos concernant la correspondance avec les données dans le fichier.BrokerInfo sur le noeud d’exécution distant Dans le script d’exécution de votre job, utilisez la commande edg-brokerinfo & les commandes lcg-* pour avoir une copie locale du job

18 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200618 Dupliquer les données Vous pouvez dupliquer vos données sur d’autres SE à partir du LFN du fichier – lcg-rep --vo egeode lfn:/grid/egeode/lfn.test\ –d autreSEchoisi.in2p3.fr Si vous listez ces données avec la méthode listReplicas, vous trouvez une nouvelle liste : – sfn://leSEchoisi.cgg.com/grid/egeode/tutorial/d ata/generated/2004-11-10/file7115df45-b4c7- 11d8-bb5e-eba42b5000d0 sfn://autreSEchoisi.in2p3.fr/grid/egeode/tutori al/data/generated/2004-11-10/file3498dg93-h3b6- 38s2-kf7d-ksr38h8379q7

19 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200619 Commandes LFC Le catalogue LFC (LCG File Catalog) présente une arborescence et des commandes façon « système de fichiers » : il est possible de lister les références, de créer une nouvelle arborescence, de faire des liens symboliques… Par défaut, le catalogue utilisé est le catalogue central de la VO.  lcg-infosites –vo egeode lfc retourne le nom du LFC central  lcg-infosites –vo egeode lfcLocal retourne la liste des catalogues locaux de la VO Pour utiliser un catalogue local :  export LFC_HOST=

20 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200620 Commandes LFC Racine de l’arborescence d’un LFC :  /grid/ –on peut stocker cette racine dans la variable LFC_HOME Lister les références :  lfc-ls /grid/egeode/... Créer une nouveau répertoire :  lfc-mkdir /grid/egeode/.../ Autres ex. de commandes :  lfc-ln, lfc-rm, lfc-getacl, lfc-setacl...

21 Enabling Grids for E-sciencE David BouvetTutorial CGG – 07-10/11/200621 Merci