Sample Image GeoAzur – Villefranche-sur-Mer - 29 Mai 2009 Tutorial : Portage d'applications sur la Grille.

Présentation au sujet: "Sample Image GeoAzur – Villefranche-sur-Mer - 29 Mai 2009 Tutorial : Portage d'applications sur la Grille."— Transcription de la présentation:

1 Sample Image GeoAzur – Villefranche-sur-Mer - 29 Mai 2009 Tutorial : Portage d'applications sur la Grille

2 29/05/08 Portage d'une application sur la grille EGEE2 Sommaire Qu'est ce qu'une application Mécanisme sur d'execution sur la grille Gestion des données Références Exemples de job : Mon premier job Job interactif Job SU Job Geocluster Job parallèle Résumé des commandes Application GeoAzur

3 29/05/08 Portage d'une application sur la grille EGEE3 Qu'est qu'une application Entrée(s)Sortie(s) Application (0-n) Interaction(s)

4 Site 1 Site 4 Site …Site n Site 2Site 3 Tiers UI Box 1 WN Requètes WMS CE Réponses/Interactions JDL job SE LFC catalog Mecanisme d'execution sur la grille

5 Exécution détaillé 29/05/08 Portage d'une application sur la grille EGEE

6 Fichier sur la grille 29/05/08 Portage d'une application sur la grille EGEE

7 Kereon

8 G-eclipse 29/05/08 Portage d'une application sur la grille EGEE

9 Possibilité avec EGEE Jobs Sequentiel, Parallel, Interactif, Collection, Parametric,Realtime Flot de jobs : Diagram Acyclique Graph (DAG) Job pilot (DIANE) Applications référencées : – http://appdb.eu-egee.org/ http://appdb.eu-egee.org/ – http://grid.ct.infn.it/egee_applications/ http://grid.ct.infn.it/egee_applications/ Projet RESPECT : http://technical.eu- egee.org/index.php?id=290http://technical.eu- egee.org/index.php?id=290

10 Possibilité avec EGEE Gestion de données File transfer Service : FTS https://twiki.cern.ch/twiki/bin/view/EGEE/FTS https://twiki.cern.ch/twiki/bin/view/EGEE/FTS Meta données : AMGA http://amga.web.cern.ch/amga/ http://amga.web.cern.ch/amga/ Bases de données : GrelC http://grelc.unile.it/home.php http://grelc.unile.it/home.php Encryption : Hydra https://twiki.cern.ch/twiki/bin/view/EGEE/DMEDS https://twiki.cern.ch/twiki/bin/view/EGEE/DMEDS 29/05/08 Portage d'une application sur la grille EGEE

11 29/05/08 Portage d'une application sur la grille EGEE11 Références EGEE : http://www.eu-egee.org http://www.eu-egee.org Documentation utilisateur : https://edms.cern.ch/document/722398/ https://edms.cern.ch/document/722398/ Documentation JDL : https://edms.cern.ch/file/555796/1/EGEE- JRA1-TEC-555796-JDL-Attributes-v0-8.pdf https://edms.cern.ch/file/555796/1/EGEE- JRA1-TEC-555796-JDL-Attributes-v0-8.pdf Documentation MPI Grid : http://www.grid.ie/mpi/wiki http://www.grid.ie/mpi/wiki Utilisation de base de données : GrelC http://grelc.unile.it http://grelc.unile.it Documentation middleware : http://glite.web.cern.ch/glite/documentation/default.asp http://glite.web.cern.ch/glite/documentation/default.asp

12 Pré-requis Avoir un certificat Appartenir à une VO ( EGEODE ) Avoir une application sous Linux (Unix) Avoir une UI accessible Avoir un site accessible Mots clés : voms-proxy*, lcg-infosites

13 Mon premier job Type = "job"; JobType = "normal"; VirtualOrganisation = "egeode"; Executable = "testjob.sh"; StdOutput = "testjob.out"; StdError = "testjob.err"; InputSandbox = {"./testjob.sh"}; OutputSandbox = {"testjob.out","testjob.err"};

14 Job interactif avec glogin Client serveur sur l'ui > glogin -p 21439:84.14.104.247 Dans le repertoire du job : cp `which glogin`. Job : Executable = "glogin"; Arguments = "-r -t -p 21439:84.14.104.247"; InputSandbox ={ "glogin" };

15 Job SU Wrapper script SU : su.sh Liste de fichiers entrées : inputlist.txt Liste de fichiers sorties : outputlist.txt Output : dans un fichier grille dans /grid/egeode/... Job : Type = "job"; JobType = "normal"; VirtualOrganisation = "egeode"; Executable = "su.sh"; Arguments="/grid/egeode/gvetois/sutest anywhere./PSimage_rgb"; StdOutput = "out"; StdError = "err"; InputSandbox = {"PSimage_rgb","su.sh","inputlist.txt","outputlist.txt"}; OutputSandbox = {"out","err","output.txt","su.log"}; MyProxyServer = "myproxy.grif.fr"; Requirements = Member("VO-egeode-SU-3.9",other.GlueHostApplicationSoftwareRunTimeEnvironment);

16 Job parallèle Exemple hello world parallèle JDL parallèle Exécution parallèle ( MPI-TGC ) Exécution Mots clés : JobType=MPICH, wrapper et hook, CpuNumber

17 Job Geocluster Esub : - gsl au jdl - analyse et transfert de fichier - control le létat du job - vérification licence et proxy - exécution local, grille et parallèle 29/05/08 Portage d'une application sur la grille EGEE

18 Résumé des commandes d'identification Max 24h voms-proxy-info voms-proxy-init --voms egeode:/egeode - valid 24:00 Max 7 jours export MYPROXY_SERVER=myproxy.grif.fr myproxy-init -n myproxy-info 33 jours : myproxy-init -s myproxy.grif.fr -d -n -t 48 -c 800 Dans le jdl : MyProxyServer=myproxy.grif.fr;

19 Résumé des commandes de control FonctiongLite Soumettre un job glite-wms-job-submit [-d delegID] [-a] [-o joblist] jdlfile Controller le status du job glite-wms-job-status [-v verbosity] [-i joblist] jobIDs Obtenir des informations détaillé de l'execution glite-wms-job-logging-info [-v verbosity] [-i joblist] jobIDs Collecter les resultats du jobglite-wms-job-output [--dir outdir] [-i joblist] jobIDs Annuler un jobglite-wms-job-cancel [-i joblist] jobID Verification de syntaxe et disponibilité pour a job glite-wms-job-list-match [-d delegID] [-a] jdlfile Deleger un proxy à une autre personne glite-wms-job-delegate-proxy -d delegID

20 Résumé des commandes de gestion de données export LFC_HOST=lfc.egee.fr.cgg.com export LCG_CATALOG_TYPE=lfc Data Replica management : lcg-*[cp,cr,del,rep,gt,sd] File Catalogue Interaction lcg-*[aa,ra,rf,uf,la,lg,lr] File Calalog (MetaData) lfc-* [chmod,chown,delcomment,getacl,ln,mkdir,ren ame,rm,setacl, setcomment,...]

21 Detail lcg-* commandes

22 Détail lfc-* commandes

23 Application GeoAzur Comprehension des scripts Determination des input/output Compilation des binaires Test unitaire Test de different compilateurs et options Ecriture d'un script du workflow Utilisation de gEclipse

24 Compiler 29/05/08 Portage d'une application sur la grille EGEE Quel compilateur : Gcc (4.3.2)/icc (11) gfortran(4.3.2)/ifc(10) Options (32 ou 64bit !) : -O0 (defaut = pas d'optimisation ) -O2,-O3,...-static Profiling code : -pg et gprof Utilisation de bibliothèque mathèmatique : Blas,lapack ( mkl ),...

25 http://www.egee.nesc.ac.uk/schedreg/index.cfm D'autres formations :