Sample Image GeoAzur – Villefranche-sur-Mer - 29 Mai 2009 Tutorial : Portage d'applications sur la Grille

29/05/08 Portage d'une application sur la grille EGEE2 Sommaire Qu'est ce qu'une application Mécanisme sur d'execution sur la grille Gestion des données Références Exemples de job : Mon premier job Job interactif Job SU Job Geocluster Job parallèle Résumé des commandes Application GeoAzur

29/05/08 Portage d'une application sur la grille EGEE3 Qu'est qu'une application Entrée(s)Sortie(s) Application (0-n) Interaction(s)

Site 1 Site 4 Site …Site n Site 2Site 3 Tiers UI Box 1 WN Requètes WMS CE Réponses/Interactions JDL job SE LFC catalog Mecanisme d'execution sur la grille

Exécution détaillé 29/05/08 Portage d'une application sur la grille EGEE

Fichier sur la grille 29/05/08 Portage d'une application sur la grille EGEE

Kereon

G-eclipse 29/05/08 Portage d'une application sur la grille EGEE

Possibilité avec EGEE Jobs Sequentiel, Parallel, Interactif, Collection, Parametric,Realtime Flot de jobs : Diagram Acyclique Graph (DAG) Job pilot (DIANE) Applications référencées : – – Projet RESPECT : egee.org/index.php?id=290http://technical.eu- egee.org/index.php?id=290

Possibilité avec EGEE Gestion de données File transfer Service : FTS Meta données : AMGA Bases de données : GrelC Encryption : Hydra /05/08 Portage d'une application sur la grille EGEE

29/05/08 Portage d'une application sur la grille EGEE11 Références EGEE : Documentation utilisateur : Documentation JDL : JRA1-TEC JDL-Attributes-v0-8.pdf JRA1-TEC JDL-Attributes-v0-8.pdf Documentation MPI Grid : Utilisation de base de données : GrelC Documentation middleware :

Pré-requis Avoir un certificat Appartenir à une VO ( EGEODE ) Avoir une application sous Linux (Unix) Avoir une UI accessible Avoir un site accessible Mots clés : voms-proxy*, lcg-infosites

Mon premier job Type = "job"; JobType = "normal"; VirtualOrganisation = "egeode"; Executable = "testjob.sh"; StdOutput = "testjob.out"; StdError = "testjob.err"; InputSandbox = {"./testjob.sh"}; OutputSandbox = {"testjob.out","testjob.err"};

Job interactif avec glogin Client serveur sur l'ui > glogin -p 21439: Dans le repertoire du job : cp `which glogin`. Job : Executable = "glogin"; Arguments = "-r -t -p 21439: "; InputSandbox ={ "glogin" };

Job SU Wrapper script SU : su.sh Liste de fichiers entrées : inputlist.txt Liste de fichiers sorties : outputlist.txt Output : dans un fichier grille dans /grid/egeode/... Job : Type = "job"; JobType = "normal"; VirtualOrganisation = "egeode"; Executable = "su.sh"; Arguments="/grid/egeode/gvetois/sutest anywhere./PSimage_rgb"; StdOutput = "out"; StdError = "err"; InputSandbox = {"PSimage_rgb","su.sh","inputlist.txt","outputlist.txt"}; OutputSandbox = {"out","err","output.txt","su.log"}; MyProxyServer = "myproxy.grif.fr"; Requirements = Member("VO-egeode-SU-3.9",other.GlueHostApplicationSoftwareRunTimeEnvironment);

Job parallèle Exemple hello world parallèle JDL parallèle Exécution parallèle ( MPI-TGC ) Exécution Mots clés : JobType=MPICH, wrapper et hook, CpuNumber

Job Geocluster Esub : - gsl au jdl - analyse et transfert de fichier - control le létat du job - vérification licence et proxy - exécution local, grille et parallèle 29/05/08 Portage d'une application sur la grille EGEE

Résumé des commandes d'identification Max 24h voms-proxy-info voms-proxy-init --voms egeode:/egeode - valid 24:00 Max 7 jours export MYPROXY_SERVER=myproxy.grif.fr myproxy-init -n myproxy-info 33 jours : myproxy-init -s myproxy.grif.fr -d -n -t 48 -c 800 Dans le jdl : MyProxyServer=myproxy.grif.fr;

Résumé des commandes de control FonctiongLite Soumettre un job glite-wms-job-submit [-d delegID] [-a] [-o joblist] jdlfile Controller le status du job glite-wms-job-status [-v verbosity] [-i joblist] jobIDs Obtenir des informations détaillé de l'execution glite-wms-job-logging-info [-v verbosity] [-i joblist] jobIDs Collecter les resultats du jobglite-wms-job-output [--dir outdir] [-i joblist] jobIDs Annuler un jobglite-wms-job-cancel [-i joblist] jobID Verification de syntaxe et disponibilité pour a job glite-wms-job-list-match [-d delegID] [-a] jdlfile Deleger un proxy à une autre personne glite-wms-job-delegate-proxy -d delegID

Résumé des commandes de gestion de données export LFC_HOST=lfc.egee.fr.cgg.com export LCG_CATALOG_TYPE=lfc Data Replica management : lcg-*[cp,cr,del,rep,gt,sd] File Catalogue Interaction lcg-*[aa,ra,rf,uf,la,lg,lr] File Calalog (MetaData) lfc-* [chmod,chown,delcomment,getacl,ln,mkdir,ren ame,rm,setacl, setcomment,...]

Detail lcg-* commandes

Détail lfc-* commandes

Application GeoAzur Comprehension des scripts Determination des input/output Compilation des binaires Test unitaire Test de different compilateurs et options Ecriture d'un script du workflow Utilisation de gEclipse

Compiler 29/05/08 Portage d'une application sur la grille EGEE Quel compilateur : Gcc (4.3.2)/icc (11) gfortran(4.3.2)/ifc(10) Options (32 ou 64bit !) : -O0 (defaut = pas d'optimisation ) -O2,-O3,...-static Profiling code : -pg et gprof Utilisation de bibliothèque mathèmatique : Blas,lapack ( mkl ),...

D'autres formations :