GANGA/DIANE Mohammed AIRAJ CEA/IRFU EGEEIII/NA4

Présentation au sujet: "GANGA/DIANE Mohammed AIRAJ CEA/IRFU EGEEIII/NA4"— Transcription de la présentation:

1 GANGA/DIANE Mohammed AIRAJ CEA/IRFU EGEEIII/NA4
Tutorial Grille (LCG/EGEE) IPNO, 08/07/2009

2 EGEE/NA4 Méthodologie (GASuc): Contact Pré-sélection Analyse Planning
Document Revue interne Prototypage Tests Execution Dissémination et « feedback »

3 RESPECT Tools GridWay metascheduler P-GRADE Portal GANGA DIANE i2login GReIC Grid Application Platform (GAP)

4 GANGA

5 GANGA Framework de soumission/gestion de jobs
Utilisé en production par les expériences ATLAS et LHCb Interface utilisable : en ligne de commande CLIP (CLI/interpréteur Python) comme API Python pour lancer des scripts via l’interface graphique

6 “configure once, run anywhere”
GANGA “configure once, run anywhere”

7 GANGA : Job Objet Gestion de jobs orientés sur les grosses productions
Interface de plus haut niveau que le WMS, s’interface avec le WMS Générique. Gestionnaire de pilot jobs (Atlas/PANDA, LHCb/DIRAC) Gère une queue centrale de jobs à effectuer pour la VO Soumet un job « générique » qui vérifie l’environnement et lance l’exécution d’un job utile uniquement si les prérequis sont réunis Augmente l’efficacité dans les grosses productions Forte diminution des jobs en erreurs

8 GANGA Ce qu’on peut faire avec Ganga :
Un Job peut s’exécuter localement, ou sur un nombre de batch systems (LSF, PBS, …), ou sur la grille Interaction avec tous les systèmes de backends de manière similaire soumission, suppression, suivi des jobs Configuration des applications facile et transparente par rapport aux backends durant les différentes phases de l’application (debugging, test, production)

9 GANGA historique des jobs sauvegarde cohérente des sorties des jobs
Organisation du travail : historique des jobs sauvegarde cohérente des sorties des jobs réutilisation de la configuration de jobs précédents Open source project : Architecture Modulaire Extensible Mature et stable

10 GANGA

11 Download, Install & Configure
Install & Download Ganga Download : $ wget Install : $ python ganga-install \ --prefix=/usr/local/ganga \ --extern=GangaGUI,GangaPlotter Configure Ganga $~/.gangarc : [LCG] GLITE_ENABLE = True [Configuration] Config=$GLITE_LOCATION/etc/vo.irfu.cea.fr/glite_wms.conf gangadir = /home/mairaj/gangadir

12 Launch Launch Ganga

13 CLIP/Hello Word #1 Hello World Locally j = Job() j.backend=Local()
j.submit() #2 Hello World on Nordu Grid j.backend=NG() #3 Hello World on EGEE j.backend=LCG()

14 CLIP/Hello World

15 CLIP/Hello World Job().submit() soumission et exécution du job localement Job.(backend=LCG()).submit() soumission et exécution du job sur LCG jobs browse l’history des jobs j = jobs(1) récupérer le permier job de la liste history job j details du job J= jobs(n).copy().submit() copie et soumission du job(n) Job(n).kill Job(n).remove

16 Ganga CLIP/Script $cat myscript.sh #!/bin/sh echo "Hello ${1} !"
echo $HOSTNAME cat /proc/cpuinfo | grep 'model name‘ cat /proc/meminfo | grep 'MemTotal' echo "Run on `date`" $ganga In [5]:!chmod +x myscript.sh In [6]:j = Job() In [7]:j.application = Executable() In[8]:j.application.exe = File('myscript.sh') In [9]:j.application.args = [‘IPNO'] In [10]:j.backend=Local() In [11]:j.submit()

17 model name : QEMU Virtual CPU version 091 MemTotal: 515516 kB
Ganga CLIP/Output In [12]: j.peek(‘stdout’,’cat’) Hello IPNO ! node15.datagrid.cea.fr model name : QEMU Virtual CPU version 091 MemTotal: kB Run on lun jui 6 13:59:17 CEST 2009

18 GANGA GUI [mairaj@node15 ~]$ ganga --gui
Your identity: /O=GRID-FR/C=FR/O=CEA/OU=IRFU/CN=Mohammed Airaj (Passphrase) *** Welcome to Ganga ***Version: Ganga-5-1-9

19 GANGA GUI/EXEC

20 GANGA GUI/ARGS

21 GANGA GUI/Middleware

22 GANGA GUI/Submit

23 GANGA GUI/Output

24 GANGA/DIANE

25 GANGA/DIANE DIANE : DIstributed ANalysis Environment
Framework pour le calcul parallèl basé sur un modèle Master/Workers Basé sur Ganga

26 GANGA/DIANE Exécution de workflows complexes Exécution automatique
Interactivité Modulaire Forte diminution des jobs en erreurs

27 GANGA/DIANE->HelloWorld
Exemple

28 GANGA/DIANE->Script

29 GANGA/DIANE->Run

30 GANGA/DIANE->Output

31 GANGA/DIANE GUI [mairaj@node15 ~]$ ganga --gui
*** Welcome to Ganga ***Version: Ganga-5-1-9

32 Développement de GANGA
Ganga is supported by HEP Support for development work Core team: FBrochu (Cambridge), UEgede (Imperial), J Elmsheuser (Munich), KHarrison (Cambridge), HCLee (ASGC Taipei), DLiko (CERN), AMaier (CERN), JTMoscicki (CERN), AMuraru (Bucharest), WReece (Imperial), ASoroko (Oxford), CLTan (Birmingham)

33 REFERENCES Ganga Tutorial :
tCCIN2P3  Diane Tutorial ial EGEEIII/NA4 Application Porting Support tingSupport