Télécharger la présentation
La présentation est en train de télécharger. S'il vous plaît, attendez
1
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 ATLAS Data-Grid au CERN et au CCin2p3 F. Ohlsson-Malek, ISN-Grenoble et ATLAS-France
2
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 CERN: testbed006 CCin2p3: ccali : /afs/in2p3.fr/toolkit/atlas
3
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002
4
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002
5
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002
6
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Interface de soumission de job pour la simulation ATLAS (old kit) ######################################### # # Description File : # run atlas simulation program (dice) # sending the datacards to the remote CE # ################################ # author: Silvia Resconi, modified by F. Ohlsson-Malek ###################################################### Executable = "/bin/sh"; Arguments = "run_dice.sh "; StdInput ="dice_bevents.datacards"; StdOutput = "atlas_stdout.log"; StdError = "atlas_stderr.log"; InputSandbox = {"/home/ohlssonmalek/dice/run_dice.sh", "/home/ohlssonmalek/dice/ dice_bevents.datacards","/home/ohlssonmalek/dice/bsjpsieta.P"}; OutputSandbox = {"atlas.his","atlas_stdout.log", "atlas_stderr.log"}; Requirements = other.LRMSType == "PBS" && other.OpSys=="RH 6.2"; #Requirements = member(other.RunTimeEnvironment,"ATLAS-1.3.0") && other.LRMSType == "PBS" && other.OpSys=="RH 6.2"; Rank = other.MaxCpuTime;
7
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 #!/bin/sh # # set enviroment variables source /opt/atlas/etc/atlas.shrc export ATLAS_DIR=/opt/atlas/1.3.0/applications ln -s $ATLAS_DIR/run_dice/amdb_simrec.data. ln -s $ATLAS_DIR/run_dice/bertaf.dat. ln -s $ATLAS_DIR/run_dice/chetc.dat. ln -s $ATLAS_DIR/run_dice/eurodec.dat. ln -s $ATLAS_DIR/run_dice/fieldmap.dat. ln -s $ATLAS_DIR/run_dice/flukaaf.dat. #ln -s $ATLAS_DIR/run_dice/flukaerr.dat. ln -s $ATLAS_DIR/run_dice/xsneut.dat. # # run dice # run exe with remote datacards $ATLAS_DIR/run_dice/dice.exe echo 'end of execution, list the existing files' ls -l echo 'copy the Zebra.O file to CASTOR‘ (écrire dans CASTOR !!!) rfcp ZEBRA.O /castor/cern.ch/user/f/fmalek/test/grid-0.O run_dice.sh
8
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 dg-job-list-match dice_bevents.jdl Connecting to host testbed011.cern.ch, port 7771 *************************************************************************** COMPUTING ELEMENT IDs LIST The following CE(s) matching your job requirements have been found: - ccrdli05.in2p3.fr:2119/jobmanager-bqs-A - testbed001.cnaf.infn.it:2119/jobmanager-pbs-workq - lxshare0220.cern.ch:2119/jobmanager-pbs-short - lxshare0220.cern.ch:2119/jobmanager-pbs-long - tbn01.nikhef.nl:2119/jobmanager-pbs-q_72h256mb - tbn01.nikhef.nl:2119/jobmanager-pbs-q_24h256mb - tbn01.nikhef.nl:2119/jobmanager-pbs-q_24h1024mb - gppce05.gridpp.rl.ac.uk:2119/jobmanager-pbs-S - gppce05.gridpp.rl.ac.uk:2119/jobmanager-pbs-M - gppce05.gridpp.rl.ac.uk:2119/jobmanager-pbs-L - grid001.pd.infn.it:2119/jobmanager-lsf-grid01pd *************************************************************************** CERN CCin2p3 NIKHEF RAL INFN
9
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Job submission dg-job-submit dice_bevents.jdl -resource lxshare0220.cern.ch:2119/jobmanager- pbs-long -o bs.lis which produces this output: Connecting to host testbed011.cern.ch, port 7771 Logging to host testbed011.cern.ch, port 15830 ************************************************ JOB SUBMIT OUTCOME The job has been successfully submitted to the Resource Broker. Use dg-job-status command to check job current status. Your job identifier (dg_jobId) is: - https://testbed011.cern.ch:7846/137.138.181.253/15534672652804?testbed011.c ern.ch:7771 ************************************************* dg-job-status -i bs.lis
10
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Outputs des jobs de simu dg-job-get-output -i bs.lis -dir my_output > bs.log [ohlssonmalek@testbed006 dice]$ cd my_output/ [ohlssonmalek@testbed006 my_output]$ ls 114828293019425 114926317125555 [ohlssonmalek@testbed006 my_output]$ cd 114828293019425/ [ohlssonmalek@testbed006 114828293019425]$ ls -l total 296804 -rwxrwxr-x 1 ohlssonm ohlssonm 300477600 Apr 3 09:49 ZEBRA.O -rwxrwxr-x 1 ohlssonm ohlssonm 2711552 Apr 3 09:49 atlas.his -rwxrwxr-x 1 ohlssonm ohlssonm 0 Apr 3 09:49 atlas_stderr.log -rwxrwxr-x 1 ohlssonm ohlssonm 420671 Apr 3 09:49 atlas_stdout.log
11
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Bilan du test Globalement positif Négatif au niveau des transferts de données si on veut faire des choses sophistiquées Et la suite? Upgade de la release du software 3.2.1, voir 4.0.0 Nouveaux tests de simu, reconstruction, transferts de données Intégration des travaux de Data Challenge (DC1?, DC2)
12
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Quelques commandes utiles de GLOBUS globus-job-run lxshare0220.cern.ch /bin/pwd -> /home/atlas004 globus-job-run lxshare0220.cern.ch /bin/ls /home/atlas004 13519 etc.... globus-job-run lxshare0220.cern.ch /bin/ls -l /home/atlas004/13519 globus-job-run lxshare0220.cern.ch /bin/rm -rf /home/atlas004/13519 globus-job-run lxshare0220.cern.ch /bin/more /home/atlas004/32239/atlas_stdout.log globus-url-copy copie des données sur tous les sites distants, puis transfert vers HPSS ou CASTOR à partir des machines qui peuvent les atteindre
13
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 ATLAS Data Challenge Phase 1: Juillet/août/septembre 2002 Software release 3.2.1 Données générées au CERN simulées dans différents sites régionaux kit fast reconstruction et validation localement rapatriés au CERN pour une validation globale HLT TDR en préparation, programme en page: http://m.home.cern.ch/m/mwielers/www/productions_new.html Priorité aux dijets, single particles et quelques canaux de physique du type: H 2 , H 4 , H 4 e, H 2e 2 Au CCin2p3: 10% des besoins en simulation + quelques travaux d’intérêts des labos francais (ressources au CCin2p3 limitées: 50000 heures CPU, besoins stockage données excellent) DC1+GRID, tests envisagés Reste le problème des transferts de données (CASTOR, HPSS) !!!!
14
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Phase 2: Novembre/Décembre 2002 Janvier 2003 ? Software release 4.0.0 Validation Geant 4, Athena, ATLAST DC2 + GRID sérieusement envisagé Ressouces au CCin2p3 souhaitées beaucoup plus grandes !!! ATLAS Data Challenge
Présentations similaires
