F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 ATLAS Data-Grid au CERN et au CCin2p3 F. Ohlsson-Malek, ISN-Grenoble et ATLAS-France

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 CERN: testbed006 CCin2p3: ccali : /afs/in2p3.fr/toolkit/atlas

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Interface de soumission de job pour la simulation ATLAS (old kit) ######################################### # # Description File : # run atlas simulation program (dice) # sending the datacards to the remote CE # ################################ # author: Silvia Resconi, modified by F. Ohlsson-Malek ###################################################### Executable = "/bin/sh"; Arguments = "run_dice.sh "; StdInput ="dice_bevents.datacards"; StdOutput = "atlas_stdout.log"; StdError = "atlas_stderr.log"; InputSandbox = {"/home/ohlssonmalek/dice/run_dice.sh", "/home/ohlssonmalek/dice/ dice_bevents.datacards","/home/ohlssonmalek/dice/bsjpsieta.P"}; OutputSandbox = {"atlas.his","atlas_stdout.log", "atlas_stderr.log"}; Requirements = other.LRMSType == "PBS" && other.OpSys=="RH 6.2"; #Requirements = member(other.RunTimeEnvironment,"ATLAS-1.3.0") && other.LRMSType == "PBS" && other.OpSys=="RH 6.2"; Rank = other.MaxCpuTime;

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 #!/bin/sh # # set enviroment variables source /opt/atlas/etc/atlas.shrc export ATLAS_DIR=/opt/atlas/1.3.0/applications ln -s $ATLAS_DIR/run_dice/amdb_simrec.data. ln -s $ATLAS_DIR/run_dice/bertaf.dat. ln -s $ATLAS_DIR/run_dice/chetc.dat. ln -s $ATLAS_DIR/run_dice/eurodec.dat. ln -s $ATLAS_DIR/run_dice/fieldmap.dat. ln -s $ATLAS_DIR/run_dice/flukaaf.dat. #ln -s $ATLAS_DIR/run_dice/flukaerr.dat. ln -s $ATLAS_DIR/run_dice/xsneut.dat. # # run dice # run exe with remote datacards $ATLAS_DIR/run_dice/dice.exe echo 'end of execution, list the existing files' ls -l echo 'copy the Zebra.O file to CASTOR‘ (écrire dans CASTOR !!!) rfcp ZEBRA.O /castor/cern.ch/user/f/fmalek/test/grid-0.O run_dice.sh

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 dg-job-list-match dice_bevents.jdl Connecting to host testbed011.cern.ch, port 7771 *************************************************************************** COMPUTING ELEMENT IDs LIST The following CE(s) matching your job requirements have been found: - ccrdli05.in2p3.fr:2119/jobmanager-bqs-A - testbed001.cnaf.infn.it:2119/jobmanager-pbs-workq - lxshare0220.cern.ch:2119/jobmanager-pbs-short - lxshare0220.cern.ch:2119/jobmanager-pbs-long - tbn01.nikhef.nl:2119/jobmanager-pbs-q_72h256mb - tbn01.nikhef.nl:2119/jobmanager-pbs-q_24h256mb - tbn01.nikhef.nl:2119/jobmanager-pbs-q_24h1024mb - gppce05.gridpp.rl.ac.uk:2119/jobmanager-pbs-S - gppce05.gridpp.rl.ac.uk:2119/jobmanager-pbs-M - gppce05.gridpp.rl.ac.uk:2119/jobmanager-pbs-L - grid001.pd.infn.it:2119/jobmanager-lsf-grid01pd *************************************************************************** CERN CCin2p3 NIKHEF RAL INFN

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Job submission dg-job-submit dice_bevents.jdl -resource lxshare0220.cern.ch:2119/jobmanager- pbs-long -o bs.lis which produces this output: Connecting to host testbed011.cern.ch, port 7771 Logging to host testbed011.cern.ch, port ************************************************ JOB SUBMIT OUTCOME The job has been successfully submitted to the Resource Broker. Use dg-job-status command to check job current status. Your job identifier (dg_jobId) is: - ern.ch:7771 ************************************************* dg-job-status -i bs.lis

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Outputs des jobs de simu dg-job-get-output -i bs.lis -dir my_output > bs.log dice]$ cd my_output/ my_output]$ ls my_output]$ cd / ]$ ls -l total rwxrwxr-x 1 ohlssonm ohlssonm Apr 3 09:49 ZEBRA.O -rwxrwxr-x 1 ohlssonm ohlssonm Apr 3 09:49 atlas.his -rwxrwxr-x 1 ohlssonm ohlssonm 0 Apr 3 09:49 atlas_stderr.log -rwxrwxr-x 1 ohlssonm ohlssonm Apr 3 09:49 atlas_stdout.log

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Bilan du test Globalement positif Négatif au niveau des transferts de données si on veut faire des choses sophistiquées Et la suite? Upgade de la release du software 3.2.1, voir Nouveaux tests de simu, reconstruction, transferts de données Intégration des travaux de Data Challenge (DC1?, DC2)

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Quelques commandes utiles de GLOBUS globus-job-run lxshare0220.cern.ch /bin/pwd -> /home/atlas004 globus-job-run lxshare0220.cern.ch /bin/ls /home/atlas etc.... globus-job-run lxshare0220.cern.ch /bin/ls -l /home/atlas004/13519 globus-job-run lxshare0220.cern.ch /bin/rm -rf /home/atlas004/13519 globus-job-run lxshare0220.cern.ch /bin/more /home/atlas004/32239/atlas_stdout.log globus-url-copy  copie des données sur tous les sites distants, puis transfert vers HPSS ou CASTOR à partir des machines qui peuvent les atteindre

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 ATLAS Data Challenge Phase 1: Juillet/août/septembre 2002 Software release Données générées au CERN simulées dans différents sites régionaux kit fast reconstruction et validation localement rapatriés au CERN pour une validation globale HLT TDR en préparation, programme en page: Priorité aux dijets, single particles et quelques canaux de physique du type: H  2 , H  4 , H  4 e, H  2e 2  Au CCin2p3: 10% des besoins en simulation + quelques travaux d’intérêts des labos francais (ressources au CCin2p3 limitées: heures CPU, besoins stockage données excellent) DC1+GRID, tests envisagés Reste le problème des transferts de données (CASTOR, HPSS) !!!!

F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 Phase 2: Novembre/Décembre 2002 Janvier 2003 ? Software release Validation Geant 4, Athena, ATLAST DC2 + GRID sérieusement envisagé Ressouces au CCin2p3 souhaitées beaucoup plus grandes !!! ATLAS Data Challenge