Patrice Lebrun - D0-France - Lyon

Présentation au sujet: "Patrice Lebrun - D0-France - Lyon"— Transcription de la présentation:

1 Patrice Lebrun - D0-France - Lyon
Production MC Patrice Lebrun 26/05/04 Patrice Lebrun - D0-France - Lyon

2 Simulation MC au CCIN2P3 (production privée)
Documentation à l’URL : Interface à mc_runjob $THRONG_DIR/info_data/mcp14/mcrun_tools_v tar.gz mc_runjob version v ( version ‘current’ v !! ) exemples de macros pour les différents jobs : génération, génération + filtre , d0gstar, d0sim, d0reco, d0sim+d0reco, concaténation des TMBs Edition des macros : SubmitMC.py ./SubmitMC.py –help pour voir la liste des options Questions/comments/remarks to the author !! Product=mc_runjob Version=v Flavor=NULL Qualifiers="" Chains=current,development,test Product=mc_runjob Version=v Flavor=NULL Qualifiers="" Chain="" 26/05/04 Patrice Lebrun - D0-France - Lyon

3 Gestion des Productions MC: Neter
Interface python utilise une database oracle le lien avec mc_runjob se fait par l’intermédiaire de la commande suivante: Administrateur (Tibor Kurca, Patrice Lebrun) Besoin de cobayes et faire une doc par la même occasion , des volontaires ? Faire des réunions spécifiques sur ce point $MC_RUNJOB_DIR/jobscripts/mc_jobscript.py -ccin2p3 -jobname=<jobname> -macro=<macropath> -runjobvers=v06_02_08 Cette commande ci-dessus crée un script qui peut être soumis en batch. L ’option -submit=<command> peut aussi être ajoutée pour soumettre directement ce script 26/05/04 Patrice Lebrun - D0-France - Lyon

4 Patrice Lebrun - D0-France - Lyon
Releases vs Tarball StandardD0 (macro) tarball sélectionné avec la valeur 0 Releases setup D0RunII <release> Tarball Contient uniquement les exécutables, RCP … nécessaires Chemin donnée par les variables d ’environnement SRT_LOCAL et SRT_DIST def setSrt(self,phase,type): self.setMCprodPath(type) self.srt_local=self.mcprod_dir+"/"+phase+"-dist" self.srt_dist=self.srt_local+"/mcc-dist" os.environ['SRT_LOCAL']=self.srt_local os.environ['SRT_DIST']=self.srt_dist print "SRT_LOCAL=%s" % os.environ['SRT_LOCAL'] print "SRT_DIST=%s" % os.environ['SRT_DIST'] 26/05/04 Patrice Lebrun - D0-France - Lyon

5 NETER: Gestion locale des jobs et des fichiers au ccin2p3
Tables oracle Requêtes informations générales sur le tache à faire et comment la faire. Descriptions des jobs par type et dépendance informations pour BQS informations pour les jobs (nombre d’événements, macro, script de soumission …) Etats des jobs (peut être le résultat d’un transfert de fichier) les jobs eux même mettent à jour cette table Informations sur les fichiers localisation taille, nombre d ’événements SAM (déclaration, transfert à Fnal … logfiles, metadata Autres tables sam, administration, archivage ... 26/05/04 Patrice Lebrun - D0-France - Lyon

6 Gestion des jobs et des fichiers au ccin2p3 (suite)
Exemple de commandes (environ 60 commandes) neter addRequest --filename=<fichier python> le fichier python est un descriptif de la requête (très pratique) neter format crée les entrées dans la table des jobs avec leur inter-dépendance à partir des informations entrées dans la table des requêtes neter submit Soumet tous les jobs pour lesquels les jobs dont ils dépendent se sont terminés sans erreur et tient compte des informations trouvées dans la table d ’administration. Neter cleanErrors permet de nettoyer les disques des fichiers produits par les jobs qui se sont terminés en erreur neter declare, neter store, ... declare à SAM les fichiers produits, stockage des fichiers à FNAL 26/05/04 Patrice Lebrun - D0-France - Lyon

7 Statistiques, remarques sur NETER
Database Neter ~ fichiers enregistrés dont environ 6200 « capturés » (5.6%) à partir de la liste des fichiers contenus dans le cache de HPSS (non connus de la DB). 100 MB d ’informations stockées à ce jour Déjà utiliser pour « nettoyer » HPSS (environ 20 To) 67 TB de fichiers stockés dans HPSS 51.5 TB sont « connus » de NETER Neter n ’est pas encore mis à la dispostion de tous les utilisateurs (reste à faire) NETER pourra être utilisé pour la: Gestion de l ’espace des disques semi-permanents Production MC privés, analyses ... 26/05/04 Patrice Lebrun - D0-France - Lyon

8 Patrice Lebrun - D0-France - Lyon
ccd0% cat Request_ py from import_classes import * datatier='reconstructed' appfamily=AppFamily('reconstruction','p ','d0reco') dict={ 'Simulated':{ 'keepparticlecalenergy':'off', 'geometry':'plate', }, 'Reconstructed':{ 'frameworkrcpname':'runD0reco_mc.rcp', 'Global':{ 'runtype':'Monte Carlo', 'stream':'notstreamed', 'description':'stdhep_extern-Z+1j_mumu+1j_run4.3', 'producedforname':'muanza', 'phase':'mcp14', 'groupname':'dzero', 'Generated':{ 'pdflibfunc':'cteq5l', 'cardfiledir':'higgs', 'etalt':'+4.2', 'kinmasslt':'-1.0', 'etagt':'-4.2', 'production':'gam-z', 'kinmassgt':'500.0', 'ptgt':'0.0', 'ptlt':'-1.0', 'collisionenergy':'1960.0', 'decay':'bb', 'generator':'pythia', 'multiplepartoninteractions':'on', 'cardfileversion':'v ', 'Digitized':{ 'calorimeternoise':'on', 'mergeminbias':'on', 'minbiopt':'poisson', 'numminbi':'0.8', } Exemples (1) Repertoires $THRONG_DIR/MCProd/Metadata/Oracle/Template/mcp14/Request_ py Fichier Request_ py décrit les paramètres pour le MC neter addRequest --filename=$PWD/Request_ py permet la création de la requête dans la DB. Attention le path complet doit être donné ! (Pb à résoudre) 26/05/04 Patrice Lebrun - D0-France - Lyon

9 Patrice Lebrun - D0-France - Lyon
jobsdescription={ 'bbftp':{ 'numrecords':'25000', 'status':'formatted', 'refjobtype':'', }, 'd0gstar':{ 'numrecords':'500', 'refjobtype':'bbftp', 'macro':'d0gstar.macro', 'bqsarg':'-p g=12', 'cputime':' ', 'batchqueue':'T', 'tape':'', 'tapeseq':'', 'info':'', 'subfunction':'submitMC', 'd0reco':{ 'refjobtype':'d0gstar', 'macro':'d0simreco.macro', 'bqsarg':'-l M=1GB -p g=13', 'cputime':'200000', 'subfunction':'submitMC' 'thumb':{ 'numrecords':'12500', 'refjobtype':'d0reco', 'macro':'merger.macro', 'bqsarg':'-p g=15 -l M=512MB,scratch=2050MB', 'cputime':'50000', 'batchqueue':'G', 'merge':'thumb' } Exemples (2) Informations locales: local_request_ ccd0% cat local_Request_ py from import_classes import * validJobType=['d0gstar','d0reco','d0sim','gen','recoanalyze','d0trig','thumb','bbftp'] requestid= refphysid=30 processid=0 location='cchpssd0.in2p3.fr:/hpss/in2p3.fr/group/d0/mc_prod/mcp14' metadatapath='/afs/in2p3.fr/throng/d0/MCProd/Metadata/Oracle/mcp14' adminphysid=[ ['lebrun','no','ok'], ['kurca','no','ok'], ['d0prod','no','no'] ] saminfos={ 'bbftp':'locate', 'd0gstar':'locate', 'd0sim':'declare', 'd0reco':'store', 'thumb':'declare', 'mrg':'store' } ... 26/05/04 Patrice Lebrun - D0-France - Lyon

10 Patrice Lebrun - D0-France - Lyon
Exemple (3) ccd0% cat d0simreco.macro #MiniDB StandardD0 SaveOnMake LinkerOption farm=ccin2p3 LinkerOption RelativeDestDir LinkerOption RelativeCurrDir attach samglobal cfg samglobal define int UniquenessLevel 3 cfg samglobal define string Phase <phase> #cfg samglobal define string RequestID <requestid> cfg samglobal define string RunType Monte Carlo cfg samglobal define string Stream notstreamed cfg samglobal define string Description <description> cfg samglobal define string ProducedByName lebrun cfg samglobal define string OriginName ccin2p3 cfg samglobal define string FacilityName ccin2p3-<requestid> cfg samglobal define string DestinationDir ./dest cfg samglobal define string ProducedForName <producedforname> cfg samglobal define string GroupName <groupname> cfg samglobal define string JobName <jobname> cfg samglobal define string CurrentDir . attach runjob_ccin2p3 cfg runjob_ccin2p3 define string RunOption RunExec cfg runjob_ccin2p3 define string CopyBackDir <copybackdir> cfg runjob_ccin2p3 define string CopyBackContent partial attach filestream cfg filestream define string SingleInputFile <inputfilename> # # Read in list of filenames cfg filestream make filelist #cfg filestream make nextfile ... attach d0sim cfg d0sim define string MinBiD ataset /afs/in2p3.fr/throng/d0/info_data/mcp14/overlapset_mcp14 _cteq5l_tuneA_simulated cfg d0sim define string MinBiDir null cfg d0sim define string MergeMinBias on cfg d0sim define string MinBiOpt Poisson cfg d0sim define string CalorimeterNoise on … attach d0reco # attach and configure d0reco cfg d0reco define string D0Release p cfg d0reco define string LinkToRundata on cfg d0reco define int UseMaxopt 1 cfg d0reco define string FrameworkRCPName runD0reco_mc.rcp cfg d0reco define int NumRecords <numrecords> attach relocator cfg relocator define string CopyMode d0rfcp cfg relocator define string TargetNode cchpssd0 cfg relocator define string TargetDir <targetdir> cfg relocator RegisterFile d0reco::OutputFileName cfg relocator RegisterFile d0reco::ThumbName repeat 1 reset chain cfg filestream make nextfile make job save print script cfg runjob_ccin2p3 run end Macro Template 26/05/04 Patrice Lebrun - D0-France - Lyon

11 Interface Web (php) Steve1 est le type de production entré dans la DB physid requestid 26/05/04 Patrice Lebrun - D0-France - Lyon

12 Patrice Lebrun - D0-France - Lyon
Web suite ... Langage PHP Erreurs SAM 26/05/04 Patrice Lebrun - D0-France - Lyon

13 Application : NETER utilisée pour le reprocessing des données
Désynchronise les différentes étapes du reprocessing: améliore l’efficacité car chaque étape n’est pas directement tributaire de la précédente mais demande de l ’espace de stockage (HPSS) Transfert des fichiers à reprocesser SAM + BBFTP à FNAL A partir d ’un ensemble de « dataset, » copie les DST dans HPSS au ccin2p3 Déclaration à SAM et à NETER de la localisation HPSS des fichiers Procédure automatique de mise à jour de NETER à partir de SAM Soumissions des jobs neter submit chaque job met à jour NETER (jobname, status, metadata, statistique …) Déclaration à SAM des fichiers produits et transfert à FNAL des mDST neter declare neter store Archivage des logfiles (nettoyage des disques) neter archiveLogfiles neter archiveMetadata 26/05/04 Patrice Lebrun - D0-France - Lyon

14 Patrice Lebrun - D0-France - Lyon
Jobs en classe V D0declar 1 seul job obligatoirement sur ccwall01 déclaration dans SAM des fichiers chkFiles 1 seul job (plusieurs possibles) Mise à jour de Neter à partir des infos données par SAM Divers vérifications Archivages .. D0survey 1 par utilisateur soumission des jobs user jobname status time worker cputime prio lebrun d0declar RUNNING /18-11:40 V.ccwall / lebrun chkFiles RUNNING /18-11:46 V.ccwalk / lebrun d0survey RUNNING /24-09:33 V.ccwali / 26/05/04 Patrice Lebrun - D0-France - Lyon

15 Patrice Lebrun - D0-France - Lyon
Fermi News Février 2004 SAM+Runjob SAM+Runjob SAM+Runjob SAM+Runjob Neter SAM+Runjob Nombre de CPU juste suffisant pour suivre le transfert des fichiers 26/05/04 Patrice Lebrun - D0-France - Lyon

16 Patrice Lebrun - D0-France - Lyon
Merci à: Michel Installation et adaptation de mc_runjob Laurent, Smaïn installation des releases Tibor suivi de la production MC 26/05/04 Patrice Lebrun - D0-France - Lyon