C. Charlot, LLR Ecole Polytechnique DC04 CMS Objectif numéro 1: préparation du traitement offline Différent des productions MC précédentes Mise en route.

Présentation au sujet: "C. Charlot, LLR Ecole Polytechnique DC04 CMS Objectif numéro 1: préparation du traitement offline Différent des productions MC précédentes Mise en route."— Transcription de la présentation:

1 C. Charlot, LLR Ecole Polytechnique DC04 CMS Objectif numéro 1: préparation du traitement offline Différent des productions MC précédentes Mise en route / définition des Tiers-1 pour le calcul de CMS, pas (seulement) la prod MC Objectif numéro 2: préparation du TDR de physique Tant qu’à faire, données produites utiles pour la physique 80M d’évts fully digitized générés en 2003 pour input au DC (~30 RC involved) ~30M utilisés pour la création des DSTs durant le DC Principal milestone CMS-CCS pour 2004 input très important pour le C-TDR (fin 2004) test en vraie grandeur du traitement distribué des données de LHC différents outils testés

2 C. Charlot, LLR Ecole Polytechnique DC04 CMS Prévu de longue date, initialement pour 02/2004 Préparation des données input en 2003 ~ 2 mois (seulement) de préparation intense Durée = 2 mois => fin aujourd’hui ! Éléments du test Software de production de DST Full dataset ou streamed L1Dieg, L1DiMu, L1jetEm, L1Jets,.. Également DSTsevents partiels: EcalCali, DTCalib Production des DTS au Tier-0 au T0 Distribution en temps réel des DSTs (et MetaData) vers les Tiers-1 Analyse en temps quasi-réel des DSTs aux Tier-1

3 C. Charlot, LLR Ecole Polytechnique Bilan provisoire Caveat:en cours évaluation CPT week en mai Publications CHEP en prépareation Néanmoins, quelques conclusions CMS Organisation, mise en place fructueuse d’un testbeam pour le traitement des données offline de LHC Collaboration CMS, IT, développeurs LCG, SRB Incluant également de façon forte les Tiers-1, leur infrastructure et leur support,.. Production DSTs fonctionnelle Succès technique, néanmoins beaucoup de bug => pas pour la physique Distribution temps réel OK ~ 250k files distribués aux 6 Tiers-1, 25HZ atteints

4 C. Charlot, LLR Ecole Polytechnique Bilan distribution Trois systèmes de transfert testés SE (PIC, CNAF), SRM(FNAL), SRB(RAL, CCIN2P3, FZK) 1 Export Buffer pour chaque système au Tier-0 SE LCG-2 a bien fonctionné difficulté au début mais amélioration au cours du run PIC et CNAF ont réussi à opérer l’interface castor SRB n‘a pas bien fonctionné cf. après Difficulté avec le RLS très lent au début, nombreuses amélioration en cours au total maintenant ~1,4M entrées Mcat SRB synchronisé avec le RLS par GMcat

5 C. Charlot, LLR Ecole Polytechnique Bilan SRB En cours évaluation, mais déjà quelques éléments Beaucoup de difficultés avec le MCat à RAL nombreux arrêts, ~50% life time pb support, nouvel admin 1 semaine avant la fin Commandes SRB Pb de fiabilité beaucoup de commandes donnant rc=0 même en cas d’echec Pb efficacité API beaucoup plus efficace, en cours de test actuellement i.e. pour les commandes RM de LCG Pb configuration au CERN? en cours investigation Choix important pour DC05 CMS continuera d’utiliser SRB pour la prod. qui reprend si SRB, passe probablememnt par une interface SRM/SRB

6 C. Charlot, LLR Ecole Polytechnique Bilan CCIN2P3 Transfert SRB ~110k files transférés, 3TB, ~1 file/min en moyenne pics à ~100Mbps obtenus (16Sget en //), malheureusement pas de façon continue et régulière dû aux pbs avec SRB agent de transfert robuste maintenant, tourne depuis ~1 semaine en continu sans aucun pb quelques interruptions ccbbsn04 mais rares manque nouvelle machine n’a pas été bloquant mais prévoir meilleure synchronisation pour DC05 excellent support du CC (merci à Jean-Yves) Stockage HPSS A bien fonctionné un seul arrêt ~90k files migrés dan HPSS par l’agent de migration fichiers petits! (30MB en moyenne mais taille entre 0.1MB et 200MB)

7 C. Charlot, LLR Ecole Polytechnique Bilan CCIN2P3 Monitoring Installation/configuration de MonaLisa sur serveur dédié aide précieuse de Thomas Monitoring des jobs BQS (cmsf) Monitoring du trafic Lyon-CERN Pb semble-t-il avec notre version de glibc Catalogue POOL local (MySQL) et analyse pb POOL et RH72.xx du CC utilisation de ccali13 indispensable publication des DSTs dans catalogue local running jobs de relecture en préparation