C. Charlot, LLR Ecole Polytechnique DC04 CMS Objectif numéro 1: préparation du traitement offline Différent des productions MC précédentes Mise en route.

Slides:



Advertisements
Présentations similaires
SRB (Storage Resource Broker)
Advertisements

A L I M E N T A T I O N A G R I C U L T U R E E N V I R O N N E M E N T PhpMyGI une interface générique mysql Interface générique ? Pourquoi une interface.
Etat du site Datagrid à lIPSL 1. sur la machine Amundsen : Installation de linterface Utilisateur (UI) et tests de fonctionnalités réussis Monitoring réseau.
LCG DATAGRID - France 8 Juillet 2002 LCG : LHC Grid computing - qui, quoi, quand, comment ? Quoi ? But : préparer l'infrastructure informatique des 4 expériences.
Intégration du système de production LHCb sur la DataGRID V. Garonne, CPPM, Marseille Réunion DataGRID France, 13 fv fév
NFE 107 : Urbanisation et architecture des systèmes d'information
Nouveau système de courriel à la FMSS
Page 1 Exploitation SSALTO/CMA second semestre 2008 © Connaître aujourdhui, mieux vivre demain MH de Launay/ C. Schgounn - Novembre 2008.
Krowten Emagyp Jeu réseau à interaction en temps réel.
Soutenance de stage de fin d’études
Réunion de collaboration du 9-10 Juillet 2008 J.L. Béney 1 Logiciel At  Client-Serveur Tcp/ip de la station autonome  Influence de l'architecture matérielle.
SU PENDANT LS1 DAY - DATABASE. Christophe Podevin| SU pendant LS1 day| | EDMS XXXXXXX | page 2 Equipe Christophe (50% sur Forms, data et coordination.
Un serveur de données au format ROOT.
Adam & Dev’ Développeur de Solutions Informatiques.
TSkim Un outil pour découper les arbres ROOT. Introduction De nombreuses expériences de physique stockent leurs données sous forme d’arbres ROOT. Une.
Software engineering, data stores and databases CHEP 2010 Andres Gomez Casanova CC-IN2P3 Storage Team.
Réunion LCG-France, 7/4/2008 C.Charlot Acc è s aux donn é es Accès à dCache Problèmes de stageout des fichiers produits sur les WNs  Aussi pour le stagein.
Calcul CMS: bilan CCRC08 C. Charlot / LLR LCGFR, 3 mars 2008.
Calcul CMS: bilan 2008 C. Charlot / LLR LCG-DIR mars 2009.
CMS ATLAS LHCb CERN Tier 0 Centre at CERN National Centres Lab a Russia Lab c Uni n Lab b Manno Canada Uni y Uni x Tier3 physics department  Ge  Germany.
Mod è le de Calcul CMS C. Charlot / LLR CTDR:
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
Supervision à distance d’une ligne de conditionnement temps réel 16/12/20101INSA de LYON - H4201.
Service Challenge 4 – Tests de Débit Bilan pour le Tier-1 LCG-France Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 ATLAS Data-Grid au CERN et au CCin2p3 F. Ohlsson-Malek, ISN-Grenoble et ATLAS-France.
Production DC2 ATLAS David Bouvet LHC Calcul 22 juillet 2004.
Palaiseau Réunion CCIN2P3/LCG 22/07/2004 Distribution des données CMS Distribution des données et préparation de l’analyse Production MC distribuée et.
L’environnement Labo : Laboratoire de Physique des Particules d’Annecy-le vieux: LAPP (PP, Astro) Effectif du labo : 144 personnes Nombre d’IT : 76 dont.
Recapitulatif des sujets abordés Frédérique Chollet Fabio Hernandez Fairouz Malek Réunion LCG-France Tier-2s & Tier-3s Paris, 20 mars 2008.
SC4 ATLAS Ghita Rahal CC-IN2P3 Réunion LCG FRANCE Direction 3 Juillet 2006.
ATLAS Ghita Rahal CC-IN2P3 Novembre 9, /6/2006Réunion CAF2 Activités Création et externalisation d’outils de monitoring de l’état du T1 (CPU,
LHCb DC06 status report (LHCb Week, 13/09/06) concernant le CC : –Site currently fine / stable 3% of simulatated events 30% of reconstructed events –Site.
HEPIX N. Neyroud 1.
Calcul et Grille CMS ou comment on extrait les aiguilles de la botte de foin Conseil scientifique LLR 14/10/2010 C. Charlot.
Calcul pour le spatial & le CC-IN2P3 Jean-Yves Nief (CC-IN2P3)
D0 côté info D0 à FNAL  Données du RunII  Infrastructure matérielle  Infrasturucture logicielle  Monte Carlo à D0 D0 à Lyon  Production Monte Carlo.
29 mars 2006J-P Meyer1 Evaluation des besoins en infrastructures et réseau  Evaluation des besoins en infrastructures  Evaluation des besoins réseau.
GFD–Gestion des frais de déplacements
Retour d'expérience de l'utilisation du cloud comme infrastructure de service Guillaume PHILIPPON.
BaBar France 18/01/2010 Vincent Poireau 1 Page d’aide :
Roadmap opérations Revue fin 2013 Planification 2014 Visio opérations – décembre 2013.
Bilan 2012, perspectives 2013 Conseil de Groupement – 21/2/2013 V. Breton La grandeur des actions humaines se mesure à l’inspiration qui les fait naître.
BABAR Georges Vasseur CEA Saclay, DSM/IRFU/SPP Workshop sur l’analyse des données au centre de calcul de Lyon 17 avril 2008.
Migration du système de sauvegarde d’une infrastructure locale à un système centralisé IN2P3 101/06/2016 HEPIX Spring 2013 Muriel Gougerot (LAPP) and Remi.
Eric Lançon1 Calcul ATLAS en France Le CAF au PAF * CAF : Calcul Atlas France *Célèbre contrepèterie.
PROJET DE SESSION DANS LE CADRE DU COURS: SCG Réalisation d’applications en SIG PRÉSENTÉ PAR: Marie-Andrée Levesque 18 AVRIL 2006.
04/06/20151J-P Meyer GRIF-10ans déjà! ( )
Mercredi 1er juin 2016 Panorama sur les outils de monitoring Cyril L’Orphelin David Bouvet.
Opérations France-Grilles : Etat des lieux Hélène Cordier/Gilles Mathieu LCG France, 30 Mai 2011.
1Prod Monte Carlo sur le nuage français La production Monte-Carlo sur le nuage français J.Schwindling CEA / DAPNIA Organisation de la production Monte-Carlo.
11/9/07-PAFL.Poggioli/LAL1/25 Gestion des données : DDM Distributed Data Management Préambule Le modèle ATLAS DDM –Principe, Tests, Suivi, Problèmes Next.
Pierre Girard LCG France 2011 Strasbourg, May 30th-31th, 2010 Activité et nouvelles du CCIN2P3 Tier-1.
Grid au LAL Michel Jouvin LAL / IN2P3
CAF LCG-FRANCE A.Rozanov LCG France 22 Juillet SOMMAIRE Composition CAF DC2 ATLAS Demandes fin 2004.
Biennale du LPNHE 2011, 20/09/ Le projet GRIF-UPMC : évolution et utilisation Liliana Martin Victor Mendoza Frédéric Derue
CMS CCRC08 phase 2 C. Charlot / LLR LCG-DIR juin 2008.
6-7 Octobre 2008J-P MEYER1 Conclusions du groupe de travail thématique 7 Physique subatomique: - physique des particules, - physique nucléaire, - astroparticules.
Conclusions (?) Fabio Hernandez Frédérique Chollet Fairouz Malek Réunion Sites LCG-France Annecy, May
Projet LCG: Vue d’Ensemble Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3 Rencontre IN2P3/STIC Grenoble, 25.
EGEE is a project funded by the European Union under contract INFSO-RI Copyright (c) Members of the EGEE Collaboration Infrastructure Overview.
Fabio Hernandez Lyon, 9 novembre 2006 LCG-France Tier-1 Réunion de Coordination.
CAF-11/10/2010Luc1 Squad Report T1 Période 13/09-11/10 Irena, Sabine, Emmanuel.
20-mars-2008Eric Lançon1 Activités ATLAS sur le nuage Français Emprunts a K. Bernardet, C. Biscarat, S. Jezequel, G. Rahal.
module SIE depuis 2011 et IAMD depuis l’an dernier ! Gestion de Masse de Données (GMD) Introduction Adrien Coulet
Mercredi 22 juin 2016 Suivi des jobs grille Colloque LCG France Mars 2007.
Stratégie technique G. Mathieu – V. Breton. Stratégie vers les fournisseurs de services et de ressources France Grilles2 Jouer le rôle central dans le.
CALCUL ATLAS LCG France (CC IN2P3 Lyon) 30 Avril SOMMAIRE Data Challenge 2 (DC2) d’ATLAS Utilisation du CC IN2P3.
C. Charlot, Calcul CMS, LCG-DIR, fév 2007 Calcul CMS 2006 TDR de Physique CMS Physics TDR, Volume 1, CERN-LHCC , feb. 2006, 548pp CMS Physics TDR,
Vue d'ensemble de l'utilisation du CCIN2P3 par les expériences LHC
DC04 CMS Objectif Status Planning
Transcription de la présentation:

C. Charlot, LLR Ecole Polytechnique DC04 CMS Objectif numéro 1: préparation du traitement offline Différent des productions MC précédentes Mise en route / définition des Tiers-1 pour le calcul de CMS, pas (seulement) la prod MC Objectif numéro 2: préparation du TDR de physique Tant qu’à faire, données produites utiles pour la physique 80M d’évts fully digitized générés en 2003 pour input au DC (~30 RC involved) ~30M utilisés pour la création des DSTs durant le DC Principal milestone CMS-CCS pour 2004 input très important pour le C-TDR (fin 2004) test en vraie grandeur du traitement distribué des données de LHC différents outils testés

C. Charlot, LLR Ecole Polytechnique DC04 CMS Prévu de longue date, initialement pour 02/2004 Préparation des données input en 2003 ~ 2 mois (seulement) de préparation intense Durée = 2 mois => fin aujourd’hui ! Éléments du test Software de production de DST Full dataset ou streamed L1Dieg, L1DiMu, L1jetEm, L1Jets,.. Également DSTsevents partiels: EcalCali, DTCalib Production des DTS au Tier-0 au T0 Distribution en temps réel des DSTs (et MetaData) vers les Tiers-1 Analyse en temps quasi-réel des DSTs aux Tier-1

C. Charlot, LLR Ecole Polytechnique Bilan provisoire Caveat:en cours évaluation CPT week en mai Publications CHEP en prépareation Néanmoins, quelques conclusions CMS Organisation, mise en place fructueuse d’un testbeam pour le traitement des données offline de LHC Collaboration CMS, IT, développeurs LCG, SRB Incluant également de façon forte les Tiers-1, leur infrastructure et leur support,.. Production DSTs fonctionnelle Succès technique, néanmoins beaucoup de bug => pas pour la physique Distribution temps réel OK ~ 250k files distribués aux 6 Tiers-1, 25HZ atteints

C. Charlot, LLR Ecole Polytechnique Bilan distribution Trois systèmes de transfert testés SE (PIC, CNAF), SRM(FNAL), SRB(RAL, CCIN2P3, FZK) 1 Export Buffer pour chaque système au Tier-0 SE LCG-2 a bien fonctionné difficulté au début mais amélioration au cours du run PIC et CNAF ont réussi à opérer l’interface castor SRB n‘a pas bien fonctionné cf. après Difficulté avec le RLS très lent au début, nombreuses amélioration en cours au total maintenant ~1,4M entrées Mcat SRB synchronisé avec le RLS par GMcat

C. Charlot, LLR Ecole Polytechnique Bilan SRB En cours évaluation, mais déjà quelques éléments Beaucoup de difficultés avec le MCat à RAL nombreux arrêts, ~50% life time pb support, nouvel admin 1 semaine avant la fin Commandes SRB Pb de fiabilité beaucoup de commandes donnant rc=0 même en cas d’echec Pb efficacité API beaucoup plus efficace, en cours de test actuellement i.e. pour les commandes RM de LCG Pb configuration au CERN? en cours investigation Choix important pour DC05 CMS continuera d’utiliser SRB pour la prod. qui reprend si SRB, passe probablememnt par une interface SRM/SRB

C. Charlot, LLR Ecole Polytechnique Bilan CCIN2P3 Transfert SRB ~110k files transférés, 3TB, ~1 file/min en moyenne pics à ~100Mbps obtenus (16Sget en //), malheureusement pas de façon continue et régulière dû aux pbs avec SRB agent de transfert robuste maintenant, tourne depuis ~1 semaine en continu sans aucun pb quelques interruptions ccbbsn04 mais rares manque nouvelle machine n’a pas été bloquant mais prévoir meilleure synchronisation pour DC05 excellent support du CC (merci à Jean-Yves) Stockage HPSS A bien fonctionné un seul arrêt ~90k files migrés dan HPSS par l’agent de migration fichiers petits! (30MB en moyenne mais taille entre 0.1MB et 200MB)

C. Charlot, LLR Ecole Polytechnique Bilan CCIN2P3 Monitoring Installation/configuration de MonaLisa sur serveur dédié aide précieuse de Thomas Monitoring des jobs BQS (cmsf) Monitoring du trafic Lyon-CERN Pb semble-t-il avec notre version de glibc Catalogue POOL local (MySQL) et analyse pb POOL et RH72.xx du CC utilisation de ccali13 indispensable publication des DSTs dans catalogue local running jobs de relecture en préparation