Palaiseau Réunion CCIN2P3/LCG 22/07/2004 Distribution des données CMS Distribution des données et préparation de l’analyse Production MC distribuée et.

Slides:



Advertisements
Présentations similaires
CGP2P, école des mines Sous-projet V La participation du LAL au projet CGP2P DataGRID CGP2P.
Advertisements

Etat du site Datagrid à lIPSL 1. sur la machine Amundsen : Installation de linterface Utilisateur (UI) et tests de fonctionnalités réussis Monitoring réseau.
LCG DATAGRID - France 8 Juillet 2002 LCG : LHC Grid computing - qui, quoi, quand, comment ? Quoi ? But : préparer l'infrastructure informatique des 4 expériences.
User Support Sophie Nicoud DataGrid France – CPPM 22/09/02.
Intégration du système de production LHCb sur la DataGRID V. Garonne, CPPM, Marseille Réunion DataGRID France, 13 fv fév
ALICE à l'IPNO Alice France Physique.
Blueberry Team.
Alain Romeyer - 15/06/20041 UMH Machines livrées le 08/04/2005 Configuration choisie (différente des autres sites) : 6 machines SUN Fire V20Z.
Krowten Emagyp Jeu réseau à interaction en temps réel.
Administrative Information Services CERN - Organisation Européenne pour la Recherche Nucléaire 27 nov Swiss Oracle User Group.
Soutenance de stage de fin d’études
1 Grille de calcul et physique des particules Vincent Garonne CPPM, Marseille Novembre 2003 Contenu de la présentation Etat de lart : Grille de calcul.
Introduction au système EVM « Earned Value Management »
Réunion de collaboration du 9-10 Juillet 2008 J.L. Béney 1 Logiciel At  Client-Serveur Tcp/ip de la station autonome  Influence de l'architecture matérielle.
31/01/2001Réunionn WP6-Y. Schutz (SUBATECH) 1 Simulation-Reconstruction ALICE Une application pour le TestBed 0 ?
TSkim Un outil pour découper les arbres ROOT. Introduction De nombreuses expériences de physique stockent leurs données sous forme d’arbres ROOT. Une.
EGEE is a project funded by the European Union under contract IST Noeud de Grille au CPPM.
Réunion LCG-France, 7/4/2008 C.Charlot Acc è s aux donn é es Accès à dCache Problèmes de stageout des fichiers produits sur les WNs  Aussi pour le stagein.
Tivoli Storage Manager
Calcul CMS: bilan CCRC08 C. Charlot / LLR LCGFR, 3 mars 2008.
Calcul CMS: bilan 2008 C. Charlot / LLR LCG-DIR mars 2009.
Mod è le de Calcul CMS C. Charlot / LLR CTDR:
Résumé CHEP 2010 Distributed processing and analysis Grid and cloud middleware Thèmes : 1.
Tier1 at the CC-IN2P3 March Current state at the CC-IN2P3 storage, computation, network...
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
Réunion calcul simulations GIEC/IPCC - Prodiguer Lundi 23 Mars PRODIGUER un noeud français de distribution des données GIEC/IPCC Sébastien Denvil.
Service Challenge 4 – Tests de Débit Bilan pour le Tier-1 LCG-France Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3
Un service de partage de données pour DIET : GDS basé sur JuxMem Mathieu Jan Projet PARIS Lyon, 5 décembre 2003.
19 janvier 2006J-P Meyer1 Revue du projet GRIF  Les enjeux scientifiques (J-P Meyer)  Le calcul au LHC  Les Projet EGEE et LCG  Le projet GRIF  La.
Recapitulatif des sujets abordés Frédérique Chollet Fabio Hernandez Fairouz Malek Réunion LCG-France Tier-2s & Tier-3s Paris, 20 mars 2008.
SC4 ATLAS Ghita Rahal CC-IN2P3 Réunion LCG FRANCE Direction 3 Juillet 2006.
Base de données de construction d’Agata Agata France C.Aufranc, O.Stezowski, 05/06/08.
Calcul et Grille CMS ou comment on extrait les aiguilles de la botte de foin Conseil scientifique LLR 14/10/2010 C. Charlot.
1 - Gestion du projet Initialisation Préparation
Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 1 L’informatique à D0 D0 à FNAL Données du Run II Infrastructure matérielle Stockage/Accès.
Smain Kermiche Reunion D0 France - Strasbourg /11/ Installation du soft de D0 au CCin2p3 Structure du soft /fnal, /d0usr /d0dist Data bases.
D0 côté info D0 à FNAL  Données du RunII  Infrastructure matérielle  Infrasturucture logicielle  Monte Carlo à D0 D0 à Lyon  Production Monte Carlo.
▶ Un niveau maximal de préparation aux réunions ▶ Une productivité accrue de 25 % ▶ Des réunions menées avec un professionnalisme accompli
29 mars 2006J-P Meyer1 Evaluation des besoins en infrastructures et réseau  Evaluation des besoins en infrastructures  Evaluation des besoins réseau.
PetaSky: Expérimentations avec HadoopDB et Hive 1 Amin Mesmoudi.
BaBar France 18/01/2010 Vincent Poireau 1 Page d’aide :
Roadmap opérations Revue fin 2013 Planification 2014 Visio opérations – décembre 2013.
PUGNERE Denis Institut de Physique Nucléaire de Lyon Rencontres LCG-France mai 2013 – LLR Palaiseau.
Développement des templates Quattor de gLite à EMI Guillaume PHILIPPON.
Eric Lançon1 Calcul ATLAS en France Le CAF au PAF * CAF : Calcul Atlas France *Célèbre contrepèterie.
Catalogues de fichiers de données. David Bouvet2 Problématique Possibilité de répliquer les fichiers sur divers SE  nécessité d’un catalogue de fichiers.
1Prod Monte Carlo sur le nuage français La production Monte-Carlo sur le nuage français J.Schwindling CEA / DAPNIA Organisation de la production Monte-Carlo.
11/9/07-PAFL.Poggioli/LAL1/25 Gestion des données : DDM Distributed Data Management Préambule Le modèle ATLAS DDM –Principe, Tests, Suivi, Problèmes Next.
ATLAS et l’analyse au CCIN2P3  Le modèle de calcul de ATLAS  L’analyse à Lyon  Points critiques Avertissement : cette présentation n’est malheureusement.
25/06/20101LCG - France CPPM Marseille L’expérience CMS à GRIF LLR – E.Poly.,Palaiseau: Pascale Hennion Paulo Mora de Freitas Igor Semeniouk Philippe Busson.
Grid au LAL Michel Jouvin LAL / IN2P3
CAF LCG-FRANCE A.Rozanov LCG France 22 Juillet SOMMAIRE Composition CAF DC2 ATLAS Demandes fin 2004.
Biennale du LPNHE 2011, 20/09/ Le projet GRIF-UPMC : évolution et utilisation Liliana Martin Victor Mendoza Frédéric Derue
CMS CCRC08 phase 2 C. Charlot / LLR LCG-DIR juin 2008.
Conclusions (?) Fabio Hernandez Frédérique Chollet Fairouz Malek Réunion Sites LCG-France Annecy, May
C. Charlot, LLR Ecole Polytechnique DC04 CMS Objectif numéro 1: préparation du traitement offline Différent des productions MC précédentes Mise en route.
Projet LCG: Vue d’Ensemble Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3 Rencontre IN2P3/STIC Grenoble, 25.
EGEE is a project funded by the European Union under contract INFSO-RI Copyright (c) Members of the EGEE Collaboration Infrastructure Overview.
Fabio Hernandez Lyon, 9 novembre 2006 LCG-France Tier-1 Réunion de Coordination.
20-mars-2008Eric Lançon1 Activités ATLAS sur le nuage Français Emprunts a K. Bernardet, C. Biscarat, S. Jezequel, G. Rahal.
module SIE depuis 2011 et IAMD depuis l’an dernier ! Gestion de Masse de Données (GMD) Introduction Adrien Coulet
Stratégie technique G. Mathieu – V. Breton. Stratégie vers les fournisseurs de services et de ressources France Grilles2 Jouer le rôle central dans le.
Réunion des utilisateurs de MUST 8 juillet 2011 Bourget du Lac.
CALCUL ATLAS LCG France (CC IN2P3 Lyon) 30 Avril SOMMAIRE Data Challenge 2 (DC2) d’ATLAS Utilisation du CC IN2P3.
05-fevrier-2007Eric Lancon1 ATLAS Bilan Planning 2007.
C. Charlot, Calcul CMS, LCG-DIR, fév 2007 Calcul CMS 2006 TDR de Physique CMS Physics TDR, Volume 1, CERN-LHCC , feb. 2006, 548pp CMS Physics TDR,
Journée Analyse D0, 19 janvier 2004
12 mars 2004, Lyon Reunion CAF F.Chollet 1
DC04 CMS Objectif Status Planning
LUSTRE Integration to SRM
Transcription de la présentation:

Palaiseau Réunion CCIN2P3/LCG 22/07/2004 Distribution des données CMS Distribution des données et préparation de l’analyse Production MC distribuée et données centralisées au CERN accès pour site Tier cas des données de LHC Besoin distribution en vue analyse pour TDR physique (fin 2005) analyse hors CERN définition des données à transférer vers chaque Tier en cours d’élaboration total CMS ~60TB suivant contributions au TDR Planning court terme Réutiliser PHEDEX le système de distribution des datasets utilisés lors de DC04 distribution déjà en cours pour INFN, PIC, FNAL CCIN2P3 prévu fin semaine prochaine

Palaiseau Réunion CCIN2P3/LCG 22/07/2004 Infrastructure nécessaire Organisation Site (SE) eneregistré dans CMS BDII Certificats et enregistrement dans CMS VO Installation software CMS User Interface LCG2-UI Client Oracle Agent de transfert à adapter Storage Element Accès direct à HPSS besoin disk pour flexibilité import des données et analyse actuellement accès /sps disk sous le SE Premiers tests du SE HPSS enabled effectués Local catalog Réutilisation du catalogue mySQL de DC04

Palaiseau Réunion CCIN2P3/LCG 22/07/2004 Datasets CMS Un example: hg03_hzz_4e_m140 Total Hits+MCInfo+Digi+Assoc = 12GB pour 10k évts Digitisation info seulement = 6.8GB pour 10k évts DST = 1.5GB pour 10k évts Structure en fichiers fichiers Hits: ~430MB/1000évts fichiers Digi: ~445MB/1000évts fichiers MCInfo: ~45MB/1000évts Fichiers Assoc: ~250MB/1000évts Fichiers DST: ~150MB/1000évts Fichiers META + Events: taille négligeable Stockage Tous fichiers dans HPSS Fichiers META et Events sur disk en permanence Fichiers data sur disk lors de l’utilisation

Palaiseau Réunion CCIN2P3/LCG 22/07/2004 Conclusion: besoins 2004 Très court terme: infrastructure de transfert dans l’immédiat, utilisation SE setup optimisé par la suite A l’automne: analyse des données software CMS accès données pour ~10-30 utilisateurs PRS CMS relecture principalement DST mais aussi Digis/McInfo essentiellement besoin disk sous le SE et cache HPSS