ALICE Data Challenge Rappel sur l’environnement logiciel

Slides:



Advertisements
Présentations similaires
Environmental Data Warehouse Cemagref, UR TSCF, TR MOTIVE 2011 – projet Miriphyque.
Advertisements

LCG DATAGRID - France 8 Juillet 2002 LCG : LHC Grid computing - qui, quoi, quand, comment ? Quoi ? But : préparer l'infrastructure informatique des 4 expériences.
Calcul CMS: bilan CCRC08 C. Charlot / LLR LCGFR, 3 mars 2008.
Calcul CMS: bilan 2008 C. Charlot / LLR LCG-DIR mars 2009.
BENCHMARK JOBS Marie-Laure Rivier – January 2015.
Tier1 at the CC-IN2P3 March Current state at the CC-IN2P3 storage, computation, network...
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
Tache 1 Construction d’un simulateur. Objectifs Disposer d’un simulateur d’une population présentant un déséquilibre de liaison historique, afin d’évaluer.
Eric Lançon1 Calcul ATLAS en France Le CAF au PAF * CAF : Calcul Atlas France *Célèbre contrepèterie.
CAF-11/10/2010Luc1 Squad Report T1 Période 13/09-11/10 Irena, Sabine, Emmanuel.
20-mars-2008Eric Lançon1 Activités ATLAS sur le nuage Français Emprunts a K. Bernardet, C. Biscarat, S. Jezequel, G. Rahal.
05-fevrier-2007Eric Lancon1 ATLAS Bilan Planning 2007.
Réunion OPERA 06/04/2010 Florian Brunet. Rappel : Electron WG meeting du 30/03/2010 ◦ Complément sur OpEmuIO Etudes de digits du MC à grands angles A.
Fabio HERNANDEZ Responsable Grid Computing Centre de Calcul de l'IN2P3 - Lyon Lyon, 30 avril 2004 Déploiement LCG-2 au CC-IN2P3 Etat d’avancement.
CNRS GRID-FR CA Sophie Nicoud
INFSO-RI Enabling Grids for E-sciencE Statistiques d'usage d'un site de la grille LCG/EGEE Emmanuel Medernach, IN2P3 LPC.
PERFORMANCE One important issue in networking is the performance of the network—how good is it? We discuss quality of service, an overall measurement.
C. Charlot, Calcul CMS, LCG-DIR, fév 2007 Calcul CMS 2006 TDR de Physique CMS Physics TDR, Volume 1, CERN-LHCC , feb. 2006, 548pp CMS Physics TDR,
IP Multicast Text available on
Update on Edge BI pricing January ©2011 SAP AG. All rights reserved.2 Confidential What you told us about the new Edge BI pricing Full Web Intelligence.
IGTMD réunion du 4 Mai 2007 CC IN2P3 Lyon
IDL_IDL bridge The IDL_IDLBridge object class allows an IDL session to create and control other IDL sessions, each of which runs as a separate process.
GENIUS – GANGA Alternative à la CLI
l y a which we have already learned means “there is/are l y a which we have already learned means “there is/are.” When we put a measure of time.
Réunion Analyse D0 France au CCIN2P3 19 janvier 2004
C. Loomis (LAL-Orsay) Tutorial EGEE Utilisateur (LAL) 2 février 2007
Réunion service Instrumentation Activités CMS-Traces
Vue d'ensemble de l'utilisation du CCIN2P3 par les expériences LHC
GRIF : Grille pour la Recherche en
ATLAS Computing model et utilisation de LCG
12 mars 2004, Lyon Reunion CAF F.Chollet 1
Projet eXtreme DataCloud XDC
Surveillance des services grille par NAGIOS
Fonctionnement de la grille
Activités présentes et à venir
Etat des lieux des VO Boxes LHC
2ème coloque LCG-France
Statut du T2 Île de France
- User case - 3D curve length optimization
Statistics & Econometrics Statistics & Econometrics Statistics & Econometrics Statistics & Econometrics Statistics & Econometrics Statistics & Econometrics.
LCG-France Tier-1 & AF Réunion mensuelle de coordination
Exercices: Système d’Information
Les centres d’analyse: introduction
Résumé de la réunion PAF-CAF 12/04/2010
Overview %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
F RIENDS AND FRIENDSHIP Project by: POPA BIANCA IONELA.
1 ISO/TC 176/SC 2/N1219 ISO 9001:2015 Revision overview - General users July 2014.
High-Availability Linux Services And Newtork Administration Bourbita Mahdi 2016.
La grille EGEE dans le monde et à Orsay
Qu’est-ce que tu as dans ta trousse?
Infrastructure Opérationnelle d’EGEE
Introduction à la Grille
Information available in a capture history
Forum national sur l’IMT de 2004.
Introduction à GENIUS et GILDA
Vulnerability Analysis by : Wail Belhouchet Dr Djouad Tarek 1.
Global Challenge Capteur de nuit Leçon 2.
Infrastructure Opérationnelle d’EGEE2
DC04 CMS Objectif Status Planning
beam charge measurements
BRMS Implementation Status Update Template designed by 18-July-2015.
POWERPOINT PRESENTATION FOR INTRODUCTION TO THE USE OF SPSS SOFTWARE FOR STATISTICAL ANALISYS BY AMINOU Faozyath UIL/PG2018/1866 JANUARY 2019.
LUSTRE Integration to SRM
LCG – France et ALICE Bilan 2006 Planning fevrier 2007
University : Ammar Telidji Laghouat Faculty : Technology Department : Electronics 3rd year Telecommunications Professor : S.Benghouini Student: Tadj Souad.
Comité Scientifique GRIF
CRCINA : Histoire et Géographie
INS Tunisia, Towards a fully SDMX compliant Information system
M’SILA University Information Communication Sciences and technology
Transcription de la présentation:

ALICE Data Challenge Rappel sur l’environnement logiciel État d’avancement Implication du CC Besoins ALICE en 2008 30/04/2004 YS/ALICE

AliEn Core Components & services Une GRILLE minimale Utiliser les éléments de base de la GRILLE émergeant dans le domaine public Architecture modulaire permet d’un remplacer l’un quelconque des éléments 95% du code provient du domaine public, 5% de développement propre (…) DBI DBD RDBMS (MySQL) LDAP Commands Packages V.O. & Perl Core Perl Modules Libraries External File & Metadata Catalogue SOAP/XML CE SE Logger Database Proxy Authentication RB User Interface ADBI Config Mgr Package Web Portal User Application API (C/C++/perl) CLI GUI AliEn Core Components & services Interfaces External software Low level High level FS 30/04/2004 YS/ALICE

Analyse: AliEn + ROOT / PROOF ? provides: Analysis Macro Input Files Query for Input Data new TAliEnAnalysis Object USER produces List of Input Data + Locations Job Splitting Job Submission IO Object 1 for Site A IO Object 2 for Site A IO Object 1 for Site BI IO Object 1 for Site C Job Object 1 for Site A Job Object 2 for Site A Job Object 1 for Site B Job Object 1 for Site C Execution Histogram Merging Tree Chaining 30/04/2004 YS/ALICE Results:

Objectif des DC de Physique Period (milestone) Fraction of the final capacity (%) Physics Objective 06/01-12/01 1% pp studies, reconstruction of TPC and ITS 06/02-12/02 5% First test of the complete chain from simulation to reconstruction for the PPR Simple analysis tools Digits in ROOT format 01/04-06/04 10% Complete chain used for trigger studies Prototype of the analysis tools Comparison with parameterised MonteCarlo Simulated raw data 01/06-06/06 20% Test of the final system for reconstruction and analysis 30/04/2004 YS/ALICE

Production de données brutes Stratégie de PDC4 AliEn job control Data transfert Production de données brutes CERN Transfert au CERN Reconstruction dans T1’s Analyse Tier2 Tier1 Tier1 Tier2 30/04/2004 YS/ALICE

Génération d’événements Signal-free event Mixed signal 30/04/2004 YS/ALICE

Soumission de tâches: AliEn, Genius & EDG/LCG User submits jobs Server Alien CE LCG UI Alien CEs/SEs LCG RB LCG CEs/SEs Catalog Catalog LCG PFN LCG LFN = AliEn PFN LCG LFN 30/04/2004 YS/ALICE

Short history Jan 03: Requirements for ALICE PDC04 presented to PEB End Dec 03: Announcement of LCG-2 by mid February 2004 Beg Jan 04: Decision to delay PDC04 by one month waiting for LCG-2 Beg Jan 04: LCG announces that there will be no SE in LCG-2 Beg Feb 04: The WAN resources allocated by LCG for data storage are insufficient/inadequate Mid Feb 04: Development of an ALICE solution, developed in haste and working against all odds! End Feb 04: IT has also come up with a solution responding to a CMS requirement 30/04/2004 YS/ALICE

Short history End Feb 04: Production started, new sites being added End Feb 04: Tape vault flooded -- our tapes have been spared Beg Mar 04: castor nameserver has to be reinstalled (running on Linux 6.2) Beg Mar 04: castor servers have to be reinstalled for security Beg Mar 04: LCG RB works differently on the different centres. e.g. CNAF has to be switched on and off by hand, otherwise it “swallows” all the jobs! Beg Mar 04: we are obtaining now close to 10 TB, 30 were promised by LCG on 1/1/04 Mid Mar 04: Files on the IT-suggested pool are erased before being copied on tape, accident now corrected Apr 04: Reached (hqrd wired) limits of CASTOR 30/04/2004 YS/ALICE

CPU speed x time LCG sites (48,115 GHz*s) Statistics du PDC4 CPU speed x time non LCG sites (40,244 GHz*s) CPU speed x time LCG sites (48,115 GHz*s) 30/04/2004 YS/ALICE

Considérations La prochaine fois nous commencerons six mois à l’avance LCG fournit beaucoup de ressources CPU Seulement après de nombreuses interactions entre ALICE et LCG (répartition de charge peu efficace, manque de stabilité) Et malgré l’absence de SE Les relations avec LCG sont généralement bonnes LCG et soucieux de fournir les services Mais manque de préparation évident malgré que les besoins du DC aient été annoncés longtemps à l’avance La prochaine fois nous commencerons six mois à l’avance 30/04/2004 YS/ALICE

… et le CC Le CC n’a pas intégré LCG … seul ALiEn permet d’accéder à ses ressources. Il a fallu beaucoup (trop) de discussions pour obtenir un minimum de services dont la pérennité n’est pas garantie (cf accès machine dédiée). La contribution du CC en termes de ressources CPU est bien trop faible au vue des ressources affichées. Max Jobs running:  202 jobs. Average Jobs running:  34 jobs. Current Jobs running:  0 jobs. Max Jobs in queue:  228 jobs. Average Jobs in queue:  19 jobs. Current Jobs in queue:  30/04/2004 YS/ALICE

Ressources requises par ALICE 30/04/2004 YS/ALICE

Ressources d’un Tier1 (moyenne) Hypothèses: Tier-1s contribuent à la reconstruction, simulation et analyse Tier-1s contribuent pour 45% des besoins globaux Nombre de Tier-1s = 3 (France, Allemagne, Italie), On s’attend à des différences d’un Tie1 à l’autre CPU 3 MSI2K Disque 1 PB Stockage permanent Bande passante vers CERN 140 MB/s 30/04/2004 YS/ALICE

Ressources disponibles en 2008 (estimation) CPU MSI2K DISK TB TAPE TB FRANCE (Lyon) 1.5 150 600 GERMANY (FZK) 2 200 700 ITALY (CNAF +Tier-2s) 4.5 1400 Info de Denis Linglin du 22/4/04 Info de Holger Marten du 22/4/04 Info de Alberto Masoni du 22/4/04 (à confirmer) 30/04/2004 YS/ALICE