ALICE Data Challenge Rappel sur l’environnement logiciel

Présentation au sujet: "ALICE Data Challenge Rappel sur l’environnement logiciel"— Transcription de la présentation:

1 ALICE Data Challenge Rappel sur l’environnement logiciel
État d’avancement Implication du CC Besoins ALICE en 2008 30/04/2004 YS/ALICE

2 AliEn Core Components & services
Une GRILLE minimale Utiliser les éléments de base de la GRILLE émergeant dans le domaine public Architecture modulaire permet d’un remplacer l’un quelconque des éléments 95% du code provient du domaine public, 5% de développement propre (…) DBI DBD RDBMS (MySQL) LDAP Commands Packages V.O. & Perl Core Perl Modules Libraries External File & Metadata Catalogue SOAP/XML CE SE Logger Database Proxy Authentication RB User Interface ADBI Config Mgr Package Web Portal User Application API (C/C++/perl) CLI GUI AliEn Core Components & services Interfaces External software Low level High level FS 30/04/2004 YS/ALICE

3 Analyse: AliEn + ROOT / PROOF
? provides: Analysis Macro Input Files Query for Input Data new TAliEnAnalysis Object USER produces List of Input Data + Locations Job Splitting Job Submission IO Object 1 for Site A IO Object 2 for Site A IO Object 1 for Site BI IO Object 1 for Site C Job Object 1 for Site A Job Object 2 for Site A Job Object 1 for Site B Job Object 1 for Site C Execution Histogram Merging Tree Chaining 30/04/2004 YS/ALICE Results:

4 Objectif des DC de Physique
Period (milestone) Fraction of the final capacity (%) Physics Objective 06/01-12/01 1% pp studies, reconstruction of TPC and ITS 06/02-12/02 5% First test of the complete chain from simulation to reconstruction for the PPR Simple analysis tools Digits in ROOT format 01/04-06/04 10% Complete chain used for trigger studies Prototype of the analysis tools Comparison with parameterised MonteCarlo Simulated raw data 01/06-06/06 20% Test of the final system for reconstruction and analysis 30/04/2004 YS/ALICE

5 Production de données brutes
Stratégie de PDC4 AliEn job control Data transfert Production de données brutes CERN Transfert au CERN Reconstruction dans T1’s Analyse Tier2 Tier1 Tier1 Tier2 30/04/2004 YS/ALICE

6 Génération d’événements
Signal-free event Mixed signal 30/04/2004 YS/ALICE

7 Soumission de tâches: AliEn, Genius & EDG/LCG
User submits jobs Server Alien CE LCG UI Alien CEs/SEs LCG RB LCG CEs/SEs Catalog Catalog LCG PFN LCG LFN = AliEn PFN LCG LFN 30/04/2004 YS/ALICE

8 Short history Jan 03: Requirements for ALICE PDC04 presented to PEB
End Dec 03: Announcement of LCG-2 by mid February 2004 Beg Jan 04: Decision to delay PDC04 by one month waiting for LCG-2 Beg Jan 04: LCG announces that there will be no SE in LCG-2 Beg Feb 04: The WAN resources allocated by LCG for data storage are insufficient/inadequate Mid Feb 04: Development of an ALICE solution, developed in haste and working against all odds! End Feb 04: IT has also come up with a solution responding to a CMS requirement 30/04/2004 YS/ALICE

9 Short history End Feb 04: Production started, new sites being added
End Feb 04: Tape vault flooded -- our tapes have been spared Beg Mar 04: castor nameserver has to be reinstalled (running on Linux 6.2) Beg Mar 04: castor servers have to be reinstalled for security Beg Mar 04: LCG RB works differently on the different centres. e.g. CNAF has to be switched on and off by hand, otherwise it “swallows” all the jobs! Beg Mar 04: we are obtaining now close to 10 TB, 30 were promised by LCG on 1/1/04 Mid Mar 04: Files on the IT-suggested pool are erased before being copied on tape, accident now corrected Apr 04: Reached (hqrd wired) limits of CASTOR 30/04/2004 YS/ALICE

10 CPU speed x time LCG sites (48,115 GHz*s)
Statistics du PDC4 CPU speed x time non LCG sites (40,244 GHz*s) CPU speed x time LCG sites (48,115 GHz*s) 30/04/2004 YS/ALICE

11 Considérations La prochaine fois nous commencerons six mois à l’avance
LCG fournit beaucoup de ressources CPU Seulement après de nombreuses interactions entre ALICE et LCG (répartition de charge peu efficace, manque de stabilité) Et malgré l’absence de SE Les relations avec LCG sont généralement bonnes LCG et soucieux de fournir les services Mais manque de préparation évident malgré que les besoins du DC aient été annoncés longtemps à l’avance La prochaine fois nous commencerons six mois à l’avance 30/04/2004 YS/ALICE

12 … et le CC Le CC n’a pas intégré LCG … seul ALiEn permet d’accéder à ses ressources. Il a fallu beaucoup (trop) de discussions pour obtenir un minimum de services dont la pérennité n’est pas garantie (cf accès machine dédiée). La contribution du CC en termes de ressources CPU est bien trop faible au vue des ressources affichées. Max Jobs running:  202 jobs. Average Jobs running:  34 jobs. Current Jobs running:  0 jobs. Max Jobs in queue:  228 jobs. Average Jobs in queue:  19 jobs. Current Jobs in queue:  30/04/2004 YS/ALICE

13 Ressources requises par ALICE
30/04/2004 YS/ALICE

14 Ressources d’un Tier1 (moyenne)
Hypothèses: Tier-1s contribuent à la reconstruction, simulation et analyse Tier-1s contribuent pour 45% des besoins globaux Nombre de Tier-1s = 3 (France, Allemagne, Italie), On s’attend à des différences d’un Tie1 à l’autre CPU 3 MSI2K Disque 1 PB Stockage permanent Bande passante vers CERN 140 MB/s 30/04/2004 YS/ALICE

15 Ressources disponibles en 2008 (estimation)
CPU MSI2K DISK TB TAPE TB FRANCE (Lyon) 1.5 150 600 GERMANY (FZK) 2 200 700 ITALY (CNAF +Tier-2s) 4.5 1400 Info de Denis Linglin du 22/4/04 Info de Holger Marten du 22/4/04 Info de Alberto Masoni du 22/4/04 (à confirmer) 30/04/2004 YS/ALICE