15/10/2003ALICE/Yves Schutz1 ALICE Lenvironnement logiciel ALICE & EDG (LCG) « Physics Data Challenge » 2004 Ressources et outils

15/10/2003ALICE/Yves Schutz2 Lenvironnement logiciel AliRoot Utilisateur Simulation, Reconstruction, Calibration, Analyse C++ ROOT Système GUI Persistent ES Libs Utilitaires C++ World Interfaces & Environnement de calcul distribué anything Super! Je nai quà apprendre le C++ HEP use cases: Simulation & Reconstruction Mélange dévénements Analyse

15/10/2003ALICE/Yves Schutz3 Lenvironnement logiciel AliRoot C++: 400kLOC + 225kLOC (générés) + macros: 77kLOC FORTRAN: 13kLOC (ALICE) + 914kLOC (paquets externes) SAV Linux (toute version!), HP-UX, DEC Unix, Solaris, MacOSX, Intel Itanium Marche également avec compilateur icc de Intel Deux paquets à installer (ROOT+AliRoot) + MCs Édition de lien moins de 1 second (libs partagées) Téléchargement et make (makefile non-récursif) AliEn 25kLOC PERL5 (ALICE) ~2MLOC en majorité PERL5 (open source) Installé dans 50 sites par les physiciens >50 utilisateurs développent AliRoot partie détecteurs 30% développés par une équipe regroupée au CERN

15/10/2003ALICE/Yves Schutz4 Lenvironnement THRONG_DIR offline Root (HEAD) GEANT3 (HEAD) AliRoot (HEAD) AliEn (HEAD) alien (install) AliEn_ packages AliRoot (versions) Root (versions) Développements Production Max 4 Go; aujourdhui 81% 256Mo140Mo2.1Go10.1Ko223Mo ~400Mo/version

15/10/2003ALICE/Yves Schutz5 Lenvironnement GROUP_DIR: 1 partition 8Go, dont aujourdhui 70% utilisés Attribution par utilisateurs + tempo schutz … tempo

15/10/2003ALICE/Yves Schutz6 cchpssalice:/hpss/in2p3.fr/group/alice Production ALICE : ppr/sim/année-No/VersionAliRoot/Run/événement/*.root Production individuelle ppr Utilisa teurs xx yy ? Catalogue AliEn Cahier ~4 To

15/10/2003ALICE/Yves Schutz7 Communication avec Worker dédié: ccwalj01 Quelques ports ouverts vers alien.cern.ch Mais sens unique: on perd une fonctionnalité de AliEn (télécommande) Vers une machine dédiée ALICE AliEn en mode batch nest pas une solution efficace Perte du token afs Pas de cronjob Logon autorisé (limité dans le temps) ccwalj01 Ouverture ports 9000/1/2/3 pour monitoring (MonALISA)MonALISA

15/10/2003ALICE/Yves Schutz8 Physics Data Challenges Période (milestone) Fraction de la capacité finale (%) Objectifs scientifiques 06/01-12/011% Études pp, reconstruction de TPC et ITS 06/02-12/025% Premier test de la chaine complète, de la simulation à la reconstruction pour PPR Outils danalyse rudimentaires Digits au format ROOT 01/04-06/0410% Chaine complète pour études de trigger Prototype des outils danalyse Comparaison avec MonteCarlo paramètré Données brutes simulées 01/06-06/0620% Test du système final pour la reconstruction et lanalyse

15/10/2003ALICE/Yves Schutz9 Productions 32 sites configurés (CC & SUBATECH) 5 sites fournissent du stockage de masse (CC) 12 productions différentes tâches validées (très faibles contributions du CC), 2428 échecs (10%) Jusquà 450 tâches en parallèle 0.5 opérateurs

15/10/2003ALICE/Yves Schutz10 ALICE & GRID Yerevan CERN Saclay Lyon Dubna Capetown, ZA Birmingham Cagliari NIKHEF GSI Catania Bologna Torino Padova IRB Kolkata, India OSU/OSC LBL/NERSC Merida Bari Nantes Houston RAL

15/10/2003ALICE/Yves Schutz11 Soumission EDG RB EDG Site EDG CE WN AliEn EDG SE Status report: outbound connectivity Server Interface Site AliEn CE EDG UI AliEn SE Les CEs de EDG sont vus comme un seul CE de AliEn et les SEs de EDG comme un seul SE de AliEn. AliEn fait partie de lenvironnement ALICE (pas de daemons dans WN) Communication avec EDG UI de EDG tourne sur un site interface ainsi que la suite client de AliEn - ClusterMonitor, CE, SE Cette interface prend (pulls) une tâche à partir du serveur, génère les requètes JDL et soumet la tâche au RB de EDG. La tâche active AliEn dans le WN pour communiquer avec le serveur AliEn

15/10/2003ALICE/Yves Schutz12 Communication avec EDG Sorties générées par le CE de EDG sont sauvegardées sur un SE de EDG. L information est transmise à AliEn par le fichier.Brokerinfo Les fichiers sont enregistrés dans le catalogue de EDG Les fichiers sont également enregistrés dans le catalogue de ALiEn (EDG LFN == AliEn PFN) Laccès aux fichiers se fait en 2 étapes par le catalogue de AliEn et le catalogue de EDG Data Catalogue EDG RC EDG Site EDG CE WN AliEn EDG SE LFN PFN EDG:// /

15/10/2003ALICE/Yves Schutz13 Stratégie de PDC3 Production de RAW Transfert de RAW vers CERN Reconstruction de RAW Analyse CERN Tier2Tier1Tier2Tier1 AliEn job control Data transfer

15/10/2003ALICE/Yves Schutz14 Estimation des ressources PDC3 Simulation 10 5 Pb-Pb p-p Production distribuée, réplication des données au CERN Reconstruction et analyse Pb-Pb p-p Reconstruction au CERN et ailleurs selon les ressources disponibles CERN est la source des données Ressources (CPU et Stockage) 2004 Q1: 1354 KSI2K et 165 TB 2004 Q2: 1400 KSI2K et 301 TB Cf. document présenté au PEB Bande passante Simulation en 2004 Q1 ~90 TB seront envoyés au CERN en 2 mois (~10 jours en utilisant 10% de la bande passante du CERN.

15/10/2003ALICE/Yves Schutz15 Profil des ressources

15/10/2003ALICE/Yves Schutz16 Ressources disponibles 200TB nécessaires après PDC3 pendant 2004 Les ressources disponibles sont estimées en supposant leur utilisation simultanée par les 4 expériences.

15/10/2003ALICE/Yves Schutz17 Ressources disponibles LCG

15/10/2003ALICE/Yves Schutz18 ALICE PDC3 & LCG Tout la production sera sous contrôle de AliEn, lanalyse se fera avec Root/Proof/AliEn. LCG-1 sera un des CE de AliEn, AliEn intègrera indifféremment les ressources LCG et non-LCG. Si LCG-1 fonctionne, il aspirera la plupart des tâches. Sinon, AliEn privilégiera les autres ressources. Dans tous les cas de figure LCG-1 sera utilisé autant que possible. ALICE ne prendra aucune décision: les performances du système imposeront les choix.

15/10/2003ALICE/Yves Schutz19 ADC DateMBytes/s Tbytes to MSS Offline milestone 10/ Rootification of raw data -Raw data for TPC and ITS 9/ Integration of single detector HLT, at least for TPC and ITS - Quasi on-line reconstruction at CERN - Partial data replication to remote centres 5/ HLT prototype for all detectors that plan to use it - Remote reconstruction of partial data streams -Raw digits for barrel and MUON 5/ Prototype of the final HLT software Prototype of the final remote data replication (Raw digits for all detectors) 5/ (1250 if possible) Final test (Final system)

15/10/2003ALICE/Yves Schutz20 Analyse GRID Asynchrone Pseudo interactif Exécution des tâches (transparente à lutilisateur) Faisable avec AliEn + ROOT Interactif Système synchrone Résultats disponibles instantanément Il faut: Une nouvelle fonctionnalité (AliEn + PROOF) Grande disponibilité des ressources Utilisateur fournit le script danalyse.... et désire traiter toutes les données labelées du run et les données sont distribuées

15/10/2003ALICE/Yves Schutz21 Analyse distribuée: AliEn+Root AliEnfs: le stockage distribué est vu comme un seul système de fichiers à la unix Un job par fichier est créé Les résultats sont regroupés dans des conteneurs ROOT ******************************************* * * * W E L C O M E to R O O T * * * * Version 3.03/09 3 December 2002 * * * * You are welcome to visit our Web site * * * * * ******************************************* Compiled for linux with thread support. CINT/ROOT C/C++ Interpreter version , Oct Type ? for help. Commands must be C++ statements. Enclose multiple statements between { }. root [0]newanalysis->Submit(); Analysis Macro MSS CE merged Trees +Histograms ? Query for Input Data

15/10/2003ALICE/Yves Schutz22 Classic PROOF PROOF USER SESSION PROOF SLAVE SERVERS 32 nodes: dual Itanium II 1 GHz CPUs, 2 GB RAM, 2x75 GB 15K SCSI disk, 1 Fast Eth, 1 GB Eth nic (not used) Each node has one copy of the data set (4 files, total of 277 MB), 32 nodes: 8.8 Gbyte in 128 files, 9 million events 8.8GB, 128 files 1 node: 325 s 32 nodes in parallel: 12 s

15/10/2003ALICE/Yves Schutz23 AliEn + ROOT Analysis Macro provides: Input Files ? Query for Input Data USER produces List of Input Data + Locations new TAliEnAnalysis Object IO Object 2 for Site A IO Object 1 for Site BI IO Object 1 for Site C IO Object 1 for Site A Job Object 1 for Site A Job Object 2 for Site A Job Object 1 for Site B Job Object 1 for Site C Job Submission Job Splitting Histogram Merging Tree Chaining Results: Execution

15/10/2003ALICE/Yves Schutz24 Conclusions Augmenter taille THRONG_DIR +2Go GROUP_DIR: on fait avec 8Go Reconduire les ressources utilisées hors PDC Une machine dédiée ALICE simplifierait la vie de tout le monde Resources nécessaires pour PDC3: Production organisée Q Analyse Q1-Q CPU Disques HPSS Réseau autant que le CC a annoncé pour ALICE au travers de LCG ou non