20-mars-2008Eric Lançon1 Activités ATLAS sur le nuage Français Emprunts a K. Bernardet, C. Biscarat, S. Jezequel, G. Rahal.

Présentation au sujet: "20-mars-2008Eric Lançon1 Activités ATLAS sur le nuage Français Emprunts a K. Bernardet, C. Biscarat, S. Jezequel, G. Rahal."— Transcription de la présentation:

1 20-mars-2008Eric Lançon1 Activités ATLAS sur le nuage Français Emprunts a K. Bernardet, C. Biscarat, S. Jezequel, G. Rahal

2 20-mars-2008Eric Lançon2 2 DecemberJanuaryFebruaryMarchApril May CC Readiness Challenge 12 Full DressRehersal 12 0 Cosmic Ray tests M6 SRMv2 testing bis Functional Tests 3333 FDR-2 Simulation Production 100 days mixing Sub-detector tests Re-processing in T1’s 30 days 111 NOW

3 20-mars-2008 Eric Lançon 3 Sélection Hier  Production MC  CCRC et distribution des données ‘cosmiques’ Demain  Mise en place de l’analyse  FDR-2 Oublis  Tests de reprocessing au T1 (données input sur HPSS)  Echanges T1-T1  …

4 20-mars-2008 Eric Lançon 4 Statistiques Production MC % of ATLASFinished Jobs FR cloud 16%.fr sites 13% ATLAS : Jan. - Mar. : 1.762.903 jobs ATLAS : Jan. - Mar. : 1.762.903 jobs A base de ‘jobs pilots’, opération par nuage (depuis Lyon pour FR) Utilisation ~ 1/3 demandes

5 20-mars-2008 Eric Lançon 5 Jobs/day

6 20-mars-2008 Eric Lançon 6 efficiency JobCPU ATLAS76%89%.fr sites 70%82% Job efficiency = OK / ALL CPU effciency = OK / Running Efficacités Efficacité des sites.fr < ATLAS

7 20-mars-2008 Eric Lançon 7 Répartition ‘typique’ des erreurs ~70% des erreurs : I/O

8 20-mars-2008 Eric Lançon 8 Transferts T2 -> T1 Puissance CPU disponible > débit transferts FTS Pénalisé aussi par la petite taille des fichiers d’ATLAS Charge induite sur srm du T1 Limitation a :  3000 transferts  2 jours/ 2 semaines de queues suivant priorités des jobs Transferring Running Limite pour soumission

9 20-mars-2008 Eric Lançon 9 Transferts CCRC08 semaines 3-4 Taux de transfert T0  T1 inférieurs à la cible (900 MB/s) Peu de problèmes au CC Transferts en concurrence avec ceux des autres expériences LHC (principalement CMS) Pb CASTOR CERN Mismatch clé dans FTS Erreurs de transfert MB/s LYON Date (jours)

10 20-mars-2008 Eric Lançon 10 Données cosmiques ‘M6’ w.e. ! [7-10] mars Exports  T0->T1s  CC->Tokyo Jusqu’à >~100 MB/s sur quelques heures; Problèmes :  Engorgements du serveur PNFS - understood  Monitoring serveur central ATLAS au CERN - fixed? Pas de distribution en continue (heureusement?) CC: pb PNFS Serveur central DDM ATLAS CC: pb ? errors MB/s Heures

11 20-mars-2008 Eric Lançon 11 From here To here Données M6 du CC a Tokyo

12 20-mars-2008 Eric Lançon 12

13 20-mars-2008 Eric Lançon 13 Date CC->Tokyo MB/s Succès car implication du T2 de Tokyo dans le système de distribution

14 20-mars-2008 Eric Lançon 14 Srm v2 & Space Token Space Token  Chaque fichier appartient a une (seule) catégorie  Quota (software) par catégorie  Droit d'écriture seulement pour rôle ‘production’ ‘Status’  Déployé sur certains T2 ATLASDATADISK, ATALSMCDISK A venir : physic group  En cours de test Conséquence  Gestion centralisée des données sur ces espaces par ATLAS

15 20-mars-2008 Eric Lançon 15 ‘facilités’ d’analyse Tests de XROOTD au CC  Pour jobs d’analyse (inputs : AODs), déjà utilise a BNL  Bande passante nécessaire aux jobs d’analyse?  Just starting…  Beaucoup d’utilisateurs français a BNL… glitePROOF au CPPM  PROOF sur grille Utilisation des groupes de la VO?

16 20-mars-2008 Eric Lançon 16 http://root.cern.ch/phpBB2/viewtopic.php?p=25878&sid=904a0ac0fb6ec9657396ef2680494138 Tests de gLitePROOF au CPPM

17 20-mars-2008 Eric Lançon 17 Karim B.

18 20-mars-2008 Eric Lançon 18 Limite I/O atteinte… réseau : 1gb/s accès disk : 100Mb/s Limite I/O atteinte… réseau : 1gb/s accès disk : 100Mb/s Karim B.

19 20-mars-2008 Eric Lançon 19  0.5 M minimum bias and cavern events  10 M physics events  100 M fake events  0.5 M minimum bias and cavern events  10 M physics events  100 M fake events D’ici fin mai : FDR-2 Final Dressed Rehearsal Simulation + Digitization done at T2’s HITS and RDOs uploaded to T1  HITS to tape at T1  RDO to BNL for mixing, shipped to T0 Export from T0 to T1s (end May) Reconstruction done at T1s  ESD, AOD, TAG archived to tape at T1  ESD copied to other T1 by share (3 full copies world- wide)  AOD and TAG copied to each other T1 Production des données Distribution et reprocessing des données

20 20-mars-2008Eric Lançon20