Eric Lançon1 Calcul ATLAS en France Le CAF au PAF * CAF : Calcul Atlas France *Célèbre contrepèterie.

Présentation au sujet: "Eric Lançon1 Calcul ATLAS en France Le CAF au PAF * CAF : Calcul Atlas France *Célèbre contrepèterie."— Transcription de la présentation:

1 Eric Lançon1 Calcul ATLAS en France Le CAF au PAF * CAF : Calcul Atlas France *Célèbre contrepèterie

2 Eric Lançon 2 Un peu de model de calcul Le nuage FR Les ressources que l'on a et va avoir Où et comment faire l'analyse des données Appel à volontariat

3 Eric Lançon 3 © Amir Farbin/UTA CHEP 2007 © Amir Farbin/UTA CHEP 2007

4 Eric Lançon 4 LYON BNL LPC Tokyo NW GRIF T3 NET2 All Tier-1s have predefined (software) channel with CERN and with each other Tier-1. Tier-2s are associated with one Tier-1 and form the cloud Tier-2s have predefined channel with the parent Tier-1 only. FR Cloud BNL Cloud Pékin “Tier Cloud Model” Unit : 1 T1 + n T2/T3 Within a cloud T1: 10 % RAW, 20 % ESD, 100% AOD  T2 : 100 % AOD, small fraction ESD,RAW ATLAS : Grid organisation - 0 NG LYON BNL FZK TRIUMF ASGC PIC SARA RAL CNAF CERN Clermont LAPP CCPM Roumanie SWMW GL SLAC TWT2 Melbourne

5 Eric Lançon 5 NG LYON BNL FZK TRIUMF ASGC PIC SARA RAL CNAF Raw data  Mass Storage at CERN Raw data  Tier 1 centers complete dataset distributed among T1s ESD  Tier 1 centers 2 copies of ESD distributed worldwide AOD  Each Tier 1 center 1 full set per T1 Original Processing  T0  T1 Original Processing  T0  T1 ATLAS : Grid organisation - I CERN

6 Eric Lançon 6 Reprocessing  T1 Reprocessing  T1 Each T1 reconstructs its own RAW Produces new ESD, AOD Ships : ATLAS : Grid organisation - II ESD to associated T1 AOD to all other T1s NG LYON BNL FZK TRIUMF ASGC PIC SARA RAL CNAF Plus de CERN…

7 Eric Lançon 7 Liaisons entre T1s Mais …~tout passe par le CERN… Ligne 10Gb dédiée Pas de liaison dédiée avec BNL

8 Eric Lançon 8 Tokyo GRIF Pékin Clermont Roumanie Tier-2 Monte Carlo production (ESD,AOD) Monte Carlo production (ESD,AOD) Ships RAW,ESD,AOD to associated T1 Physics Analysis Physics Analysis Gets (ESD) AOD from associated T1 ATLAS : Grid organisation - III NG LYON BNL FZK TRIUMF ASGC PIC SARA RAL CNAF

9 Eric Lançon 9 Un mot sur les T3s Objet pas très bien défini dans le cadre du model de calcul ‘Task force’ en place, Stéphane Jezequel pour FR Pour le moment les AODs sont distribués aux T3s du nuage FR, ce qui n’est pas prévu dans le model de calcul CHEP 2007

10 Eric Lançon 10 Tier-2 LPC Tier-2 GRIF CEA/DAPNIA LAL LLR LPNHE IPNO Tier-2 GRIF CEA/DAPNIA LAL LLR LPNHE IPNO AF CC-Lyon AF CC-Lyon Tier-3 LAPP Lyon Clermont-Ferrand Ile de France Marseille Nantes Strasbourg Annecy Tier-3 CPPM ATLAS FR Sites Tier-1 CC-Lyon Tier-1 CC-Lyon

11 Eric Lançon 11 Tier-2 LPC Tier-2 GRIF CEA/DAPNIA LAL LLR LPNHE IPNO Tier-2 GRIF CEA/DAPNIA LAL LLR LPNHE IPNO AF CC-Lyon AF CC-Lyon Tier-3 LAPP Lyon Clermont-Ferrand Ile de France Marseille Nantes Strasbourg Annecy Tier-3 CPPM ATLAS FR Cloud Tier-1 CC-Lyon Tier-1 CC-Lyon Pekin Tokyo Roumanie Pekin

12 Eric Lançon 12 T1 de BNL associé à Lyon & FZK Tier-1 associations BNL Lyon FZK

13 Eric Lançon 13 2007 : ATLAS au CC Consommation CPU ~12% de la consommation CPU du CC Deuxième utilisateur ~75% jobs sont des jobs grilles.

14 Eric Lançon 14 Production Reprocessing Real DATA (MC) Production Reprocessing Real DATA (MC) User /atlas/fr User /atlas/fr User  Production MC DATA Production MC DATA Tier-1 Allocation MoU Tier-1 Allocation MoU Tier-2 Allocation MoU Tier-2 Allocation MoU Ferme Analyse Ferme Analyse Le CC en 2008 Tier-1  (re)processing des données Tier-2  Production MC  Analyse (ouvert a tous) Ferme d’Analyse: Tier- 3  Réservée au Français  Dimensionnée pour 80 utilisateurs

15 Eric Lançon 15 Evolution du T1 Actuellement CPU : 236 KSi2k Disk : ~210 TB Tape : 187 TB Actuellement CPU : 236 KSi2k Disk : ~210 TB Tape : 187 TB X 5-7

16 Eric Lançon 16 Les T2 du nuage FR en 2008 CC-Lyon

17 Eric Lançon 17 Sites Français en 2008 Pour utilisateurs GRIF Pour utilisateurs /atlas/fr CC-Lyon T1 T2 T3T3 T3T3

18 Eric Lançon 18 Replication des Data Bases En plus du CPU, des disques, il faut les constantes de calibrations Pas encore au niveau de faire du reprocessing COOL 2.1 Saturation pour ~10 jobs COOL 2.2 Réplications des databases ORACLE T0 -> T1 Tests au CC et à CNAF de configuration ORACLE du site et du software fct charge (Nb jobs simultanés)

19 Eric Lançon 19 Faire de l’analyse Obtenir un certificat  Indispensable pour utiliser la grille  …Ne s’obtient pas en quelques heures… Lire le manuel…  https://atlas-france.in2p3.fr/cgi- bin/twiki/bin/view/Atlas/Informatique https://atlas-france.in2p3.fr/cgi- bin/twiki/bin/view/Atlas/Informatique Toutes les versions récentes d’ATHENA disponibles au CC  Plus les nightlies (bug fix)  Compilation/link beaucoup plus rapide qu’au CERN! Toutes données M4 au CC Group /atlas/fr Frederic Derue

20 Eric Lançon 20 Quelques renseignements utiles User support :  user.support@cc.in2p3.fr : sujet général user.support@cc.in2p3.fr  atlas-support@cc.in2p3.fr : sujet spécifique ATLAS atlas-support@cc.in2p3.fr  ghita.rahal@cc.in2p3.fr : ATLAS contact au CC-Lyon ghita.rahal@cc.in2p3.fr ATLAS-ANALYSIS-TOOLS-L@IN2P3.FR  http://ccmail.in2p3.fr/archives/atlas-analysis-tools-l.html http://ccmail.in2p3.fr/archives/atlas-analysis-tools-l.html Tutorial Physics Analysis, March 5-7  http://indico.in2p3.fr/conferenceDisplay.py?confId=139 http://indico.in2p3.fr/conferenceDisplay.py?confId=139  Autres tutoriaux?

21 Eric Lançon 21 RB CE Task queue Task queue CE Distributed analysis tools Ganga  http://cern.ch/ganga http://cern.ch/ganga  Developed on LCG  Push mode  Only for analysis Panda  Developed on OSG  Pull mode (Pilot jobs)  Fully integrated with DQ2 Outputs (libraries, logs, Ntup, etc..) are DQ2 datasets accessible through Panda browser  Same tool for Production Data analysis

22 Eric Lançon 22 La ferme d’analyse du CC- Phase 2 La partie batch est ~en place  PanDA / Ganga Reste à développer la composante ‘analyse interactive’  Facilité d’accès aux Datasets (tous au CC!) Un des outils possibles/probables : PROOF  ALICE, CMS?, ATLAS…  Le CC a les moyens humains et techniques et grande expertise grâce à BaBar  Il ne manque que quelque(s) courageu(x/ses) pour développer et tester le système

23 Eric Lançon 23 Futur proche et moyen

24 Eric Lançon 24 Quelques leçons et perspectives Les moins :  Pas encore ‘stable running’ mais ça vient,  Plus d’outils de monitoring SVP!  Séparation utilisateurs grille - utilisateurs root? Les plus :  Beaucoup d'améliorations en 2007,  La qualité et l'efficacité du FR-Cloud est reconnue,  Les moyens existent pour faire de l’analyse Alors :  Un peu plus d’engagement des physiciens Français  Il reste à mettre en place la composante ‘interactive’ de la ferme d’analyse du CC.