Journées ALICE France Physique AFP

Présentation au sujet: "Journées ALICE France Physique AFP"— Transcription de la présentation:

1 Journées ALICE France Physique AFP
Alice France Computing kSI2K et petaBytes, Xeon2.8GHz, middleware, Mass Storage, EGEE, gLite ou AliEn, PROOF, globus, LCG Journées ALICE France Physique AFP 23-24 mai 2004 Christophe Suire

2 Alice France Computing Status
Plan : AFP & Alice Computing Les bases (Y. Schutz) Résultats des sondages Discussions

3 AFP & Alice Computing Quels sont les points importants qui peuvent/doivent être discutés au niveau de l'AFP? s'assurer que les ressources sont suffisantes et utilisables (TIER-2/Laurent Aphecetche) mettre à jour un système de tutorial : AliRoot : installation et bases ccin2p3 : script/batch, hpss OU AliEn (opérationnel au ccin2p3 ??) s'assurer que chacun aura accès à des ressources pour faire tourner ses analyses de physique autres ? Christophe Suire 2

4 Le calcul

5 Un nouveau paradigme Les données du problème:
Une quantité de données sans précédant: > Po/an Une grande collaboration: > 1000 collaborateurs Une répartition mondiale: > 80 Instituts, dans > 30 pays Une seule solution: la Grille Fédérer les ressources informatiques distribuées dans les Instituts Un intergiciel (middelware) permettant a tout utilisateur d’accéder aux ressources de façon transparente

6 Intergiciel ? PCFarm Physicien du Futur PCF PCF PCF Physicien du passé
Intergiciel : AliEn – gLite transfert d'infos et de fichiers, authentification, file catalog, GUIs ?, etc… Christophe Suire

7 Réponse au défis LHC LCG (LHC Grid Computing):
Collecte les ressources informatiques Développe, teste et distribue l’intergiciel (ensemble de services) Met le tout a la disposition des expériences EGEE (Enabling Grids for E-sciencE) Développe l’intergiciel « universel » Les expériences Adapte les services aux besoins (interface intergiciel) Développe et distribue les services propres (AliEn) Développe l’interface utilisateur (gShell)

8 Intergiciel pour le LHC ?
L'intergiciel "officiel" de LCG sera g-Lite (en retard par-rapport à AliEn). Intergiciel commun à Alice-CMS-ATLAS-LHCb ?! Christophe Suire

9 Modèles de calcul Hiérarchique: Tier 0 : au CERN
Stockage permanent des données brutes, calibrage, ESD Premier passage de reconstruction 1s: CERN et ailleurs (… CCIN2P3…) Stockage permanent d’une 2eme copie des données brutes, MC, ESD, AOD Stockage temporaire d’une fraction des données brutes, ESD, AOD, MC Passage supplémentaire de reconstruction Analyse organisée 2s: CERN et ailleurs (… Clermont, CCIN2P3, Nantes, Paris,…) Stockage temporaire des données MC, EESD, AOD Production MC Analyses individuelles

10 Model Hierarchique / Model Flou
Note : en théorie, chaque "catégorie" de TIER est capable d'effectuer tous les types de tâches (cela dépend du middleware). mais : - les rawdata sont dans le TIER-0 (copie partagée dans les Tier-1) - la reconstruction sera prioritaire et occupera très largement les CPUs/disks des TIER-0 et TIER-1  Les analyses (dites chaotiques ) vont certainement etre circonscrites au niveau des TIER-2 Christophe Suire

11 Modèles de calcul Flou (cloud model):
Chaque site peut effectuer n’importe quel type de tache en fonction Des ressources de calcul disponibles De la localisation des données Minimise le transport des données Optimise l’usage du CPU Nécessite toutes les fonctionnalités de la GRILLE

12 Traitement des données
pp (identique aux autres expériences) Distribution des données et première reconstruction quasi en ligne dans T0 Reconstructions additionnelles dans T1’s pendant le reste de l’année AA (trop gourmand en temps de calcul) Calibrage, alignement et reconstruction tests pendant la prise de données au T0 Distribution des données et première reconstruction dans T0 pendant les 4 mois suivant la prise de données

13

14 Les ressources requises

15 Les ressources requises
TIER-2 Français TIER-1 ccin2p3 TIER-0

16 Unités Note : le kSI2k…. ou le kilo SpecInt2000
1 kSI2k = puissance d'un pentium Xeon 2.8GHz Besoin d'Alice en 2009 estimés à 32 MSI2k  equivalent à processeurs (Xeon 2.8GHz) Christophe Suire

17 PAF (Parallel Analysis Facility)
Une analyse parallèle en ligne des données (pas forcément distribuées) Utilise une grappe (~1000 nœuds) dédiée (ne fait rien d’autre) re-configurable, ROOT et PROOF PROOF USER SESSION PROOF SLAVE SERVERS PROOF MASTER SERVER PROOF SUB-MASTER SERVER Grid/Root Authentication Grid Access Control Service TGrid UI/Queue UI Proofd Startup Grid Service Interfaces Grid File/Metadata Catalogue Client retrieves list of logical files (LFN + MSN)

18 France Fournit de l’ordre de 15% (CPU, disque, MS) des besoins requis par ALICE dans T1’s ALICE demande un minimum, de l’ordre de 3% des besoins requis par ALICE dans T2’s T2s: Prévoit de fournir de l’ordre de 5% des ressources requis par ALICE dans T2s Questions AF, PAF pour AFP ? Quel usage ? Pour qui ? Quelle taille ? …

19 Parallel ROOT Facility
The Parallel ROOT Facility, PROOF, is an extension of the ROOT system. It enables physicists to analyse large sets of ROOT files in parallel on computer clusters. Due to the increasing amount of data in High Energy Physics the ROOT developers at CERN decided to set ROOT on a parallel base. PROOF ( Parallel ROOT Facility ) is an extension of ROOT which allows a transparent and fast analysis of large sets of ROOT-files (ROOT-trees). The goal of PROOF is not only to increase the CPU-power by using multiple hosts, it also takes advantage of the possibility to access and analyse parallel one or more ROOT-files which are stored on several hosts, so you can increase the I/O-speed depending on the quantity of hosts. Christophe Suire 2

20 Parallel ROOT Facility
Fons Rademakers Dernier Alice offline meeting Christophe Suire 2

21 Parallel ROOT Facility
Fons Rademakers Dernier Alice offline meeting Christophe Suire 2

22 Etudes d'habitudes Comment travaillent les AliRooteurs ? (les plus jeunes…) Les simulations/analyses en cours… Strasbourg (étrangeté) Nantes (W's,Jpsi cent. dep.) Clermont (beauté pp et PbPb dans le bras Dimuon) Quelles ressources utilisent-ils ? Surtout des ressources locales Peu d'utilisation du ccin2p3 (sauf PDCs et Rachid) Clermont TIER-2 : peu utilisé pour l'instant – ça démarre Nantes TIER-2 : les Nantais Christophe Suire 2

23 Tour des TIERs Yves (DimuonNet'05 - Nantes)
15% (only !) of the resources at CCIN2P3 goes to ALICE (sharing of cost not of resources) T1 CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) CCIN2P3 (4 LHC) 1730 15% 766 12% 2 0,8 13% 10000 Le CERN fait un vrai partage ? T0 CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) CERN (4 LHC) 7500 ? ? % 1300 ?% 6 3,3 10000 Christophe Suire 2

24 Tour des TIERs  Yves (DimuonNet'05 - Nantes) ? ? ?
CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) CCIN2P3/AF (4 LHC) 146 19 8 400 10000 Clermont-Ferrand (ALICE+ATLAS) 100 8.3 12 1000 Nantes (ALICE) 165 20 8,3 Paris 300 25 Total 711 5% 72,3 3% 9,8 ? ? ?  Question récurrente, pour 1 ferme de PC : % donné à LCG ? % donné à Alice ? Christophe Suire

25 Tour des TIERs Tier-2 CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) Paris (4 LHC) 300 25 12 1000 Pour l'instant seul Alice-SPhN/DAPNIA contribue à ce Tier-2 Question récurrente, pour 1 ferme de PC : % donné à LCG ? % donné à Alice ? Lettre d'intention : répartition des ressources décidé par un comité de pilotage … 20% des ressources pourrqient etre dédiée aux laboratoires pour leurs besoins spécifiques Christophe Suire

26 Production de données PDCs04,05...
Qui utilise les données des PDCs ? en France, (très peu de) personne(s) Strangeness : les évènements HIJING n'étaient pas assez étranges (Hijing feature) MAIS rectifié pour PDC05  simulation en local (~5h/event) Dimuon : pas de données avant PDC05 (vrai?) De toute façon, c'est pas facile …! Les données produites par les PDC sont sur bandes au CERN :  Cern Advanced STORage manager…. Christophe Suire 3

27 CASTOR Apparemment impossible à utiliser hors du CERN !?
running & queue jobs are coming from cern lx farm Christophe Suire 3

28 Ressources au CCIN2P3 CPU : ?? au moins quelques centaines…(max #jobs 242) HPSS : 20 TO dont 12 disponibles (à vérifier) NFS : 1.6 TO (→5 T0 demandés) ( + home/afs et scratch directories) Et pourquoi pas : 1 queue pour la production (prioritaire pendant les PDCs) 1 queue pour les utilisateurs (toujours ouverte). Parfait pour l'apprentissage d'AliEn/gLite (si installé au ccin2p3 !). Utilisation des machines Alice Christophe Suire 4

29 Conclusions à débattre
Problèmes et solutions pour le Tier-2 Ile de France ?! Migration des simulations/analyses vers le Tier-1 ccin2p3 Analyse (future) dans Alice = utilisation de la Grid. Se familiariser avec les outils (software) dès que possible Questions (from Yves) AF, PAF pour AFP ? Quel usage ? Pour qui ? Quelle taille ? … autres… Christophe Suire

30 To Be Continued….

31 PARADIGME, subst. masc. A. 1. GRAMM
PARADIGME, subst. masc. A. 1. GRAMM. Ensemble des formes que peut prendre un élément (généralement un mot). Synon. déclinaison, flexion. Il suffit d'y jeter un coup d'oeil pour apercevoir la relation qui existe entre les paradigmes grec et latin (SAUSS., Ling. gén., 1916, p.15). Jamais il ne serait tenté de restituer un paradigme sans pronom: aime, aimes, aime, aimons, etc., auquel l'écriture traditionnelle fait croire (BALLY, Lang. et vie, 1952, p.25). QUI - QUE - QUOI forment un paradigme pronominal, ils constituent un pronom fléchi (G. MOIGNET, Ét. de psycho-systématique fr., 1974, p.163). En partic., vieilli. Ensemble des formes que peut prendre un mot présenté comme modèle des formes pour ce type de mot. Paradigme de flexion. La conjugaison d'aimer est le paradigme de la première conjugaison des verbes français (Ac. 1798, 1878). 2. P. anal. Exemple type présentant toutes les variations du type. Il faut bien qu'un certain produit entre tous, celui dont la valeur paraîtra la plus authentique (...) soit pris pour type, c'est-à-dire tout à la fois pour instrument de circulation et paradigme des autres valeurs (PROUDHON, Syst. contrad. écon., t.2, 1846, p.87). M. Georges Seurat, le premier, a présenté un paradigme complet et systématique de cette nouvelle peinture (F. FÉNÉON, Les Impressionnistes ds PLOWERT 1888). Judas est leur type; leur prototype et leur surtype, ou, si l'on veut, le paradigme certain des ignobles et sempiternelles conjugaisons de leur avarice (BLOY, Salut par Juifs, 1892, p.75). B. LING. Ensemble des unités d'un certain type apparaissant dans un même contexte et qui sont de ce fait dans un rapport d'opposition, de substituabilité (p.oppos. à syntagme). Dans l'article que je viens de citer, Sechehaye construit (...) un paradigme dont les termes sont des phrases françaises (R. GODEL, Limites de l'analyse segmentale ds Cah. F. Sauss. t , p.133). C. ÉPISTÉMOL. Conception théorique dominante ayant cours à une certaine époque dans une communauté scientifique donnée, qui fonde les types d'explication envisageables, et les types de faits à découvrir dans une science donnée. Changement de paradigme. Au-delà de leurs divergences, ce qui rapproche Kuhn et Feyerabend, c'est leur insistance sur le manque de convergence du développement scientifique. Le cri de ralliement de l'opposition à l'empirisme, c'est la découverte de l'incommensurabilité entre des paradigmes séparés par une révolution scientifique (P. JACOB, L'Empirisme logique, Paris, éd. de Minuit, 1980, p.27). Prononc. et Orth.: [ ]. Att. ds Ac. dep Étymol. et Hist «exemple, modèle» (THEVET, Hommes ill., fo 340 vo ds GDF. Compl.); 2. a) 1752 «mot-type qui est donné comme modèle pour une déclinaison, une conjugaison; ensemble typique des formes fléchies d'un mot pris comme modèle» (Trév.); b) 1967 «ensemble des termes qui peuvent figurer en un point de la chaîne parlée, axe des substitutions» (DUB.). Empr. au b. lat. paradigma «exemple, comparaison», également terme de gramm., gr. «modèle, exemple» (de «mettre en regard, en parallèle, montrer», de «auprès de» et de «montrer»). Bbg. GODEL (R.). Cah. F. Sauss. 1978, no32, p.134. Christophe Suire 2