La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Alice France Computing kSI2K et petaBytes, Xeon2.8GHz, middleware, Mass Storage, EGEE, gLite ou AliEn, PROOF, globus, LCG Journées ALICE France Physique.

Présentations similaires


Présentation au sujet: "Alice France Computing kSI2K et petaBytes, Xeon2.8GHz, middleware, Mass Storage, EGEE, gLite ou AliEn, PROOF, globus, LCG Journées ALICE France Physique."— Transcription de la présentation:

1 Alice France Computing kSI2K et petaBytes, Xeon2.8GHz, middleware, Mass Storage, EGEE, gLite ou AliEn, PROOF, globus, LCG Journées ALICE France Physique AFP Christophe Suire mai 2004

2 Alice France Computing Status Plan : AFP & Alice Computing Les bases (Y. Schutz) Résultats des sondages Discussions

3 AFP & Alice Computing 2 Christophe Suire Quels sont les points importants qui peuvent/doivent être discutés au niveau de l'AFP? s'assurer que les ressources sont suffisantes et utilisables (TIER-2/Laurent Aphecetche) mettre à jour un système de tutorial : AliRoot : installation et bases ccin2p3 : script/batch, hpss OU AliEn (opérationnel au ccin2p3 ??) s'assurer que chacun aura accès à des ressources pour faire tourner ses analyses de physique autres ?

4 Le calcul

5 Un nouveau paradigme Les données du problème: –Une quantité de données sans précédant: > Po/an –Une grande collaboration: > 1000 collaborateurs –Une répartition mondiale: > 80 Instituts, dans > 30 pays Une seule solution: la Grille –Fédérer les ressources informatiques distribuées dans les Instituts –Un intergiciel (middelware) permettant a tout utilisateur daccéder aux ressources de façon transparente

6 Intergiciel ? Christophe Suire PCFarm PCF Physicien du passé Physicien du Futur Intergiciel : AliEn – gLite transfert d'infos et de fichiers, authentification, file catalog, GUIs ?, etc…

7 Réponse au défis LHC LCG (LHC Grid Computing): –Collecte les ressources informatiques –Développe, teste et distribue lintergiciel (ensemble de services) –Met le tout a la disposition des expériences EGEE (Enabling Grids for E-sciencE) –Développe lintergiciel « universel » Les expériences –Adapte les services aux besoins (interface intergiciel) –Développe et distribue les services propres (AliEn) –Développe linterface utilisateur (gShell)

8 Intergiciel pour le LHC ? Christophe Suire 1.L'intergiciel "officiel" de LCG sera g-Lite (en retard par- rapport à AliEn). 2.Intergiciel commun à Alice-CMS-ATLAS-LHCb ?!

9 Modèles de calcul Hiérarchique: Tier –0 : au CERN Stockage permanent des données brutes, calibrage, ESD Premier passage de reconstruction –1s: CERN et ailleurs (… CCIN2P3…) Stockage permanent dune 2eme copie des données brutes, MC, ESD, AOD Stockage temporaire dune fraction des données brutes, ESD, AOD, MC Passage supplémentaire de reconstruction Analyse organisée –2s: CERN et ailleurs (… Clermont, CCIN2P3, Nantes, Paris,…) Stockage temporaire des données MC, EESD, AOD Production MC Analyses individuelles

10 Model Hierarchique / Model Flou Christophe Suire Note : en théorie, chaque "catégorie" de TIER est capable d'effectuer tous les types de tâches (cela dépend du middleware). mais : - les rawdata sont dans le TIER-0 (copie partagée dans les Tier-1) - la reconstruction sera prioritaire et occupera très largement les CPUs/disks des TIER-0 et TIER-1 Les analyses (dites chaotiques ) vont certainement etre circonscrites au niveau des TIER-2

11 Modèles de calcul Flou (cloud model): –Chaque site peut effectuer nimporte quel type de tache en fonction Des ressources de calcul disponibles De la localisation des données –Minimise le transport des données –Optimise lusage du CPU –Nécessite toutes les fonctionnalités de la GRILLE

12 Traitement des données pp (identique aux autres expériences) –Distribution des données et première reconstruction quasi en ligne dans T0 –Reconstructions additionnelles dans T1s pendant le reste de lannée AA (trop gourmand en temps de calcul) –Calibrage, alignement et reconstruction tests pendant la prise de données au T0 –Distribution des données et première reconstruction dans T0 pendant les 4 mois suivant la prise de données –Reconstructions additionnelles dans T1s pendant le reste de lannée

13

14 Les ressources requises

15 Les ressources requises TIER-0 TIER-1 ccin2p3 TIER-2 Français

16 Unités Christophe Suire Note : le kSI2k…. ou le kilo SpecInt kSI2k = puissance d'un pentium Xeon 2.8GHz Besoin d'Alice en 2009 estimés à 32 MSI2k equivalent à processeurs (Xeon 2.8GHz)

17 PAF (Parallel Analysis Facility) Une analyse parallèle en ligne des données (pas forcément distribuées) Utilise une grappe (~1000 nœuds) dédiée (ne fait rien dautre) re- configurable, ROOT et PROOF PROOF USER SESSION PROOF SLAVE SERVERS PROOF MASTER SERVER PROOF SLAVE SERVERS PROOF SUB- MASTER SERVER PROOF PROOF PROOF Grid/Root Authentication Grid Access Control Service TGrid UI/Queue UI Proofd Startup Grid Service Interfaces Grid File/Metadata Catalogue Client retrieves list of logical files (LFN + MSN)

18 France Fournit de lordre de 15% (CPU, disque, MS) des besoins requis par ALICE dans T1s ALICE demande un minimum, de lordre de 3% des besoins requis par ALICE dans T2s T2s: Prévoit de fournir de lordre de 5% des ressources requis par ALICE dans T2s Questions –AF, PAF pour AFP ? –Quel usage ? Pour qui ? Quelle taille ? …

19 Parallel ROOT Facility 2 Christophe Suire 1.The Parallel ROOT Facility, PROOF, is an extension of the ROOT system. It enables physicists to analyse large sets of ROOT files in parallel on computer clusters. 2.Due to the increasing amount of data in High Energy Physics the ROOT developers at CERN decided to set ROOT on a parallel base. 3.PROOF ( Parallel ROOT Facility ) is an extension of ROOT which allows a transparent and fast analysis of large sets of ROOT-files (ROOT-trees). 4.The goal of PROOF is not only to increase the CPU-power by using multiple hosts, it also takes advantage of the possibility to access and analyse parallel one or more ROOT-files which are stored on several hosts, so you can increase the I/O-speed depending on the quantity of hosts.

20 Parallel ROOT Facility 2 Christophe Suire Fons Rademakers Dernier Alice offline meeting

21 2 Christophe Suire Parallel ROOT Facility Fons Rademakers Dernier Alice offline meeting

22 Etudes d'habitudes 2 Comment travaillent les AliRooteurs ? (les plus jeunes…) Christophe Suire Quelles ressources utilisent-ils ? Surtout des ressources locales Peu d'utilisation du ccin2p3 (sauf PDCs et Rachid) Clermont TIER-2 : peu utilisé pour l'instant – ça démarre Nantes TIER-2 : les Nantais Les simulations/analyses en cours… Strasbourg (étrangeté) Nantes (W's,Jpsi cent. dep.) Clermont (beauté pp et PbPb dans le bras Dimuon)

23 Tour des TIERs 2 Christophe Suire Yves (DimuonNet'05 - Nantes) T1 CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) CCIN2P3 (4 LHC) % % 2 0,8 13% % (only !) of the resources at CCIN2P3 goes to ALICE (sharing of cost not of resources) Le CERN fait un vrai partage ? T0 CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) CERN (4 LHC) 7500 ? ? % 1300 ?% 63,310000

24 Tour des TIERs Christophe Suire Yves (DimuonNet'05 - Nantes) Tier-2 CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) CCIN2P3/AF (4 LHC) Clermont-Ferrand (ALICE+ATLAS) Nantes (ALICE) , Paris (4 LHC) Total 711 5% 72,3 3% 9,8 ? ? ? Question récurrente, pour 1 ferme de PC : % donné à LCG ? % donné à Alice?

25 Tour des TIERs Christophe Suire Tier-2 CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) Paris (4 LHC) Question récurrente, pour 1 ferme de PC : % donné à LCG ? % donné à Alice? Pour l'instant seul Alice-SPhN/DAPNIA contribue à ce Tier-2 Lettre d'intention : 1.répartition des ressources décidé par un comité de pilotage 2.… 20% des ressources pourrqient etre dédiée aux laboratoires pour leurs besoins spécifiques

26 Production de données PDCs04,05... Christophe Suire 3 Qui utilise les données des PDCs ? en France, (très peu de) personne(s) Strangeness : les évènements HIJING n'étaient pas assez étranges (Hijing feature) MAIS rectifié pour PDC05 simulation en local (~5h/event) Dimuon : pas de données avant PDC05 (vrai?) De toute façon, c'est pas facile …! Les données produites par les PDC sont sur bandes au CERN : Cern Advanced STORage manager….

27 CASTOR Christophe Suire 3 Apparemment impossible à utiliser hors du CERN !? running & queue jobs are coming from cern lx farm

28 Ressources au CCIN2P3 4 Christophe Suire CPU : ?? au moins quelques centaines…(max #jobs 242) HPSS : 20 TO dont 12 disponibles (à vérifier) NFS : 1.6 TO (5 T0 demandés) ( + home/afs et scratch directories) Et pourquoi pas : 1 queue pour la production (prioritaire pendant les PDCs) 1 queue pour les utilisateurs (toujours ouverte). Parfait pour l'apprentissage d'AliEn/gLite (si installé au ccin2p3 !). Utilisation des machines Alice

29 Conclusions à débattre Christophe Suire Problèmes et solutions pour le Tier-2 Ile de France ?! Migration des simulations/analyses vers le Tier-1 ccin2p3 Analyse (future) dans Alice = utilisation de la Grid. Se familiariser avec les outils (software) dès que possible Questions (from Yves) –AF, PAF pour AFP ? –Quel usage ? Pour qui ? Quelle taille ? … autres…

30 To Be Continued….

31 2 Christophe Suire PARADIGME, subst. masc. A. 1. GRAMM. Ensemble des formes que peut prendre un élément (généralement un mot). Synon. déclinaison, flexion. Il suffit d'y jeter un coup d'oeil pour apercevoir la relation qui existe entre les paradigmes grec et latin (SAUSS., Ling. gén., 1916, p.15). Jamais il ne serait tenté de restituer un paradigme sans pronom: aime, aimes, aime, aimons, etc., auquel l'écriture traditionnelle fait croire (BALLY, Lang. et vie, 1952, p.25). QUI - QUE - QUOI forment un paradigme pronominal, ils constituent un pronom fléchi (G. MOIGNET, Ét. de psycho-systématique fr., 1974, p.163). En partic., vieilli. Ensemble des formes que peut prendre un mot présenté comme modèle des formes pour ce type de mot. Paradigme de flexion. La conjugaison d'aimer est le paradigme de la première conjugaison des verbes français (Ac. 1798, 1878). 2. P. anal. Exemple type présentant toutes les variations du type. Il faut bien qu'un certain produit entre tous, celui dont la valeur paraîtra la plus authentique (...) soit pris pour type, c'est-à-dire tout à la fois pour instrument de circulation et paradigme des autres valeurs (PROUDHON, Syst. contrad. écon., t.2, 1846, p.87). M. Georges Seurat, le premier, a présenté un paradigme complet et systématique de cette nouvelle peinture (F. FÉNÉON, Les Impressionnistes ds PLOWERT 1888). Judas est leur type; leur prototype et leur surtype, ou, si l'on veut, le paradigme certain des ignobles et sempiternelles conjugaisons de leur avarice (BLOY, Salut par Juifs, 1892, p.75). B. LING. Ensemble des unités d'un certain type apparaissant dans un même contexte et qui sont de ce fait dans un rapport d'opposition, de substituabilité (p.oppos. à syntagme). Dans l'article que je viens de citer, Sechehaye construit (...) un paradigme dont les termes sont des phrases françaises (R. GODEL, Limites de l'analyse segmentale ds Cah. F. Sauss. t , p.133). C. ÉPISTÉMOL. Conception théorique dominante ayant cours à une certaine époque dans une communauté scientifique donnée, qui fonde les types d'explication envisageables, et les types de faits à découvrir dans une science donnée. Changement de paradigme. Au-delà de leurs divergences, ce qui rapproche Kuhn et Feyerabend, c'est leur insistance sur le manque de convergence du développement scientifique. Le cri de ralliement de l'opposition à l'empirisme, c'est la découverte de l'incommensurabilité entre des paradigmes séparés par une révolution scientifique (P. JACOB, L'Empirisme logique, Paris, éd. de Minuit, 1980, p.27). Prononc. et Orth.: [ ]. Att. ds Ac. dep Étymol. et Hist «exemple, modèle» (THEVET, Hommes ill., fo 340 vo ds GDF. Compl.); 2. a) 1752 «mot-type qui est donné comme modèle pour une déclinaison, une conjugaison; ensemble typique des formes fléchies d'un mot pris comme modèle» (Trév.); b) 1967 «ensemble des termes qui peuvent figurer en un point de la chaîne parlée, axe des substitutions» (DUB.). Empr. au b. lat. paradigma «exemple, comparaison», également terme de gramm., gr. «modèle, exemple» (de «mettre en regard, en parallèle, montrer», de «auprès de» et de «montrer»). Bbg. GODEL (R.). Cah. F. Sauss. 1978, no32, p.134.


Télécharger ppt "Alice France Computing kSI2K et petaBytes, Xeon2.8GHz, middleware, Mass Storage, EGEE, gLite ou AliEn, PROOF, globus, LCG Journées ALICE France Physique."

Présentations similaires


Annonces Google