Journées ALICE France Physique AFP Alice France Computing kSI2K et petaBytes, Xeon2.8GHz, middleware, Mass Storage, EGEE, gLite ou AliEn, PROOF, globus, LCG Journées ALICE France Physique AFP 23-24 mai 2004 Christophe Suire

Alice France Computing Status Plan : AFP & Alice Computing Les bases (Y. Schutz) Résultats des sondages Discussions

AFP & Alice Computing Quels sont les points importants qui peuvent/doivent être discutés au niveau de l'AFP? s'assurer que les ressources sont suffisantes et utilisables (TIER-2/Laurent Aphecetche) mettre à jour un système de tutorial : AliRoot : installation et bases ccin2p3 : script/batch, hpss OU AliEn (opérationnel au ccin2p3 ??) s'assurer que chacun aura accès à des ressources pour faire tourner ses analyses de physique autres ? Christophe Suire 2

Le calcul

Un nouveau paradigme Les données du problème: Une quantité de données sans précédant: > Po/an Une grande collaboration: > 1000 collaborateurs Une répartition mondiale: > 80 Instituts, dans > 30 pays Une seule solution: la Grille Fédérer les ressources informatiques distribuées dans les Instituts Un intergiciel (middelware) permettant a tout utilisateur d’accéder aux ressources de façon transparente YS@AFP

Intergiciel ? PCFarm Physicien du Futur PCF PCF PCF Physicien du passé Intergiciel : AliEn – gLite transfert d'infos et de fichiers, authentification, file catalog, GUIs ?, etc… Christophe Suire

Réponse au défis LHC LCG (LHC Grid Computing): Collecte les ressources informatiques Développe, teste et distribue l’intergiciel (ensemble de services) Met le tout a la disposition des expériences EGEE (Enabling Grids for E-sciencE) Développe l’intergiciel « universel » Les expériences Adapte les services aux besoins (interface intergiciel) Développe et distribue les services propres (AliEn) Développe l’interface utilisateur (gShell) YS@AFP

Intergiciel pour le LHC ? L'intergiciel "officiel" de LCG sera g-Lite (en retard par-rapport à AliEn). Intergiciel commun à Alice-CMS-ATLAS-LHCb ?! Christophe Suire

Modèles de calcul Hiérarchique: Tier 0 : au CERN Stockage permanent des données brutes, calibrage, ESD Premier passage de reconstruction 1s: CERN et ailleurs (… CCIN2P3…) Stockage permanent d’une 2eme copie des données brutes, MC, ESD, AOD Stockage temporaire d’une fraction des données brutes, ESD, AOD, MC Passage supplémentaire de reconstruction Analyse organisée 2s: CERN et ailleurs (… Clermont, CCIN2P3, Nantes, Paris,…) Stockage temporaire des données MC, EESD, AOD Production MC Analyses individuelles YS@AFP

Model Hierarchique / Model Flou Note : en théorie, chaque "catégorie" de TIER est capable d'effectuer tous les types de tâches (cela dépend du middleware). mais : - les rawdata sont dans le TIER-0 (copie partagée dans les Tier-1) - la reconstruction sera prioritaire et occupera très largement les CPUs/disks des TIER-0 et TIER-1  Les analyses (dites chaotiques ) vont certainement etre circonscrites au niveau des TIER-2 Christophe Suire

Modèles de calcul Flou (cloud model): Chaque site peut effectuer n’importe quel type de tache en fonction Des ressources de calcul disponibles De la localisation des données Minimise le transport des données Optimise l’usage du CPU Nécessite toutes les fonctionnalités de la GRILLE YS@AFP

Traitement des données pp (identique aux autres expériences) Distribution des données et première reconstruction quasi en ligne dans T0 Reconstructions additionnelles dans T1’s pendant le reste de l’année AA (trop gourmand en temps de calcul) Calibrage, alignement et reconstruction tests pendant la prise de données au T0 Distribution des données et première reconstruction dans T0 pendant les 4 mois suivant la prise de données YS@AFP

YS@AFP

Les ressources requises YS@AFP

Les ressources requises TIER-2 Français TIER-1 ccin2p3 TIER-0 YS@AFP

Unités Note : le kSI2k…. ou le kilo SpecInt2000 1 kSI2k = puissance d'un pentium Xeon 2.8GHz Besoin d'Alice en 2009 estimés à 32 MSI2k  equivalent à 32000 processeurs (Xeon 2.8GHz) Christophe Suire

PAF (Parallel Analysis Facility) Une analyse parallèle en ligne des données (pas forcément distribuées) Utilise une grappe (~1000 nœuds) dédiée (ne fait rien d’autre) re-configurable, ROOT et PROOF PROOF USER SESSION PROOF SLAVE SERVERS PROOF MASTER SERVER PROOF SUB-MASTER SERVER Grid/Root Authentication Grid Access Control Service TGrid UI/Queue UI Proofd Startup Grid Service Interfaces Grid File/Metadata Catalogue Client retrieves list of logical files (LFN + MSN) YS@AFP

France T1@CC: Fournit de l’ordre de 15% (CPU, disque, MS) des besoins requis par ALICE dans T1’s AF@CC: ALICE demande un minimum, de l’ordre de 3% des besoins requis par ALICE dans T2’s T2s: Prévoit de fournir de l’ordre de 5% des ressources requis par ALICE dans T2s Questions AF, PAF pour AFP ? Quel usage ? Pour qui ? Quelle taille ? … YS@AFP

Parallel ROOT Facility The Parallel ROOT Facility, PROOF, is an extension of the ROOT system. It enables physicists to analyse large sets of ROOT files in parallel on computer clusters. Due to the increasing amount of data in High Energy Physics the ROOT developers at CERN decided to set ROOT on a parallel base. PROOF ( Parallel ROOT Facility ) is an extension of ROOT which allows a transparent and fast analysis of large sets of ROOT-files (ROOT-trees). The goal of PROOF is not only to increase the CPU-power by using multiple hosts, it also takes advantage of the possibility to access and analyse parallel one or more ROOT-files which are stored on several hosts, so you can increase the I/O-speed depending on the quantity of hosts. Christophe Suire 2

Parallel ROOT Facility Fons Rademakers Dernier Alice offline meeting Christophe Suire 2

Parallel ROOT Facility Fons Rademakers Dernier Alice offline meeting Christophe Suire 2

Etudes d'habitudes Comment travaillent les AliRooteurs ? (les plus jeunes…) Les simulations/analyses en cours… Strasbourg (étrangeté) Nantes (W's,Jpsi cent. dep.) Clermont (beauté pp et PbPb dans le bras Dimuon) Quelles ressources utilisent-ils ? Surtout des ressources locales Peu d'utilisation du ccin2p3 (sauf PDCs et Rachid) Clermont TIER-2 : peu utilisé pour l'instant – ça démarre Nantes TIER-2 : les Nantais Christophe Suire 2

Tour des TIERs Yves (DimuonNet'05 - Nantes) 15% (only !) of the resources at CCIN2P3 goes to ALICE (sharing of cost not of resources) T1 CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) CCIN2P3 (4 LHC) 1730 15% 766 12% 2 0,8 13% 10000 Le CERN fait un vrai partage ? T0 CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) CERN (4 LHC) 7500 ? ? % 1300 ?% 6 3,3 10000 Christophe Suire 2

Tour des TIERs  Yves (DimuonNet'05 - Nantes) ? ? ? CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) CCIN2P3/AF (4 LHC) 146 19 8 400 10000 Clermont-Ferrand (ALICE+ATLAS) 100 8.3 12 1000 Nantes (ALICE) 165 20 8,3 Paris 300 25 Total 711 5% 72,3 3% 9,8 ? ? ?  Question récurrente, pour 1 ferme de PC : % donné à LCG ? % donné à Alice ? Christophe Suire

Tour des TIERs Tier-2 CPU (kSI2K) Disk (TB) CPU/Disk (kSi2K/TB) MS (PB) WAN (Mb/s) Paris (4 LHC) 300 25 12 1000 Pour l'instant seul Alice-SPhN/DAPNIA contribue à ce Tier-2 Question récurrente, pour 1 ferme de PC : % donné à LCG ? % donné à Alice ? Lettre d'intention : répartition des ressources décidé par un comité de pilotage … 20% des ressources pourrqient etre dédiée aux laboratoires pour leurs besoins spécifiques Christophe Suire

Production de données PDCs04,05... Qui utilise les données des PDCs ? en France, (très peu de) personne(s) Strangeness : les évènements HIJING n'étaient pas assez étranges (Hijing feature) MAIS rectifié pour PDC05  simulation en local (~5h/event) Dimuon : pas de données avant PDC05 (vrai?) De toute façon, c'est pas facile …! Les données produites par les PDC sont sur bandes au CERN :  Cern Advanced STORage manager…. Christophe Suire 3

CASTOR Apparemment impossible à utiliser hors du CERN !? running & queue jobs are coming from cern lx farm Christophe Suire 3

Ressources au CCIN2P3 CPU : ?? au moins quelques centaines…(max #jobs 242) HPSS : 20 TO dont 12 disponibles (à vérifier) NFS : 1.6 TO (→5 T0 demandés) ( + home/afs et scratch directories) Et pourquoi pas : 1 queue pour la production (prioritaire pendant les PDCs) 1 queue pour les utilisateurs (toujours ouverte). Parfait pour l'apprentissage d'AliEn/gLite (si installé au ccin2p3 !). Utilisation des machines Alice Christophe Suire 4

Conclusions à débattre Problèmes et solutions pour le Tier-2 Ile de France ?! Migration des simulations/analyses vers le Tier-1 ccin2p3 Analyse (future) dans Alice = utilisation de la Grid. Se familiariser avec les outils (software) dès que possible Questions (from Yves) AF, PAF pour AFP ? Quel usage ? Pour qui ? Quelle taille ? … autres… Christophe Suire

To Be Continued….

PARADIGME, subst. masc. A. 1. GRAMM PARADIGME, subst. masc. A. 1. GRAMM. Ensemble des formes que peut prendre un élément (généralement un mot). Synon. déclinaison, flexion. Il suffit d'y jeter un coup d'oeil pour apercevoir la relation qui existe entre les paradigmes grec et latin (SAUSS., Ling. gén., 1916, p.15). Jamais il ne serait tenté de restituer un paradigme sans pronom: aime, aimes, aime, aimons, etc., auquel l'écriture traditionnelle fait croire (BALLY, Lang. et vie, 1952, p.25). QUI - QUE - QUOI forment un paradigme pronominal, ils constituent un pronom fléchi (G. MOIGNET, Ét. de psycho-systématique fr., 1974, p.163). En partic., vieilli. Ensemble des formes que peut prendre un mot présenté comme modèle des formes pour ce type de mot. Paradigme de flexion. La conjugaison d'aimer est le paradigme de la première conjugaison des verbes français (Ac. 1798, 1878). 2. P. anal. Exemple type présentant toutes les variations du type. Il faut bien qu'un certain produit entre tous, celui dont la valeur paraîtra la plus authentique (...) soit pris pour type, c'est-à-dire tout à la fois pour instrument de circulation et paradigme des autres valeurs (PROUDHON, Syst. contrad. écon., t.2, 1846, p.87). M. Georges Seurat, le premier, a présenté un paradigme complet et systématique de cette nouvelle peinture (F. FÉNÉON, Les Impressionnistes ds PLOWERT 1888). Judas est leur type; leur prototype et leur surtype, ou, si l'on veut, le paradigme certain des ignobles et sempiternelles conjugaisons de leur avarice (BLOY, Salut par Juifs, 1892, p.75). B. LING. Ensemble des unités d'un certain type apparaissant dans un même contexte et qui sont de ce fait dans un rapport d'opposition, de substituabilité (p.oppos. à syntagme). Dans l'article que je viens de citer, Sechehaye construit (...) un paradigme dont les termes sont des phrases françaises (R. GODEL, Limites de l'analyse segmentale ds Cah. F. Sauss. t.32 1978, p.133). C. ÉPISTÉMOL. Conception théorique dominante ayant cours à une certaine époque dans une communauté scientifique donnée, qui fonde les types d'explication envisageables, et les types de faits à découvrir dans une science donnée. Changement de paradigme. Au-delà de leurs divergences, ce qui rapproche Kuhn et Feyerabend, c'est leur insistance sur le manque de convergence du développement scientifique. Le cri de ralliement de l'opposition à l'empirisme, c'est la découverte de l'incommensurabilité entre des paradigmes séparés par une révolution scientifique (P. JACOB, L'Empirisme logique, Paris, éd. de Minuit, 1980, p.27). Prononc. et Orth.: [ ]. Att. ds Ac. dep. 1762. Étymol. et Hist.1. 1584 «exemple, modèle» (THEVET, Hommes ill., fo 340 vo ds GDF. Compl.); 2. a) 1752 «mot-type qui est donné comme modèle pour une déclinaison, une conjugaison; ensemble typique des formes fléchies d'un mot pris comme modèle» (Trév.); b) 1967 «ensemble des termes qui peuvent figurer en un point de la chaîne parlée, axe des substitutions» (DUB.). Empr. au b. lat. paradigma «exemple, comparaison», également terme de gramm., gr. «modèle, exemple» (de «mettre en regard, en parallèle, montrer», de «auprès de» et de «montrer»). Bbg. GODEL (R.). Cah. F. Sauss. 1978, no32, p.134. Christophe Suire 2