29 mars 2006J-P Meyer1 Evaluation des besoins en infrastructures et réseau  Evaluation des besoins en infrastructures  Evaluation des besoins réseau.

Slides:



Advertisements
Présentations similaires
Fête de la Science 2011 Le LHC et ses expériences des géants pour sonder le coeur de la matière Bienvenue au Laboratoire De Physique Subatomique et de.
Advertisements

DataGRID PTB, Geneva, 10 April 2002 ATLAS Data Challenges Fede Eric.
Lyon/ENS DATA GRID-ATLAS ISN Grenoble 1 Portage dune application de physique sur la datagrid Application existante : –Génération/simulation/reconstruction/analyse.
MDS 2 Michel Jouvin LAL Pourquoi changer ? Sécurité –MDS non intégré avec GSI –Pas didentification des serveurs ni des utilisateurs.
Intégration du système de production LHCb sur la DataGRID V. Garonne, CPPM, Marseille Réunion DataGRID France, 13 fv fév
Les basses masses avec le spectromètre Dimuon dALICE Introduction générale Simulation des performances du spectromètre Dimuon Journées QGP - France R.
30 octobre 2002 Orsay Tracking – analyse des données Définition claire des objectifs, des limites Le travail a déjà commencé (TMR) Compte-rendu ? Base.
Alain Romeyer - 15/06/20041 UMH Machines livrées le 08/04/2005 Configuration choisie (différente des autres sites) : 6 machines SUN Fire V20Z.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks VO Fusion Pierrick Micout, CEA - DAPNIA.
Lyon, 24/04/2007 Ce que l'application a besoin de connaître: Paramètres physiques par scénario de 150 ans Nombre et numéro d'ordre des mois à effectuer.
Biennale du LPNHE 2011, 20/09/ Le projet GRIF-UPMC : évolution et utilisation Liliana Martin Victor Mendoza Frédéric Derue
31/01/2001Réunionn WP6-Y. Schutz (SUBATECH) 1 Simulation-Reconstruction ALICE Une application pour le TestBed 0 ?
1 P.0878 Implantation des moniteurs Spacelabs Rencontre de fermeture de projet.
Le réseau Data Center « Hadoop-ready » by
EGEE is a project funded by the European Union under contract IST Noeud de Grille au CPPM.
Point sur la caracterisation des HR2 M. Chefdeville 13 janvier 2010.
CEA-DAPNIAPierrick Micout Réunion Tier 2 « Ile de France » 22 juin 2005.
1 Little Higgs - JJC 2003 Test du Modèle du Little Higgs dans ATLAS Matthieu LECHOWSKI Journées Jeunes Chercheurs 2003 Journées Jeunes Chercheurs 2003.
CMS ATLAS LHCb CERN Tier 0 Centre at CERN National Centres Lab a Russia Lab c Uni n Lab b Manno Canada Uni y Uni x Tier3 physics department  Ge  Germany.
Mod è le de Calcul CMS C. Charlot / LLR CTDR:
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
L’environnement Labo : nom du labo (PP, PN, Astro éventuellement dans l’ordre d’importance) Effectif du labo : xxx personnes Nombre d’IT : xxx dont au.
Service Challenge 4 – Tests de Débit Bilan pour le Tier-1 LCG-France Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3
Le Tier2 de Subatech Logiciel : Jean-Michel Barbet
19 janvier 2006J-P Meyer1 Revue du projet GRIF  Les enjeux scientifiques (J-P Meyer)  Le calcul au LHC  Les Projet EGEE et LCG  Le projet GRIF  La.
Palaiseau Réunion CCIN2P3/LCG 22/07/2004 Distribution des données CMS Distribution des données et préparation de l’analyse Production MC distribuée et.
Soutenance de stage Projet Traçabilité Johan HAUWEL
L’environnement Labo : Laboratoire de Physique des Particules d’Annecy-le vieux: LAPP (PP, Astro) Effectif du labo : 144 personnes Nombre d’IT : 76 dont.
Michel Jouvin LAL/Orsay
1 Le groupe exploitation informatique au LAL Réalisations 2010 et projets 2011 Infrastructures de la Salle Machines Grille Services centraux et réseau.
La mise en place d’une infrastructure performante ne s’invente pas …
Recapitulatif des sujets abordés Frédérique Chollet Fabio Hernandez Fairouz Malek Réunion LCG-France Tier-2s & Tier-3s Paris, 20 mars 2008.
Des données numériques aux résultats de physique ATLAS offline reconstruction de données CERN ATLAS groupe ATC.
VLAN.
1 Colas RIVIERE - Croisement antennes/scintillateurs - Nantes, le 23 octobre 2006 Croisement Antennes / Scintillateurs vs.
Calcul et Grille CMS ou comment on extrait les aiguilles de la botte de foin Conseil scientifique LLR 14/10/2010 C. Charlot.
Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 1 L’informatique à D0 D0 à FNAL Données du Run II Infrastructure matérielle Stockage/Accès.
D0 côté info D0 à FNAL  Données du RunII  Infrastructure matérielle  Infrasturucture logicielle  Monte Carlo à D0 D0 à Lyon  Production Monte Carlo.
Yannick Patois _ Journée du Libre _ 1er Novembre n° 1 Datagrid Une grille de calcul sous Linux Yannick Patois.
GRIF Status Michel Jouvin LAL/Orsay
Expérience du déploiement d’une Virtual Organisation (VO) locale Christophe DIARRA
DE LA COLLISION A LA PUBLICATION. CE QUI S'EST PASSE.
BaBar France 18/01/2010 Vincent Poireau 1 Page d’aide :
5 mai 2008J-P Meyer1 Eléments de réflexion pour une ressource d’analyse - Trois exemples de travaux d’analyses effectuées à l’IRFU dans ATLAS: 1) AOD –>
BABAR Georges Vasseur CEA Saclay, DSM/IRFU/SPP Workshop sur l’analyse des données au centre de calcul de Lyon 17 avril 2008.
Eric Lançon1 Calcul ATLAS en France Le CAF au PAF * CAF : Calcul Atlas France *Célèbre contrepèterie.
04/06/20151J-P Meyer GRIF-10ans déjà! ( )
1Prod Monte Carlo sur le nuage français La production Monte-Carlo sur le nuage français J.Schwindling CEA / DAPNIA Organisation de la production Monte-Carlo.
LCG-France Edith Knoops CPPM. Le LHC LEP LHC > 95% UNKNOWN STUFF OUT THERE > 95% UNKNOWN STUFF OUT THERE Black hole 3.
1DSM - DAPNIA / MW0901 Lustre au DAPNIA. 2DSM - DAPNIA / MW0901 Machines utilisées –2 PC DELL de bureau optiplex GX280 : NODE08 : P4 à 3,2 Ghz – 2Mo de.
25/06/20101LCG - France CPPM Marseille L’expérience CMS à GRIF LLR – E.Poly.,Palaiseau: Pascale Hennion Paulo Mora de Freitas Igor Semeniouk Philippe Busson.
Grid au LAL Michel Jouvin LAL / IN2P3
CAF LCG-FRANCE A.Rozanov LCG France 22 Juillet SOMMAIRE Composition CAF DC2 ATLAS Demandes fin 2004.
Biennale du LPNHE 2011, 20/09/ Le projet GRIF-UPMC : évolution et utilisation Liliana Martin Victor Mendoza Frédéric Derue
CMS CCRC08 phase 2 C. Charlot / LLR LCG-DIR juin 2008.
6-7 Octobre 2008J-P MEYER1 Conclusions du groupe de travail thématique 7 Physique subatomique: - physique des particules, - physique nucléaire, - astroparticules.
C. Charlot, LLR Ecole Polytechnique DC04 CMS Objectif numéro 1: préparation du traitement offline Différent des productions MC précédentes Mise en route.
Projet LCG: Vue d’Ensemble Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3 Rencontre IN2P3/STIC Grenoble, 25.
1er septembre 2005J-P Meyer1 Statut du projet GRIF (Grille de Recherche d’Île de France) Rappel du projet But: Mettre en place une ressource d’analyse.
20-mars-2008Eric Lançon1 Activités ATLAS sur le nuage Français Emprunts a K. Bernardet, C. Biscarat, S. Jezequel, G. Rahal.
Biennale du LPNHE 2011, 184/09/ Analyses “Top” au LPNHE Paris Analyses 2010 ont porté sur des études sur les électrons : J/psi et b->eX utilisation.
F. DERUE, Réunion des sites LCG France, LPNHE, 20 mars Historique et but 2. Projet scientifique 3. Projet technique 4. Suivi des productions.
INFSO-RI Enabling Grids for E-sciencE Data management Daniel Jouvenot IN2P3-LAL ORSAY - 02/02/2007.
Efficacité de reconstruction des électrons de bas pt Fany Dudziak Réunion de physique ATLAS LAL le 13 décembre 2007.
CALCUL ATLAS LCG France (CC IN2P3 Lyon) 30 Avril SOMMAIRE Data Challenge 2 (DC2) d’ATLAS Utilisation du CC IN2P3.
Lustre au DAPNIA.
Vue d'ensemble de l'utilisation du CCIN2P3 par les expériences LHC
GRIF : Grille pour la Recherche en
Statut du T2 Île de France
Michel Jouvin LAL/Orsay
Transcription de la présentation:

29 mars 2006J-P Meyer1 Evaluation des besoins en infrastructures et réseau  Evaluation des besoins en infrastructures  Evaluation des besoins réseau  Tests de Transferts (T2-T2, T2-T1)

29 mars 2006J-P Meyer2  Evaluation des besoins en infrastructures Eléments de calcul Nb Wel/cpu100 Nb Wth/cpu70 Nb Ksi2k/cpu1,2 Nb U/cpu0,25 Annéeksi2kWelecWthNb U  Eléments de calcul Bi Optéron Bi cœur 2.2 GHz 2 disques, alim unique, 1U,... Hors machines de service: UI,SE,CE,BDII,RB,DPM

29 mars 2006J-P Meyer3  Eléments de stockage Eléments de stockage Nb Wele/TB51 Nb Wth/TB51 Nb U/TB0,8 Nb Serv/TB0,2 Nb Wel/Serv350 Nb Wth/Serv300 Nb U/Serv2 AnnéeTBWeleWthNb U NAS 4U 2U 6TB brut  5 TB effectifs Bi-pro mono cœur +

29 mars 2006J-P Meyer4 AnnéeWeleWthNb RackNb m  Total infrastructures 2m rack 1m 0,6m 98m 2 5m 2 /rack Tout est indicatif: erreur estimée: +- 20% Surestimé?

29 mars 2006J-P Meyer5  Evaluation Besoins Réseaux  en interne en partant des jobs réalisables sur la partie T2 du DAPNIA  avec l’extérieur en partant de l’espace disque disponible et des données AOD souhaitées sur le T2

29 mars 2006J-P Meyer6  Les besoins réseau : en interne AnnéeCPU(ksi2k)Disque (TB) Nb ksi2k/WN5,2 Nb cpu/WN4(Bi pro Bi cœur) Nb anajob/cpu0,25(1 Job/WN) Nb simjob/cpu0,75(3 Jobs/WN) Trafic/simjob0,1 (Mb/s)(650Mo/18h) trafic/anajob100 (Mb/s)(12,5Go/1000s) Trafic/WN 100,3 (Mb/s) (en moyenne) Nb FS/TB0,2(5TB/serveur)

29 mars 2006J-P Meyer7 Chaine de traitement des données: Pythia, (simule la collision p-p) GEANT3, GEANT4, … (simule la réponse du détecteur) reconstruction simulation génération ASCII  ROOT ROOT analyse ROOT (AOD et/ou ESD) ATHENA Reco (reconstruction des traces,…) ROOT (RooTup final) analyse finale publication Programme de filtrage (sélection d’un canal de physique) histogrammes Coupures finales, … (réjection du bruit de fond) 0,1 Mb/s 1 Mb/s 100 Mb/s

29 mars 2006J-P Meyer8 AnnéeNb WN Trafic Rés.Nb job Nb serv. Trafic Ser. Fic. (Mb/s)analysesimulationfichier(Mb/s)  Le trafic engendré (en interne):  Performances mesurées: Interne Serveur de fichier: Lec.  1.2 Gb/s; Ecr.  1 Gb/s Réseau Serveur de fichier: 800 Mb/s Actuellement: 1 serveur de fichier pour 10 TB  Le trafic engendré par 1 job d’analyse/WN sature déjà la configuration 2006  il faut passer à 1 serveur de fichier pour 5 TB Trafic interne DAPNIA: (1/4 job d’ana. 3/4 job de simul.)

29 mars 2006J-P Meyer9  Evaluation Besoins Reseaux  en interne en partant des jobs réalisables sur la partie T2 du DAPNIA  avec l’exterieur en partant de l’espace disque disponible et des données AOD souhaitées sur le T2

29 mars 2006J-P Meyer10 Le trafic engendré (externe)(1/2) Trafic externe entrant: (AOD dispo. en 4 semaines max) AnnéeGRIF (Mb/s)DAPNIA (Mb/s) eme hypothèses : En partant de l’espace disque disponible et des données AOD souhaitées sur le T2

29 mars 2006J-P Meyer11 Le trafic engendré (externe) (2/2) Trafic externe sortant: (SIMUL vers Tier1) (3/4 des jobs) AnnéeGRIF (Mb/s)DAPNIA (Mb/s) Trafic inter-site: ATLAS (LAL,DAPNIA,LPNHE) Année Trafic Rés. In Trafic Rés. Out (Mb/s) Supposons que 10% des jobs d’analyse vont lire les données sur un autre site

29 mars 2006J-P Meyer12 Tests de transferts pré SC4 en cours cette semaine pour le LAL, le LPNHE et le DAPNIA. Début des tests officiels SC4 T1  T2 en juin… Tests effectués DAPNIA - LAL et DAPNIA – LYON avec des outils classiques (lcg-cr, lcg-rep, lcg-cp) mais à partir d’un seul serveur de fichier pour le moment.  Résultats un peu décevant: - Transferts DAPNIA-LAL (100 Mbit/s)  saturation - DAPNIA-LYON (SE 01 ) (80 Mbits/s)  SE 01 à 100Mbit/s - Transferts DAPNIA-LAL+DAPNIA-LYON  120 Mbits/s  on s’attendrait plutôt à 180 Mbit/s - en interne au DAPNIA UI-SE avec les mêmes outils on atteint 600 Mbits/s! Ou est la limitation?