D0 côté info D0 à FNAL  Données du RunII  Infrastructure matérielle  Infrasturucture logicielle  Monte Carlo à D0 D0 à Lyon  Production Monte Carlo.

Slides:



Advertisements
Présentations similaires
GEF 435 Principes des systèmes dexploitation Les systèmes dexploitation en général (Tanenbaum 1.1 et 1.3)
Advertisements

CRÉER UNE APPLICATION INTERNET RELIEE A UNE BASE DE DONNEES
A NETWORK-AWARE DISTRIBUTED STORAGE CACHE FOR DATA INTENSIVE ENVIRONMENTS Brian L. TIERNEY, Jason LEE, Brian CROWLEY, Mason HOLDING Computing Sciences.
Le Grid Computing Par Frédéric ARLHAC & Jérôme MATTERA.
CLUSTERING Grappe d'ordinateurs.
PLAN du COURS Introduction Structure des Systèmes Informatiques
PROJET DATAGRID À lIPSL (Pôle Données) C. Boonne Réunion DataGRID - 31/01/ Lyon.
Lyon/ENS DATA GRID-ATLAS ISN Grenoble 1 Portage dune application de physique sur la datagrid Application existante : –Génération/simulation/reconstruction/analyse.
Intégration du système de production LHCb sur la DataGRID V. Garonne, CPPM, Marseille Réunion DataGRID France, 13 fv fév
Systèmes d’exploitation
30 octobre 2002 Orsay Tracking – analyse des données Définition claire des objectifs, des limites Le travail a déjà commencé (TMR) Compte-rendu ? Base.
Chap 4 Les bases de données et le modèle relationnel
Le protocole FTP.
Oracle VM VirtualBox (anciennement SUN VirtualBox)
Les nouveautés Windows Server 2012
Alain Romeyer - 15/06/20041 UMH Machines livrées le 08/04/2005 Configuration choisie (différente des autres sites) : 6 machines SUN Fire V20Z.
Les outils de déploiement
Présentation de Windows 2000 Quest-ce que Windows 2000? 2 versions principales : 1.Windows 2000 Professionnel : Système dexploitation client (comme Windows.
Module 8 : Maintenance des logiciels à l'aide des services SUS
Lyon, 24/04/2007 Ce que l'application a besoin de connaître: Paramètres physiques par scénario de 150 ans Nombre et numéro d'ordre des mois à effectuer.
Réunion de collaboration du 9-10 Juillet 2008 J.L. Béney 1 Logiciel At  Client-Serveur Tcp/ip de la station autonome  Influence de l'architecture matérielle.
31/01/2001Réunionn WP6-Y. Schutz (SUBATECH) 1 Simulation-Reconstruction ALICE Une application pour le TestBed 0 ?
Plan Définitions et exemples Composants de cluster
Virtualisation d'un serveur sous VMWare Server
Le contenu est basé aux transparents du 7 ème édition de «Software Engineering» de Ian Sommerville«Software Engineering» de Ian Sommerville B.Shishedjiev.
Offre DataCenter & Virtualisation Laurent Bonnet, Architecte Systèmes Alain Le Hegarat, Responsable Marketing 24 Novembre 2009.
Mod è le de Calcul CMS C. Charlot / LLR CTDR:
Résumé CHEP 2010 Distributed processing and analysis Grid and cloud middleware Thèmes : 1.
Module 3 : Création d'un domaine Windows 2000
Tier1 at the CC-IN2P3 March Current state at the CC-IN2P3 storage, computation, network...
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
1 Cours Installation & Configuration de machines Linux Formation GTI Ahmed Jebali.
Optimisation par la virtualisation, et réflexions pour aller au-delà
Le Tier2 de Subatech Logiciel : Jean-Michel Barbet
Palaiseau Réunion CCIN2P3/LCG 22/07/2004 Distribution des données CMS Distribution des données et préparation de l’analyse Production MC distribuée et.
L’environnement Labo : Laboratoire de Physique des Particules d’Annecy-le vieux: LAPP (PP, Astro) Effectif du labo : 144 personnes Nombre d’IT : 76 dont.
Déploiement OS via Clonezilla
Linux (et le logiciel libre) à l'eivd
La recherche pour l’ingénierie de l’agriculture et de l’environnement SSI : Service des Systèmes d’Information Arcintel Administration des postes de travail.
Les fermes de PCs au Centre de Calcul de l’IN2P3 Journée « ferme de PCs » 27 juin 2000 Benoit Delaunay
ATLAS Ghita Rahal CC-IN2P3 Novembre 9, /6/2006Réunion CAF2 Activités Création et externalisation d’outils de monitoring de l’état du T1 (CPU,
1 Activités top au CPPM Permanents: F. Hubaut, E. Monnier, P. Pralavorio Thésard: B. Resende Visiteur: C. Zhu  : polarisation du W et du top.
Développement et maintenance sur le projet RefPack
T. Le Flour LAPP Annecy BABAR Event Browser Annecy 15/16 Mars 2000.
Introduction Rappels : Accès serveurs Unix Ensimag via ssh et sftp
Calcul et Grille CMS ou comment on extrait les aiguilles de la botte de foin Conseil scientifique LLR 14/10/2010 C. Charlot.
Calcul pour le spatial & le CC-IN2P3 Jean-Yves Nief (CC-IN2P3)
Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 1 L’informatique à D0 D0 à FNAL Données du Run II Infrastructure matérielle Stockage/Accès.
Smain Kermiche Reunion D0 France - Strasbourg /11/ Installation du soft de D0 au CCin2p3 Structure du soft /fnal, /d0usr /d0dist Data bases.
Gestion de configuration
Yannick Patois _ Journée du Libre _ 1er Novembre n° 1 Datagrid Une grille de calcul sous Linux Yannick Patois.
29 mars 2006J-P Meyer1 Evaluation des besoins en infrastructures et réseau  Evaluation des besoins en infrastructures  Evaluation des besoins réseau.
TOUT SAVOIR SUR L’OFFRE INFORMATIQUE NOTRE PARTENAIRE : DELL.
BaBar France 18/01/2010 Vincent Poireau 1 Page d’aide :
NATEXIS ALTAÏR Systèmes d'information et logistique © Natexis Banques Populaires 2004 Guide Share, 30 septembre 2004 NATEXIS ALTAIR Expériences déménagements.
Journées informatique IN2P3/Dapnia, Lyon Septembre 2006 Consolidation des serveurs par virtualisation Retour d’expérience sur l’utilisation de VMware.
BABAR Georges Vasseur CEA Saclay, DSM/IRFU/SPP Workshop sur l’analyse des données au centre de calcul de Lyon 17 avril 2008.
Migration du système de sauvegarde d’une infrastructure locale à un système centralisé IN2P3 101/06/2016 HEPIX Spring 2013 Muriel Gougerot (LAPP) and Remi.
Eric Lançon1 Calcul ATLAS en France Le CAF au PAF * CAF : Calcul Atlas France *Célèbre contrepèterie.
ATLAS et l’analyse au CCIN2P3  Le modèle de calcul de ATLAS  L’analyse à Lyon  Points critiques Avertissement : cette présentation n’est malheureusement.
CEA DSM Irfu Mises à jour de sécurité… … et la pratique F.SCHAER.
CAF LCG-FRANCE A.Rozanov LCG France 22 Juillet SOMMAIRE Composition CAF DC2 ATLAS Demandes fin 2004.
Biennale du LPNHE 2011, 20/09/ Le projet GRIF-UPMC : évolution et utilisation Liliana Martin Victor Mendoza Frédéric Derue
CMS CCRC08 phase 2 C. Charlot / LLR LCG-DIR juin 2008.
C. Charlot, LLR Ecole Polytechnique DC04 CMS Objectif numéro 1: préparation du traitement offline Différent des productions MC précédentes Mise en route.
Configuration des sites Intérêt de la mutualisation ! Existant avec Quattor Tendance Puppet Discussion.
Projet LCG: Vue d’Ensemble Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3 Rencontre IN2P3/STIC Grenoble, 25.
20-mars-2008Eric Lançon1 Activités ATLAS sur le nuage Français Emprunts a K. Bernardet, C. Biscarat, S. Jezequel, G. Rahal.
CALCUL ATLAS LCG France (CC IN2P3 Lyon) 30 Avril SOMMAIRE Data Challenge 2 (DC2) d’ATLAS Utilisation du CC IN2P3.
Réunion Analyse D0 France au CCIN2P3 19 janvier 2004
Transcription de la présentation:

D0 côté info D0 à FNAL  Données du RunII  Infrastructure matérielle  Infrasturucture logicielle  Monte Carlo à D0 D0 à Lyon  Production Monte Carlo à Lyon  Les données D0 et le CCin2p3 D0 au CPPM  Aspect matériel  Aspect logiciel  Données locales Réunion générale du CPPM - 29/06/ Smaïn Kermiche 1

Les données du Run II Taux moyen d'acquisition: 20 Hz Taille d'un événement RAW: 250 Kb Evénement reconstruit (STA) : 125 Kb Evénement analyses (DST) : ~ 84 Kb Evénement Objets de physique (TMB) : 5 Kb + Bases de données (Oracle) : centaines de Gb D0 - RunII 600 Millions d’événements/an HORS MONTE CARLO ( 150 Tb/an ) ( 75 Tb/an ) ( 50 Tb/an ) ( 3 Tb/an ) ~ 300 Tb/an Stockage disque : TMB + staging temporaire + lots d'analyses 7 Tb/an Stockage robot : RAW + STA + DST ~ 300 Tb/an Réunion générale du CPPM - 29/06/ Smaïn Kermiche 2

Infrastructure matérielle PC-NT-2000 Desktops Serveurs NT Online/Building soft D0 sous NT SUN Serveurs Oracle (on/offline) SAM (Sequential Access Model) Cluster PC Linux Data base file/event catalog Accès aux données (disque/bande) ENSTORE Gestion de la robotique/ bandes Cluster PC Linux SGI-IRIX-Origin processeurs  disques données, SAM cache  Jobs batch (LSF) et interactifs 4 processeurs  serveurs des user home PC-Linux Desktops Cluster Linux Building du soft D0 sous Linux Ferme de reconstruction on/offline Réunion générale du CPPM - 29/06/ Smaïn Kermiche 3

Infrastructure logicielle Produits : Les logiciels sont regroupés en produits (FNAL ou D0) UPS/UPD (méthodologie): Les produits sont gérés (versions, dépendances,...) : UPS (Unix Product Support) : Gestion base de données produits locaux UPD (Unix Product Distribution) : Permet l'interrogation des bases de données à FNAL (pour/et) mise à jour des produits Locaux. CVS : Le soft est organisé en "packages" gérés par "CVS" SRT ( Software Release Tool-BaBar) : Controle la compilation et le link. Ensemble de makefiles donnant accès de facon standard aux librairies (fortran, C++, CORBA, cern,etc). Rendu transparent grâce à CTBUILD Le framework : Cadre logiciel de génération, reconstruction et analyses (C++) Releases : Chaque release fait référence à un "tag" de chaque package. Il ya une release "test" par semaine (txx.yy.zz) et quelques releases de "pro"duction (pxx.yy.zz) par an. (Linux FRH 6.1, IRIX 6.5 et Windows NT) Sécurité : Authentification Kerberos (ssh, scp,"telnet-ftp"+cryptocard), No AFS Réunion générale du CPPM - 29/06/ Smaïn Kermiche 4

Monte Carlo Programme de simulation (D0gstar) basé sur GEANT 3.21 "wrappé" dans C++ En moyenne 1.5 Mb par événement - 6 minutes de CPU sur SGI R D0 : essentiel de la simulation en dehors de FNAL : Lyon, NIKHEF, Prague, etc... Besoins estimés à une centaine de Millions d’événemments 5 Réunion générale du CPPM - 29/06/ Smaïn Kermiche Reconstruction à FNAL dans la ferme 50 2XPIII,500 Mhz, 512 Mb, 40 Gb (5-10s/event) Une fois la simulation faite, retour à FNAL et stockage dans SAM+ENSTORE

D0 à Lyon Le CCIN2P3 à Lyon est site officiel de production Monte Carlo Installation basée sur la production Monte Carlo pour la physique et la calibration Après production, stockage dans HPSS (Lyon), mais aussi transfert (via bbftp) vers SAM (FNAL) Monte Carlo Analyses (stratégie à définir) DST : 120 Kb X 6 M events/an ? Transfert par DLT de 50 Gb coût ? Qui produit les copies ? Besoin de database (ou copie) pour reco, etc.. TMB : 5 Kb X 6 M events/an ? Ftp, autres ? Root Tuples ? Réunion générale du CPPM - 29/06/ Smaïn Kermiche 6

D0 au CPPM-matériel Mard01 PIII-450MHz-256MB 35 Gb disque SCSI Mard03 PIII-450MHZ Mard08 PIII-647MHz Mard04 PIII-500MHz Mard05 PIII-500MHz Mard06 PIII-500MHz Mard07 PIII-447MHz Marconi PIII-531MHZ Actuellement Réunion générale du CPPM - 29/06/ Smaïn Kermiche 7

D0 au CPPM-logiciels Toutes les machines sont sous Fermi-Linux RedHat 6.1 (CD fourni par FNAL) L'installation utilise les produits FNAL, mais aussi les produits RedHat commun au CPPM (e.g : sous /usr/local) UPS et UPD viennent avec cette version de Linux Installation des produits FNAL/D0 à partir de mard01 Les disques de mard01 sont exportés NFS vers les autres mard0"n" pour le travail local (quelques problèmes observés avec NFS-Linux lors de compilations !!) Actuellement : 5 releases "test" installées (D0RunII) (2 assez anciennes et 3 récentes) à FNAL : Sur disque, que les 3 dernières releases "test" + quelques releases "pro" Bientôt au CPPM : Suivre le schéma de FNAL (à quel rythme?) évidement il faut du disque (3 à 4 Gb par release). Données : au "minimum" avoir les TMB ou ntuples localement, à étudier Réunion générale du CPPM - 29/06/ Smaïn Kermiche

D0 au CPPM-matériel Nouvelle configuration Serveur bi-pro (PowerEdge 2500) Serveur de disques (SnapServer 4100) Réunion générale du CPPM - 29/06/ Smaïn Kermiche 9