Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 1 L’informatique à D0 D0 à FNAL Données du Run II Infrastructure matérielle Stockage/Accès aux données Infrastructure logicielle Logiciels d’analyse Monte Carlo à D0 D0 à Lyon Installation software D0 HPSS et stockage des données BBFTP/transfert des données Station SAM à Lyon Les données D0 et le CCIN2P3

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 2 Les données du Run II Taux moyen d’acquisition : 20 Hz Taille moyenne d’un événement RAW : 250 Kb Reconstruit : 125 Kb DST : 84 Kb  DST : ~ 10 Kb + Bases de données (Oracle) : quelques centaines de Gb D0 au Run II (1 Avril 2001 !) 600 Millions d’événements par an HORS Monte Carlo ( 150 Tb/an ) ( 75 Tb/an ) ( 50 Tb/an ) ( 6 Tb/an ) ~ 300 Tb/an Stockage disque:  DST + staging temporaire + lots analyses 7 Tb/an Stockage K7 : RAW (hors robot)+ reconstruction + DST ~ 300 Tb/an

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 3 Infrastructure matérielle SGI-IRIX Origin processeurs – 21 Tb – 64 Gb : Disques données, SAM cache Jobs batch (LSF) et interactif 4 processeurs : Serveur des users home PC-Linux Desktops-clusters Building du soft D0/Linux ferme de reconstruction Serveur d’analyse PC-NT-2000 Desktop Serveurs NT Building du soft D0/NT ferme de reconstruction online SUN Serveurs Oracle (on/offline)

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 4 Stockage/Accès aux données SAM (Sequential Access Model) Système Client-serveur Dialogue avec data base Oracle et système de stockage Tourne sur différents hosts (SGI, Linux) regroupés en stations logiques ENSTORE Gestion de la robotique/bandes Robot : type ADIC AML/2 Cluster Linux 4 bi-pro : Config, log,pnfs,alarm 14 bi-pro : movers (28 drives)

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 5 Infrastructure logicielle Produits : Les logiciels sont groupés en produits (FNAL ou D0) UPS/UPD (méthodologie) : Les produits (versions, dependances,etc..) sont gérés par : UPS (Unix Product Support) : Gestion base de données des produits locaux UPD (Unix Product Distribution) : Interrogation base de données/Installation des softs à partir des serveurs de soft à FNAL CVS : Le soft est organisé en «packages » gérés par « cvs » Compilation : KAI C++ pour Unix et VC++ pour NT SRT(2) (SRT : Software Release Tools - BaBar) : Controle de la Compilation et du link Ensemble de makefiles donnant accès d’une façon transparente aux différentes librairies (CTEST/CTBUILD - D0) Releases : Ensemble de tous les « packages » de D0 avec un certain « tag » Il y a une release « test » par semaine (txx.yy.zz) et quelques releases de « pro »duction (pxx.yy.zz) par an. ( Linux FRH 6.1, IRIX 6.5 et Windows NT) Sécurité : Authentification Kerberos ( ssh, scp, « telnet-ftp »+cryptocard ). Pas de AFS !

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 6 Logiciels d’analyse à D0 Le framework : Cadre logiciel de générations, reconstructions et analyses (C++) Z0OM : Librairies des classes C++ de FNAL D0OM : Interface pour la persistence des objets de D0. Découplage du produit de I/O : DSPACK ( NA49 – Structures C) EVPACK : DSPACK amélioré par D0 (C++). Accès direct et compression des données MSQL Oracle ROOT : Outil d’analyse OpenInventor : Graphique et visualisation des événements

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 7 Production Monte Carlo Programme de simulation (D0gstar) basé sur GEANT 3.21 « wrappé » dans C++ En moyenne 1.5 Mb par événement – 6 minutes de CPU sur une SGI R12000 D0 : Essentiel de la simulation en dehors de FNAL : Lyon, NIKHEF, Prague… Une fois la simulation faite, retour à FNAL et stockage dans SAM+ENSTORE Reconstruction des événements dans les fermes de bi-processeurs Linux Pentium III de 500 à + de 750 MHz 512 Mb 40 Gb Processing : 5 à 10 s/event Besoins estimés à une centaine de millions d’événements par an

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 8 D0 à Lyon Installation software Le centre de calcul de l’IN2P3 est site officiel de production Monte Carlo D0 a poussé le CCIN2P3 à introduire la plateforme Linux (Le code de D0 ne tourne pas sur AIX/HP) Le software nécessaire à la production Monte Carlo y est installé L’installation de « releases » complètes était difficile : Paths AFS + UPS trop long, demande modif dans tcsh !  binaires inutilisables, recompilation obligatoire ! Manque de path officiels  binaires inutilisables, recompilation obligatoire ! Une release a une taille moyenne de 3-4 Gb. 2 Gb de partition (AFS) est une contrainte Récement : Introduction d’un PC-Linux « ccd0 » sur lequel une installation automatique de release peut se faire Création de liens /D0 et /d0dist pointant sur la partition AFS contenant le software D0

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 9 HPSS et stockage de données Le centre de calcul de l’IN2P3 utilise HPSS comme moyen de stockage massif D0 utilise intensément HPSS depuis Décembre 2000 Les données en format DSPACK sont lues/écrites sans aucun problème sur HPSS Problèmes rencontrés avec le format EVPACK. Résolus en introduisant l’interface « RFSTREAM » qui permet de lire les fichiers directement dans HPSS (encore quelques problèmes aux links entre le soft D0 et « rfstream ») Chiffres de stockage D0 dans HPSS : ~ 2 Tb de Monte Carlo déjà stockés

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 10 BBFTP/transfert de données D0 utilise BBFTP pour le transfert des données depuis/vers le CCIN2P3 BBFTP : Outil crée au centre de calcul pour BABAR (objectivity) Amélioré pour D0 (sécurité, encryption « ssh »,etc …) Il y a plus de un an BBFTP tournait à partir de « xstage » BBFTP amélioré avec une interface « RFIO » et donc peut aller chercher les données directement dans HPSS Fermilab utilise la version incluant l’authentification Kerberos La vitesse moyenne de transfert est de 17 Mbit/s (2 fichiers à la fois): (BBFTP configuré avec 5 streams, valeur optimale pour HPSS)  Lyon  CERN : 155 Mbit/s  CERN  STARTAP (Chicago) : 155 Mbit/s  STARTAP  FNAL : 20 Mbit/s

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 11 Station SAM à Lyon Les données de la production Monte Carlo au CCIN2P3 sont stockées dans HPSS SAM fait l’export (l’import) des ces données vers (de) Fermilab En 2001 : La station SAM du centre de calcul est installée La station tourne depuis quelques semaines Récement les routines de SAM ont été adaptées pour BBFTP  La station SAM_BBFTP : marche très bien dans le sens Lyon  FNAL  Pour l’import (FNAL  Lyon) : SAM utilise un disque cache de plus de 1 Tb Solution impossible au ccin2p3 ! Contourner ce problème en faisant que l’espace HPSS soit vu comme disque local (RFIO) Problème : D0 n’utilise pas RFIO Solution : Passer par un disque cache au ccin2p3 ? (Seuls les utilisateurs autorisés peuvent faire du déclare/store dans SAM)

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 12 Les données D0 et le CCIN2P3 Sachant que D0 produit : 50 Tb par an de données en format DST 6 Tb par an de données en format mDST (TMB) Le transfert se fera par réseau (bbftp) mDST: Les analyses de D0-France dans SUSY et TOP ~ 2 à 4 Tb a DST : Reconstruction sur site a besoin de copie de base de données

Smain Kermiche 23/07/2001 Journées Informatique IN2P3 DAPNIA 13 L’équipe D0 du CCIN2P3 D0-France : A. Balandras : Scripts de production Monte Carlo L. Duflot : Installation software M. Jaffré : Insallation software ( Monte Carlo ), BBFTP E. Lebreton : HPSS, BBFTP P. Lebrun : HPSS, SAM et SAM_BBFTP Centre de calcul : G. Farache : BBFTP F. Hernandez : HPSS