Journée Analyse D0, 19 janvier 2004 Stockage à l’IN2P3 Journée Analyse D0, 19 janvier 2004 Philippe GAILLARDON Équipe stockage URL http://www.in2p3.fr/CC 19 janvier 2004 D0 stockage

Type d’espaces distribués AFS Conçu pour environnement distribué Xtage Gestion des volumes magnétiques par l’utilisateur Évolution: nouveaux dérouleurs, fichiers 2 GO HPSS Données d’expérience et d’utilisateurs Orienté gros fichier et temps de traitement long Semi-Permanent Couvre des besoins non couverts par AFS et HPSS 19 janvier 2004 Stockage à l’IN2P3

AFS Types d’espace Limitations Évolution AFS HOME AFS THRONG Sauvegardé et un volume AFS GROUP Correspond à des données permanentes ou non Limitations Performances dès que les données deviennent volumineuses Taille des partitions à 8 GO Évolution OPEN AFS et KERBEROS 5 Nouveaux serveurs 19 janvier 2004 Stockage à l’IN2P3

HPSS Espace hiérarchique accédé par nom de fichiers Volume non limité par la technologie disque actuelle Qualité de service par Classe de Service (COS) Affectation de ressources Performances COS 0 en standard (utilisateurs et expériences) COS spécifiques pour certaines expériences 19 janvier 2004 Stockage à l’IN2P3

Accès HPSS RFIO GRID Serveurs spécifiques Le mode privilégié est la recopie en local par rfcp. Il faut gérer ses fichiers dans une base de données GRID Interfaçage du SE en mode basique Le module de connexion doit être adapté Serveurs spécifiques SAM (D0) pour la gestion du catalogue SRB (utilise l’API HPSS) 19 janvier 2004 Stockage à l’IN2P3

HPSS Statistiques 400 TO dans HPSS Débit cumulé moyen Doublement chaque année Débit cumulé moyen Juin 2003: 151 TO, 58 MO/sec Journée pic: 10,4 TO, 120 MO/s Utilisation très variée selon les expériences Publication: http://doc.in2p3.fr/hpss/ 19 janvier 2004 Stockage à l’IN2P3

Volume transféré par jour Total de l'ensemble des serveurs:                                                                                                                                                                                                      Statistiques annuelles sur le volume transféré pour les différents serveurs HPSS. Ces statistiques sont cumulées par jours (24 h). Elles ont 1 jour de retard. En bleu: volume transféré en lecture. En vert: volume transféré total. 19 janvier 2004 Stockage à l’IN2P3

HPSS – Matériel État actuel En cours 1 serveur central 6 serveurs disques (dont 3 serveurs RFIO) 11 TO disques 19 serveurs bande (dont 1 serveur RFIO pour Babar) 28 dérouleurs 9840 20 dérouleurs 9940B (200 GO) Réseau Gigabit En cours 2 serveurs disques et 3,6 TO disque Changement du serveur central Essais double Gigabit 19 janvier 2004 Stockage à l’IN2P3

Ethernet Switch (Cisco 6509) Architecture 9840 Mover 1 Core Server 9940 Mover 32 6 Movers RFIOD 2 TO Ethernet Switch (Cisco 6509) rfio client … Mover 2 Méta-données Réseau contrôle Réseau données 19 janvier 2004 Stockage à l’IN2P3

D0 HPSS – Ressources allouées Ressources physiques dédiées D0 via COS 21 et 22 2 serveurs disques dont un serveur RFIO 4 TO 2 serveurs disques sont en attente de disque Volumétrie COS 10 45178 files 898182 MB < 19 MB/file> COS 11 13692 files 1899088 MB < 138 MB/file> COS 12 1009 files 1121295 MB < 1111 MB/file> -------------------------------------------------------- COS 0 58879 files 3918565 MB COS 21 73214 files 5138260 MB < 70 MB/file> COS 22 142964 files 57986504 MB < 405 MB/file> 19 janvier 2004 Stockage à l’IN2P3

D0 HPSS Utilisation Interfaces spécifiques avec SAM COS 21 et 22 Transferts par BBFTP Bandes COS 22 en 9940B (200 GO) 3000 bandes  300 (55 € / bande) Assignation des disques Utilisation actuelle permet plus de 2 TO par serveur Marché 2003 (30 TO à 10 € / GO) non encore réalisé Remarques sur l’utilisation de HPSS Petits fichiers Quelques COS non prévus (3 et 4) 19 janvier 2004 Stockage à l’IN2P3

HPSS: Évolution Matériel Passage HPSS 5.1 Utilisation API HPSS Affectation de ressources (COS) à plus d’expériences Passage HPSS 5.1 Suppression de logiciels spécifiques (Encina, SFS, SAMI) Utilisation base de données SQL (DB2) Performances 10 fois supérieures en transactions Utilisation de Java Utilisation API HPSS Serveur SRB Fonctions spéciales (purge cache disque) Nécessité de passer en KERBEROS 5 pour généraliser 19 janvier 2004 Stockage à l’IN2P3

Espace de stockage semi-permanent Caractéristiques Stockage temporaire de données de petite taille (<100MO) Accès courts et aléatoires à un ensemble de fichiers Accès transparent aux données (interactif et batch) Stockage permanent ailleurs (HPSS) 19 janvier 2004 Stockage à l’IN2P3

Service d’espace semi-permanent: état actuel 10 expériences: SNOVAE, AUGER, BaBar, biométrie 7 TO alloués, 5 serveurs de disque Accès via NFS, RFIO Gestion de l’espace faite par l’expérience Évolutions Étude de solutions plus globales Achat de nouveaux serveurs avant fin 2004 19 janvier 2004 Stockage à l’IN2P3

Semi-perm: évolution de l’espace 19 janvier 2004 Stockage à l’IN2P3

Semi-perm: nombre de fichiers 19 janvier 2004 Stockage à l’IN2P3

Sauvegarde - Archivage: TSM Tivoli System Manager (TSM) Commercialisé par IBM 2 serveurs Sauvegarde AFS Home et Throng Machines de bureau et serveurs du centre Service centraux, données uniques d’expériences, GDT, laboratoires Archivage par Elliot Non supporté sous LINUX Local hors centre de calcul pour double copie Données uniques d’expériences, services centraux 19 janvier 2004 Stockage à l’IN2P3

Transferts réseaux BBFTP GRID HPSS Support fichiers 2 GO Transferts simultanés du même fichier GRID HPSS Annoncé pour 2003 19 janvier 2004 Stockage à l’IN2P3