1 Performance des infrastructures de stockage LCG France Nov Benoit DELAUNAY CNRS/IN2P3/CC

LCG France - Benoit DELAUNAY 2 Glossaire E/SEntrée/Sortie FCFibre Channel HBAHost Bus Adapter LACPLink Aggregation Control Protocol LVMLogical Volume Manager MTUMaximum Transmission Unit NICNetwork Interface Card SASSerial Attached SCSI SATASerial Advanced Technology Attachment SCSISmall Computer System Interface

LCG France - Benoit DELAUNAY 3 Définition L’infrastructure de stockage, ou système de stockage, est l’ensemble de dispositifs matériels et logiciels, offrant des capacités de stockage et l’accès aux données à un niveau de performance défini.

LCG France - Benoit DELAUNAY 4 Composition

LCG France - Benoit DELAUNAY 5 Infrastructure de stockage HBA NIC ServeurDispositif de stockage disques + contrôleur Réseau OS client Contrôleur

LCG France - Benoit DELAUNAY 6 Disques de stockage (1/2) Application attributesHigh performance Enterprise Nearline EnterpriseTypical 2006 Desktop Rotational speed (rpm) 15,0007,2005,400 InterfaceFC, SASSATA Avg Power:. operating. idle W W W 7-9 W 8-12 W 6-9 W Nonrecoverable read erros per bits 1 sector per sector per sector per Serial link rate (Gb/s)2-4 FC, 2.0 SAS3.0.SATA SATA Noise (ISO 7779, bels). idle. performance seek Capacities (2006) GB GB GB Performance:. sustained transfer. average seek MB/s 3-4 ms MB/s 8-9 ms MB/s 8-10 ms Relative price per GB5-10x1.5x1x

LCG France - Benoit DELAUNAY 7 Disques de stockage (2/2) La performance dépend de la technologie de disque utilisée

LCG France - Benoit DELAUNAY 8 RAID 0RAID 5RAID 1 Redundant Array of Inexpensive Disks

LCG France - Benoit DELAUNAY 9 Redundant Array of Inexpensive Disks

LCG France - Benoit DELAUNAY 10 Redundant Array of Inexpensive Disks RAID0  + de perf avec + de disques  + de risques d’une perte de données RAID1  perf nominale d’un seul disque  tolérance à la panne : (n-1) disques RAID5  + de perf avec + de disques  tolérance à la panne 1 disque + de disques = + de performance

LCG France - Benoit DELAUNAY 11 Contrôleurs et adaptateurs Contrôleurs  Taille des caches en lecture et en écriture  Taille des segments (blocksize), nombre de voies (striping) Adaptateurs (HBA)  Taille des queues de commandes (queuedepth)  Seuils de régulation [/etc/modprobe.conf] # Qlogic QLE2460 4Gbps HBA - tuning parameters alias scsi_hostadapter1 qla2xxx options qla2xxx ql2xmaxqdepth=24 ql2xqfullrampup=10

LCG France - Benoit DELAUNAY 12 Interface réseau Technologie et débit  Ethernet 100, 1000 ou 10000Mbps  Infiniband 1x, 4x ou 12x 2Gbps Nombre de liens  Agrégation (bonding) Paramètres  Jumbo Frame (MTU)  Taille de buffer [/etc/sysctl.conf] # Myricom 10Gbps NIC - tuning parameters net.core.rmem_max = net.core.wmem_max = net.ipv4.tcp_rmem = net.ipv4.tcp_wmem =

LCG France - Benoit DELAUNAY 13 Agrégation de liens réseau IEEE 802.3ad ou LACP Permet d’augmentation la bande passante réseau à moindre coût Limitation : 1 transfert = 1 chemin

LCG France - Benoit DELAUNAY 14 Les différentes couches Disques Contrôleur E/S Adaptateur (HBA) Système d’exploitation Interface réseau (NIC) { Serveur Dispositif de stockage { Pilotes Noyau LVM App. Stockage

LCG France - Benoit DELAUNAY 15 Alignement HBANIC Device LVM Application Disque physique 512 octets /dev/sdw 256KO /dev/rootvg/lv01 256KO 1MO /dev/eth0 128KO

LCG France - Benoit DELAUNAY 16 Performance du système de stockage c’est dimensionner correctement toute la chaîne du système c’est synchroniser le fonctionnement de toutes les couches entre elles

LCG France - Benoit DELAUNAY 17 Système d’exploitation Linux A explorer :  /sys/block/  /proc/sci A configurer :  /etc/sysctl.conf  /etc/modprobe.conf Politique de gestion des entrées/sorties  ReadAhead, Write cache  Ordonnanceur d’entrées/sorties

LCG France - Benoit DELAUNAY 18 IBM DS4800 -Technologie SATA (bonne performance en séquentiel) -1 groupe RAID5 de 11 disques de 400GO (4TO utiles) -125 volumes de 32GO -Test écriture/lecture massive sur l’ensemble des volumes => Mauvaise performance !

LCG France - Benoit DELAUNAY 19 Conclusion Dans la plupart des cas d’utilisations, les performances d’une configuration par défaut suffisent. Il faut considérer l’ensemble de la chaîne, du client au disque de bout de chaîne. Augmenter la performance d’un système de stockage c’est souvent, ajouter des dispositifs matériels.

LCG France - Benoit DELAUNAY 20 Références Linux Performance and Tuning Guidelines (IBM RedBook Collection) A comparison of disk drives for enterprise computing (Kurt Chan) Agrégation de liens 802.3ad (Laurent Caillat- Vallet)