1 Performance des infrastructures de stockage LCG France Nov. 2008 Benoit DELAUNAY CNRS/IN2P3/CC.

Présentation au sujet: "1 Performance des infrastructures de stockage LCG France Nov. 2008 Benoit DELAUNAY CNRS/IN2P3/CC."— Transcription de la présentation:

1 1 Performance des infrastructures de stockage LCG France Nov. 2008 Benoit DELAUNAY CNRS/IN2P3/CC

2 LCG France - Benoit DELAUNAY 2 Glossaire E/SEntrée/Sortie FCFibre Channel HBAHost Bus Adapter LACPLink Aggregation Control Protocol LVMLogical Volume Manager MTUMaximum Transmission Unit NICNetwork Interface Card SASSerial Attached SCSI SATASerial Advanced Technology Attachment SCSISmall Computer System Interface

3 LCG France - Benoit DELAUNAY 3 Définition L’infrastructure de stockage, ou système de stockage, est l’ensemble de dispositifs matériels et logiciels, offrant des capacités de stockage et l’accès aux données à un niveau de performance défini.

4 LCG France - Benoit DELAUNAY 4 Composition

5 LCG France - Benoit DELAUNAY 5 Infrastructure de stockage HBA NIC ServeurDispositif de stockage disques + contrôleur Réseau OS client Contrôleur

6 LCG France - Benoit DELAUNAY 6 Disques de stockage (1/2) Application attributesHigh performance Enterprise Nearline EnterpriseTypical 2006 Desktop Rotational speed (rpm) 15,0007,2005,400 InterfaceFC, SASSATA Avg Power:. operating. idle 18-20 W 12-14 W 10-13 W 7-9 W 8-12 W 6-9 W Nonrecoverable read erros per bits 1 sector per 10 15 - 10 16 1 sector per 10 14 -10 15 1 sector per 10 14 Serial link rate (Gb/s)2-4 FC, 2.0 SAS3.0.SATA1.5-3.0 SATA Noise (ISO 7779, bels). idle. performance seek 3.5-3.8 4.3-5.9 2.8-3.4 3.5-3.9 2.5 3.1-3.7 Capacities (2006)37-174 GB320-500 GB160-320 GB Performance:. sustained transfer. average seek 58-98 MB/s 3-4 ms 35-65 MB/s 8-9 ms 32-58 MB/s 8-10 ms Relative price per GB5-10x1.5x1x

7 LCG France - Benoit DELAUNAY 7 Disques de stockage (2/2) La performance dépend de la technologie de disque utilisée

8 LCG France - Benoit DELAUNAY 8 RAID 0RAID 5RAID 1 Redundant Array of Inexpensive Disks

9 LCG France - Benoit DELAUNAY 9 Redundant Array of Inexpensive Disks

10 LCG France - Benoit DELAUNAY 10 Redundant Array of Inexpensive Disks RAID0  + de perf avec + de disques  + de risques d’une perte de données RAID1  perf nominale d’un seul disque  tolérance à la panne : (n-1) disques RAID5  + de perf avec + de disques  tolérance à la panne 1 disque + de disques = + de performance

11 LCG France - Benoit DELAUNAY 11 Contrôleurs et adaptateurs Contrôleurs  Taille des caches en lecture et en écriture  Taille des segments (blocksize), nombre de voies (striping) Adaptateurs (HBA)  Taille des queues de commandes (queuedepth)  Seuils de régulation [/etc/modprobe.conf] # Qlogic QLE2460 4Gbps HBA - tuning parameters alias scsi_hostadapter1 qla2xxx options qla2xxx ql2xmaxqdepth=24 ql2xqfullrampup=10

12 LCG France - Benoit DELAUNAY 12 Interface réseau Technologie et débit  Ethernet 100, 1000 ou 10000Mbps  Infiniband 1x, 4x ou 12x 2Gbps Nombre de liens  Agrégation (bonding) Paramètres  Jumbo Frame (MTU)  Taille de buffer [/etc/sysctl.conf] # Myricom 10Gbps NIC - tuning parameters net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216

13 LCG France - Benoit DELAUNAY 13 Agrégation de liens réseau IEEE 802.3ad ou LACP Permet d’augmentation la bande passante réseau à moindre coût Limitation : 1 transfert = 1 chemin

14 LCG France - Benoit DELAUNAY 14 Les différentes couches Disques Contrôleur E/S Adaptateur (HBA) Système d’exploitation Interface réseau (NIC) { Serveur Dispositif de stockage { Pilotes Noyau LVM App. Stockage

15 LCG France - Benoit DELAUNAY 15 Alignement HBANIC Device LVM Application Disque physique 512 octets /dev/sdw 256KO /dev/rootvg/lv01 256KO 1MO /dev/eth0 128KO

16 LCG France - Benoit DELAUNAY 16 Performance du système de stockage c’est dimensionner correctement toute la chaîne du système c’est synchroniser le fonctionnement de toutes les couches entre elles

17 LCG France - Benoit DELAUNAY 17 Système d’exploitation Linux A explorer :  /sys/block/  /proc/sci A configurer :  /etc/sysctl.conf  /etc/modprobe.conf Politique de gestion des entrées/sorties  ReadAhead, Write cache  Ordonnanceur d’entrées/sorties

18 LCG France - Benoit DELAUNAY 18 IBM DS4800 -Technologie SATA (bonne performance en séquentiel) -1 groupe RAID5 de 11 disques de 400GO (4TO utiles) -125 volumes de 32GO -Test écriture/lecture massive sur l’ensemble des volumes => Mauvaise performance !

19 LCG France - Benoit DELAUNAY 19 Conclusion Dans la plupart des cas d’utilisations, les performances d’une configuration par défaut suffisent. Il faut considérer l’ensemble de la chaîne, du client au disque de bout de chaîne. Augmenter la performance d’un système de stockage c’est souvent, ajouter des dispositifs matériels.

20 LCG France - Benoit DELAUNAY 20 Références http://en.wikipedia.org/wiki/RAID Linux Performance and Tuning Guidelines (IBM RedBook Collection) A comparison of disk drives for enterprise computing (Kurt Chan) Agrégation de liens 802.3ad (Laurent Caillat- Vallet)