Retour d’expérience sur BeeGFS à l’université de Bourgogne

Présentation au sujet: "Retour d’expérience sur BeeGFS à l’université de Bourgogne"— Transcription de la présentation:

1 Retour d’expérience sur BeeGFS à l’université de Bourgogne
TutoJRES n°18 Le stockage distribué 02/05/2016 Retour d’expérience sur BeeGFS à l’université de Bourgogne Antoine Migeon Centre de calcul et Messagerie Pôle des Systèmes d'Information et des Usages du Numérique

2 Le cluster de calcul du CCUB
250 nœuds, 170 Tflops (CPU + GPU + Phi) 1 Gb Eth pour le stockage et le management Infiniband QDR pour le DMP (grappes de 36 nœuds) 3 systèmes de stockage Home = 10 Tio = NetApp Scratch = 410 Tio = BeeGFS / Transtec Archive = 700 Tio = SGI DMF (+ Dell)

3 Historique du scratch au CCUB
2006 : IBM GPFS – 4 To 2008 : Sun X4540 – 40 Tio (NFS) 2010 : Panasas PAS 8 – 60 Tio (pNFS) 2015 : BeeGFS – 410 Tio

4 BeeGFS CCUB Objectif : 180 To, 3 Go/s, 20000 IO/s Offre Transtec :
3 nœuds avec chacun 2 extensions SAS (= 36U) 312 disques 3 To NL-SAS en raid 10 = 410 Tio utiles 21 SSD en raid 10 = 4 To pour metadata Saturation des 3 liens 10 Gb/s (cartes Infiniband) r14

5 BeeGFS CCUB Mesure avec fhgfs-ctl –storagebench blocksize write read
2 Go/s → IOPS 3,8 Go/s → IOPS 512k 10,6 Go/s → IOPS 11,1 Go/s → IOPS

6 Support BeeGFS Environ 7000 €TTC / nœud pour 5 ans
Support réactif, en anglais 2 incidents en 14 mois Problème sur contrôleur raid, perte disque : IO error Problème metadata suite à panne d’onduleur : Mauvaise taille affichée : fhgfs-ctl –refreshentryinfo Impossible de supprimer certains dossiers : fhgfs-fsck –runOnline et suppressions de quelques fichiers

7 En plus Client mount on Intel Xeon Phi (Knights Corner)
High Availability based on Shared Storage NFS Export Linux Software RAID (mdraid) Tuning Hadoop Connector (evaluation version)

8 14 mois plus tard 150 To de consommés (car quotas à 8 Tio / user)
Lecture : 400 Mo/s en moyenne Écriture : 100 Mo/s en moyenne

9 Quelques remarques Installation et configuration simple et rapide des serveurs et des clients Un seul espace de nommage, répartition des metadata par dossier Compilation des client à la volée (au boot) Stable, pas de HA mais IO en attente si un nœud et down Quotas block et chunk (~fichier) (configuration bof)

10 Quelques remarques Monitoring succinct mais suffisant (stat par client, stat correctement rapportée au kernel), manque peut être une vue des IOPS globale Jamais de ralentissement sur les meta (ls, cd, etc.), donc utilisateurs satisfaits Il manque les snapshots

11 mdtest -- started at 02/25/2015 11:20:03 --
mdtest was launched with 48 total task(s) on 48 node(s) Command line used: /fhgfs/data/antoine/mdtest -n -d /fhgfs/data/antoine/testdir -i 5 -I 400 -z 2 -b 8 -L -u -F Path: /fhgfs/data FS: TiB Used FS: 9.5% Inodes: 0.0 Mi Used Inodes: -nan% 48 tasks, files SUMMARY: (of 5 iterations) Operation Max Min Mean Std Dev File creation : File stat : File read : File removal : Tree creation : Tree removal : -- finished at 02/25/ :24:11 --

12 fhgfs-ctl --storagebench
# fhgfs-ctl --storagebench --alltargets --write --blocksize=512K --size=20G --threads=30 Write benchmark results: Min throughput: KiB/s nodeID: copland03.u-bourgogne.fr [ID: 52089], targetID: 29515 Max throughput: KiB/s nodeID: copland03.u-bourgogne.fr [ID: 52089], targetID: 863 Avg throughput: KiB/s Aggregate throughput: KiB/s # fhgfs-ctl --storagebench --alltargets --read --blocksize=512K --size=20G --threads=30 Read benchmark results: Min throughput: KiB/s nodeID: copland02.u-bourgogne.fr [ID: 43142], targetID: 46690 Max throughput: KiB/s nodeID: copland03.u-bourgogne.fr [ID: 52089], targetID: 64164 Avg throughput: KiB/s Aggregate throughput: KiB/s

13 fhgfs-ctl --storagebench
# fhgfs-ctl --storagebench --alltargets --write --blocksize=4K --size=20G --threads=30 Write benchmark results: Min throughput: KiB/s nodeID: copland03.u-bourgogne.fr [ID: 52089], targetID: 863 Max throughput: KiB/s nodeID: copland02.u-bourgogne.fr [ID: 43142], targetID: 12592 Avg throughput: KiB/s Aggregate throughput: KiB/s # fhgfs-ctl --storagebench --alltargets --read --blocksize=4K --size=20G --threads=30 Read benchmark results: Min throughput: KiB/s nodeID: copland03.u-bourgogne.fr [ID: 52089], targetID: 863 Max throughput: KiB/s nodeID: copland01.u-bourgogne.fr [ID: 1893], targetID: 2090 Avg throughput: KiB/s Aggregate throughput: KiB/s

14 IOR Run began: Tue May 3 22:20:43 2016
Command line used: /soft/IOR/2.10.3/openmpi/intel/13.1.3/IOR -A 1 -N 72 -a POSIX -b 8g -d 1 -t 4k -o /fhgfs/data/antoine/IORtestdir/IORtestfile.AB -w -r -s 1 -i 1 -F -C Machine: Linux orff036.u-bourgogne.fr Summary: api = POSIX test filename = /fhgfs/data/antoine/IORtestdir/IORtestfile.AB access = file-per-process ordering in a file = sequential offsets ordering inter file=constant task offsets = 1 clients = 72 (2 per node) repetitions = 1 xfersize = 4096 bytes blocksize = 8 GiB aggregate filesize = 576 GiB Operation Max (MiB) Min (MiB) Mean (MiB) Std Dev Max (OPs) Min (OPs) Mean (OPs) Std Dev Mean (s) write EXCEL read EXCEL Max Write: MiB/sec ( MB/sec) Max Read: MiB/sec ( MB/sec) Run finished: Tue May 3 22:27:

15 compilebench ./compilebench -D test_verdi007/ -i 10 -r 30
intial create total runs 10 avg 7.11 MB/s (user 0.66s sys 2.17s) create total runs 5 avg 8.05 MB/s (user 0.64s sys 2.14s) patch total runs 4 avg MB/s (user 0.33s sys 1.10s) compile total runs 7 avg MB/s (user 0.19s sys 0.53s) clean total runs 4 avg MB/s (user 0.03s sys 0.06s) read tree total runs 2 avg 9.07 MB/s (user 0.74s sys 2.31s) read compiled tree total runs 1 avg MB/s (user 0.87s sys 3.07s) delete tree total runs 2 avg seconds (user 0.30s sys 0.65s) no runs for delete compiled tree stat tree total runs 4 avg 4.84 seconds (user 0.28s sys 0.45s) stat compiled tree total runs 1 avg 5.28 seconds (user 0.28s sys 0.51s)

16