RozoFS KPI’s edition /04/2014
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 2 RozoFS high level architecture RozoFSmount storcli Storio DskThread Fuse VFS AF-UNIX+ shared Memory channel IO request Dispatcher Storio DskThread IO request Dispatcher Local FS (i.e: XFS RozoFSmount storcli AF-UNIX+ shared Memory channel File system 1 File system 2 TCP/IP SAS/SATA
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 3 RozoFS client components Rozofsmount: There is one rozofsmount per exported file system towards RozoFS Acts as a dispatcher for metadata requests and I/O requests metadata operations are forwarded to an exportd (metadata server) I/O operations are load balanced towards storcli process By default each rozofsmount owns 2 storcli processes characteristics 32/64 requests in parallel File system block size : 4K(default), 8K and 16K Storcli Take care of the read,write and truncate requests Provides erasure encoding/decoding Control the communication with the storage nodes (storio) characteristics 32/64 requests in parallel 512 TCP connections (towards storage nodes)
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 4 Storage virtual node: storio Storio the storage node performs the input/output operations: Read/write of the projections associated with a file under the control of a storcli Projection file deletion Projection file truncate Each storage node includes: An I/O dispatcher: –Dispatches the I/O requests among the disk threads –Handle the TCP connections coming for the storcli A thread pool: –Performs the read/write towards the local file system –The disk thread are built around a blocking architecture Storio Characteristics: Non blocking architecture 768 TCP connections max. 16 requests in parallel 16 disk threads
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 5 Some RozoFS deployment information Rozofsmount and storio can share the same hardware platform More than one rozofsmount can be deployed on the same hardware It is typically the case when RozoFS exports more than one file system However, for a given hardware there is only one rozofsmount per exported file system Erasure coding and read/write control is achieved by storcli processes The number of storcli associated per rozosmount is configurable(max:4) The number of storio processes is configurable The storio can be shared by the several exported file system (configuration) At the extreme is might be possible to associate one storio per disk From a networking standpoint, a storio is identified by an and port By default all the storio of a server share the same
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 6 RozoFS Filesystem KPI Storio DskThread Fuse VFS IO request Dispatcher Local FS (i.e: XFS RozoFSmount storcli File system 1 TCP/IP SAS/SATA POSIX KPI Read/write KPI Disk KPI Disk timing KPI next
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 7 ROZOFSMOUNT KPIs back
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 8 STORCLI KPI: read/write and truncate back
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 9 STORIO KPI: Disk threads performances back
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 10 STORIO KPI (con’t) : disks detailed timing back
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 11 RozoFS Network KPI Storio DskThread Fuse VFS IO request Dispatcher Local FS (i.e: XFS RozoFSmount storcli File system 1 TCP/IP SAS/SATA Network_interface KPI Storaged TCP KPI Disk KPI RPC transactions statistics next
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 12 ROZOFSMOUNT lbg_entries/tcp_info back
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 13 ROZOFSMOUNT transactions KPI back
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 14 STORCLI lbg_entries/tcp_info back
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 15 Per module CPU information Storio DskThread Fuse VFS IO request Dispatcher Local FS (i.e: XFS RozoFSmount storcli File system 1 TCP/IP SAS/SATA Storcli CPU Storio CPU Rozofsmount CPU
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 16 ROZOSMOUNT: cpu information back
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 17 STORCLI: cpu usage back
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 18 STORIO: cpu usage back
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 19 EXPORTD KPI Exportd Deletion mgt Volume Mgt Fuse VFS request Dispatcher Local FS (i.e: ext4) RozoFSmount storcli File system 1 TCP/IP SAS/SSD Metadata mgt Metadata KPI Per volume statistics
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 20 EXPORTD profiler back
© Fizians Ce document ne peut être reproduit ou communiqué sans autorisation écrite. 21 Per volume statistics back