glusterfs 性能测试

mukey

由于业务需要，研究了一下分布式文件系统glusterfs，这个对于大文件比较合适，对于小文件太坑爹了。glusterfs 是2台服务器做replication.

测试结论

• 对于单机性能测试，可以用现成的测试工具来完成，比如dd，iozone，但每种工具测试的结果差异比较大
  
• NFS 方式，读40K大小的文件就可以把网络IO占满, 写操作10Mb/s
  
• NFS 方式，对4K大小的文件性能下降非常厉害
  
• glusterfs文件系统，没有合适的测试工具，直接采用cp，人肉测试
  
• glusterfs系统，文件大小对数据的吞吐量影响非常大, 瓶颈在客户端。4K 和 40K 的文件拷贝, 单位时间的文件数量 几乎一样
  
• glusterfs 客户端个体差异很大，慢的性能可能只有快的一半
  
• glusterfs 2个客户端的写入速度不是完全横向扩展，大概是单节点的1.5倍
  
• glusterfs 2个客户端在读取上，几乎是横向扩展。
  
  

	操作	4K大小文件	40K大小文件
nfs	写	1.8Mb/s	10Mb/s
nfs	读	10Mb/s	80Mb/s
gluster 1 client	写	76-208 Kb/s	3.1Mb/s
gluster 2 client	写	100-300 Kb/s	3.9Mb/s
gluster 1 client	读	1.1Mb/s	8.7Mb/s
gluster 2 client	读	1.9Mb/s	17Mb/s

尼采了我的螃蟹

这性能也太差了