IBM破记录 43分钟狂扫100亿份文件

dcas6454

本文摘要
IBM和Violin宣布了一项使用通用并行文件系统（GPFS）扫描文件的世界记录：它用4个Violin的闪存阵列在43分钟内扫描了100亿份文件。
IBM和Violin宣布了一项使用通用并行文件系统（GPFS）扫描文件的世界记录：它用4个Violin的闪存阵列在43分钟内扫描了100亿份文件。

这次的记录是之前一次的37倍，上一次是在3个小时内扫描了10亿份文件。但那次是使用文件系统元数据来存储的，就像是在磁盘驱动器上的文件数据一样。

为什么要做扫描文件这种事情呢？IBM报道说，需要用GPFS去扫描文件系统才能够将它们在存储层中移动或是归档等等。但这并不是一个研究成果，因此不得不在幕后进行。当元数据存储在硬盘上的时候，运行的速度就变得越来越慢，这是因为在GPFS系统中的文件越来越多。甚至可以想象得到，最后都没有足够的时间去处理这些数据。

因此IBM的研究机构才试着去将元数据放入高速闪存阵列中，并观察系统是否运转变快。结果非常的给力，但这并不令人惊奇，毕竟它是一个在幕后研究的小项目，因为系统并未用它处理真正的数据。

在2月的时候，IBM在SONAS SPECsfs 2008的标准检测中取得了每秒403,326次运算的结果，该测试使用的系统是一个单一的GPFS系统，系统使用了1975块硬盘。

EMC使用flash-heavy VNX系统取得了每秒497,623次运算的结果，此系统使用了436块200GB的SAS固态硬盘，另外此系统还包括8个文件系统。

SONAS是一个由El Reg 评定的基于GPFS的系统，重新运行IBM的SONAS SPECsfs2008看上去是可行的。但这次是使用几个Violin Memory Arrays来处理SONAS数据，所以达到了每秒500000次的运算结果。我们询问了IBM和Violin两家公司关于这次的测试，但并不期待他们做出诸如“是的，我们在做这个呢”等类似的回复。

我们非常惊讶能够收到IBM存储系统主管Bruce Hillsberg的回复：“你们说对了，如果我们在SONAS系统上使用最新的技术重新运行SPECsfs的测试，将会有巨大的性能提升。”