- 论坛徽章:
- 0
|
今天有几个计算所的学生来我们这里找课题，正好这几天我和几个朋友在讨论一些有关现在存储的问题。由于我这里资源比较好（几百台机器，而且和各个厂商关系也不错，要几台测试的机器还是没问题的），我也一直想把其中的一些问题搞清楚。我觉得采取我做实验，然后公布结果，大家讨论，我再做实验证明。（在这个过程中，我会把一些实验的结果发给我的朋友和各个厂家，比如intel promise 希捷 一些并行文件系统的开发者，共同分析）。如果有兴趣请大家多多发表自己的意见。
其实我所做的目的就是一个提高现有存储的读写速度。我现在这里有上P的存储 上P的数据。以后会到10P 20P copy数据和整个数据的处理现在是一个很头疼的问题。如果那几个学生喜欢上CU希望能帮他们选一个真正实用的博士毕业题目。
现在通过以前的实验和长期的实践，我发现了下面几个问题：
1.现在硬盘实际的持续读写速度是有限的，SATAII 标称3G/s的硬盘实际的读写速度上限只有60MB/s。SAS 1.5K实际读写速度也只有100MB/s左右。（目前我的朋友基本都同意这个观点）
根据磁盘的IOPS计算大概也差不多。
2.磁盘的cache 大小对突发读写有效果，对持续的读写基本没用。
3.其实磁盘阵列的持续读写速度和用NAS SAN 光纤 关系不大。可能基于一般的应用突发读写更多毕竟像我们这么BT的一天产生和处理10来T数据的应用太少了。
4.raid理论速度和实际有差别。raid0 raid5对磁盘速度的提高有限。不是像他们说的那样越多越快
5.现有的并行文件系统对大文件效果很好（8台能到600MB/s），但是对2M左右大量文件的处理能力非常差5MB/s.
6.文件系统inode 块大小 文件的具体关系和对速度的影响。
7.文件数量对速度的影响。
8.对持续大量的读写，好的控制器对速度到底有多大影响。
另外我的朋友有以下的一些观点：
1.raid0能提高速度。
2.大量持续的读写，软raid速度比硬raid好。
3.raid5会比单块盘慢。
4.传输的问题可能存在南桥和硬盘控制器之间。
以上的问题我都会通过实验来一个验证。希望大家多发言 |
|
免费注册
发表于 2008-09-04 18:04