有关存储一些问题的开放讨论

liaoboda

种类	1M小文件（MB/s）	100G大文件                        硬盘写速度(MB/s)	硬盘读写 100G 文件                         (MB/s)
Raid0	183	154	60.8
Raid5	185	155	58.6

liaoboda

上边的结果 第一个是1M的 直接比cahe还小所以很快
                 第二个是dd 一个上百G的文件到硬盘
                 第三个是先读一个上百G的文件 再dd到另外一个地方
结论：一个奇怪的问题 raid0 和raid5差别不大。另外怎么解释读写比写要慢一半以上？

liaoboda

原帖由 qqeyes 于 2008-10-10 16:59 发表



能说明你的测试环境么？比如raid组大小。
还有，你怎么测试的读写？读写什么样的文件？大文件多大？小文件多小？多少的量？什么文件系统都是有关系的。你想想，如果你在sata上随机读100G平均大小10k的文 ...

raid是两个15块750G sata的阵列。 一个raid0  一个raid5
测试读写刚刚的这个结果是dd的 以前有cp的

liaoboda

dd效果还好 cp就不行 但是dd的读写也很差 大概原因我能解释 就是cp要遍历 查找 dd直接块复制  我想问下 一般写程序 打开文件句柄 把数据和程序读到内存 是类似dd吗？

liaoboda

刚才碰到CU里边认识的一个朋友做并行文件系统的 无意中给他介绍了一个合作的单 这个星期出结果 希望他中标 哈哈

liaoboda

马上会有SSD 和Rambox的测试了。现在这个百度和巨人用得比较多

liaoboda

原帖由 storm the front 于 2008-10-15 18:16 发表
话说楼主测试时有没用过iometer和Bonnie++?

你光用cp啊dd什么的,测试面太窄了

你试过几路同时读写?试过混合读写?...etc

还有,你现在用的是ext3,到时候用其他并行文件系统,得出的结论又是两码事了

如 ...

1.现在用的是xfs,不是ext3.
2.做单Raid和单盘是为了找原因，弄清楚原理。统计第一手资料。
3.我不太相信测试工具，我iozone得出的数据是没办法解释的。而且就算这个快我实际应用中IO还是很高。而且不快。但是如果cp明显变快，应用速度会很快。
4.我现在比较需要有人能解释，比如iozone那个说明什么？写程序的时候打开文件句柄实际上是什么操作，类似于哪个动作？

liaoboda

原帖由 spook 于 2008-10-16 11:33 发表
在底层做的 分布式文件系统， 以前 EMC的XTO搞得，被 IBM 买了，上层界面还是 和 其他一样。

如果有 SVC 可以考虑用SVC 做strip ，把数据分散到 各个 阵列上去， 然后由阵列的再去做。貌似用的是负载均衡的方 ...

没有，其实Raid内部的情况我真的不是太清楚，买了本冬瓜的书在看。我们现在准备用SSD Rambox解决比较棘手的问题。可能会上100到200T。整个的考虑用lustre，当然基础的硬盘理论，和一些基本的测试和调整对整个性能的提高会有很大的帮助的。
另外我们的应用有很多，有大量7M的文件（每个单元100万个以上）每天6T到7T的数据产出的处理。 集群运算对大文件顺序读写。对少量百兆级别的文件的读取写入。大规模数据转移。等等。比较复杂，所以分很多部分。那些大量小文件我们开始考虑SSD 和rambooks了。现在百度和巨人每个季度都采购上千万的这个东东，这个是以后的方向。

liaoboda

原帖由 storm the front 于 2008-10-16 15:48 发表
SSD 和rambooks这2个东西不是才出来不久吗,你亲眼见过百度和巨人的机房里在用这个?

ssd我见过对百度出货。

liaoboda

今天我确定百度至少有1／3的搜索业务已经换成了ssd 部分目前在换Ramdisk