有关存储一些问题的开放讨论

liaoboda

原帖由 qqeyes 于 2008-10-10 16:59 发表



能说明你的测试环境么？比如raid组大小。
还有，你怎么测试的读写？读写什么样的文件？大文件多大？小文件多小？多少的量？什么文件系统都是有关系的。你想想，如果你在sata上随机读100G平均大小10k的文 ...

raid是两个15块750G sata的阵列。 一个raid0  一个raid5
测试读写刚刚的这个结果是dd的 以前有cp的

qqeyes

至少你看到了吧，raid5不像你想的那么慢。

liaoboda

dd效果还好 cp就不行 但是dd的读写也很差 大概原因我能解释 就是cp要遍历 查找 dd直接块复制  我想问下 一般写程序 打开文件句柄 把数据和程序读到内存 是类似dd吗？

liaoboda

刚才碰到CU里边认识的一个朋友做并行文件系统的 无意中给他介绍了一个合作的单 这个星期出结果 希望他中标 哈哈

qqeyes

应该是所有和文件有关的操作，都慢于dd。dd是对块的操作。

liaoboda

马上会有SSD 和Rambox的测试了。现在这个百度和巨人用得比较多

storm the front

话说楼主测试时有没用过iometer和Bonnie++?

你光用cp啊dd什么的,测试面太窄了

你试过几路同时读写?试过混合读写?...etc

还有,你现在用的是ext3,到时候用其他并行文件系统,得出的结论又是两码事了

如果LZ对我前面提到的iBrix感兴趣,可以pm找我

liaoboda

原帖由 storm the front 于 2008-10-15 18:16 发表
话说楼主测试时有没用过iometer和Bonnie++?

你光用cp啊dd什么的,测试面太窄了

你试过几路同时读写?试过混合读写?...etc

还有,你现在用的是ext3,到时候用其他并行文件系统,得出的结论又是两码事了

如 ...

1.现在用的是xfs,不是ext3.
2.做单Raid和单盘是为了找原因，弄清楚原理。统计第一手资料。
3.我不太相信测试工具，我iozone得出的数据是没办法解释的。而且就算这个快我实际应用中IO还是很高。而且不快。但是如果cp明显变快，应用速度会很快。
4.我现在比较需要有人能解释，比如iozone那个说明什么？写程序的时候打开文件句柄实际上是什么操作，类似于哪个动作？

冬瓜头

提一下，很多测试工具测出来的数值，一是可能反映不出实际使用效果，二是，有可能直接就是假的。
曾经遇到过一个用oracle那个工具，叫O什么的，忘了，测出来了530MB/s的数值，而这个数值在理论上，那台盘阵根本达不到的。还有很多次，用了某厂家自己的测试工具测试，结果吓死人，高于1TB/s，这肯定是bug了。总之测试工具不能全信，但是也不能不信。iometer这个工具，就使用情况来看，没出现过假象。  至于cp，dd等，这两个东西测出来的速度，一般很难让客户满意，很多客户抱怨为何这么慢。其实这两个程序，1.根本没有do their best，2.只是顺序的去读某个文件或者某批文件，这些文件不一定就是分散在raid组中，因为不是raid3这种极其分散的raid，然而，如果真的分散的很散，也不见得就能增加性能，除非某个文件特别大。   这就是区别。
还是那句话，心中一副图，才能继续分析下去。
预知这幅图是什么样子的，具体请看《大话存储》

spook

在底层做的 分布式文件系统， 以前 EMC的XTO搞得，被 IBM 买了，上层界面还是 和 其他一样。

如果有 SVC 可以考虑用SVC 做strip ，把数据分散到 各个 阵列上去， 然后由阵列的再去做。貌似用的是负载均衡的方式。

还有，楼主既然是大数据连续读写 ， 考虑过 Raid3 没有