有关存储一些问题的开放讨论

asyqm

原帖由 liaoboda 于 2008-9-11 12:24 发表

必须分布式的，一天目前的数据量产生就是10T，存一次，读一次，写一次就30T读写。还不算其他的。你算下每秒多少？另外这个量还有可能翻倍。

这个假设30T的流量是每天平均分的，那么分散到每秒钟约0.347GB/s，折合约3.4Gb/s的流量，连一个端口的4G都撑不满啊。
退一步说，如果是分布不均匀，集中在每天的2个小时内，那么每秒约4.16GB/s的数据流量，折合约41.6Gb，也就是说大概16个端口全速工作就可以满足。
可以分散为2-4台高端设备，USPV这个级别的后端磁盘链路是最大64条，每条4Gb，满足每秒约20Gb的带宽我想是绰绰有余吧。

liaoboda

原帖由 asyqm 于 2008-9-11 13:26 发表

这个假设30T的流量是每天平均分的，那么分散到每秒钟约0.347GB/s，折合约3.4Gb/s的流量，连一个端口的4G都撑不满啊。
退一步说，如果是分布不均匀，集中在每天的2个小时内，那么每秒约4.16GB/s的数据流量，折 ...

你考虑过没有这个是十几台机器在处理这些数据，这个在一个时间的IO就有可能要乘十几，如果前边是一个1000台计算节点的集群。

冬瓜头

如果单单算 time cp的话，据我所知linux下的cp或者dd都是单一线程的同步阻塞io，而且dd的目标如果只是一个文件的话，而且文件的layout又不能被外部存储很好的均衡的话，那么达不到高速是很正常的事情。如果像您所说，几十台机器同时io，如果真的还是像您描述的那么不像样，那就是设置问题了。

liaoboda

原帖由 冬瓜头 于 2008-9-11 15:12 发表
如果单单算 time cp的话，据我所知linux下的cp或者dd都是单一线程的同步阻塞io，而且dd的目标如果只是一个文件的话，而且文件的layout又不能被外部存储很好的均衡的话，那么达不到高速是很正常的事情。如果像您 ...

这个能解释下吗？“据我所知linux下的cp或者dd都是单一线程的同步阻塞io”

liaoboda

原帖由 冬瓜头 于 2008-9-11 15:12 发表
如果单单算 time cp的话，据我所知linux下的cp或者dd都是单一线程的同步阻塞io，而且dd的目标如果只是一个文件的话，而且文件的layout又不能被外部存储很好的均衡的话，那么达不到高速是很正常的事情。如果像您 ...

我这几天在试验ramdisk 和SSD 为什么这个效果会好很多。谢谢！

冬瓜头

ramdisk和ssd对随机小块io效果很好。效果好很多是因为没有机械寻道过程。数据不管多随机，对于电路来将只不过是与或操作而已，不牵扯机械寻道，当然快了。
大块连续io，比机械硬盘差不多，甚至弱一些。

liaoboda

原帖由 冬瓜头 于 2008-9-11 15:38 发表
ramdisk和ssd对随机小块io效果很好。效果好很多是因为没有机械寻道过程。数据不管多随机，对于电路来将只不过是与或操作而已，不牵扯机械寻道，当然快了。
大块连续io，比机械硬盘差不多，甚至弱一些。

这个我基本明白，上边那个问题，cp的原理。能解释下吗？谢谢！这个比较重要。

冬瓜头

我也是搜索到的，至于到底怎么设计的，我也无从而知。去看看原代码吧。
总之cp和dd不会考虑过多并发的。

liaoboda

原帖由 冬瓜头 于 2008-9-11 16:20 发表
我也是搜索到的，至于到底怎么设计的，我也无从而知。去看看原代码吧。
总之cp和dd不会考虑过多并发的。

那用啥能考虑到多并发？不过我现在发现raid0比raid5 要快 都是用cp  只不过现在环境还不一样，我在做一个一模一样的两个环境 数据都一样。（这样是试验才有说服力）现在在copy数据中。你知道copy 几T的数据是很漫长的事情。

冬瓜头

用设计良好的应用程序来做IO。
另外，机器上fc卡驱动的queue depth也要设置的合适。