免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: liaoboda

[RAID与磁盘阵列] 有关存储一些问题的开放讨论 [复制链接]

论坛徽章:
0
发表于 2008-09-11 13:26 |显示全部楼层
原帖由 liaoboda 于 2008-9-11 12:24 发表

必须分布式的,一天目前的数据量产生就是10T,存一次,读一次,写一次就30T读写。还不算其他的。你算下每秒多少?另外这个量还有可能翻倍。

这个假设30T的流量是每天平均分的,那么分散到每秒钟约0.347GB/s,折合约3.4Gb/s的流量,连一个端口的4G都撑不满啊。
退一步说,如果是分布不均匀,集中在每天的2个小时内,那么每秒约4.16GB/s的数据流量,折合约41.6Gb,也就是说大概16个端口全速工作就可以满足。
可以分散为2-4台高端设备,USPV这个级别的后端磁盘链路是最大64条,每条4Gb,满足每秒约20Gb的带宽我想是绰绰有余吧。

论坛徽章:
0
发表于 2008-09-11 13:51 |显示全部楼层
原帖由 asyqm 于 2008-9-11 13:26 发表

这个假设30T的流量是每天平均分的,那么分散到每秒钟约0.347GB/s,折合约3.4Gb/s的流量,连一个端口的4G都撑不满啊。
退一步说,如果是分布不均匀,集中在每天的2个小时内,那么每秒约4.16GB/s的数据流量,折 ...

你考虑过没有这个是十几台机器在处理这些数据,这个在一个时间的IO就有可能要乘十几,如果前边是一个1000台计算节点的集群。

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-11 15:12 |显示全部楼层
如果单单算 time cp的话,据我所知linux下的cp或者dd都是单一线程的同步阻塞io,而且dd的目标如果只是一个文件的话,而且文件的layout又不能被外部存储很好的均衡的话,那么达不到高速是很正常的事情。如果像您所说,几十台机器同时io,如果真的还是像您描述的那么不像样,那就是设置问题了。

论坛徽章:
0
发表于 2008-09-11 15:25 |显示全部楼层
原帖由 冬瓜头 于 2008-9-11 15:12 发表
如果单单算 time cp的话,据我所知linux下的cp或者dd都是单一线程的同步阻塞io,而且dd的目标如果只是一个文件的话,而且文件的layout又不能被外部存储很好的均衡的话,那么达不到高速是很正常的事情。如果像您 ...

这个能解释下吗?“据我所知linux下的cp或者dd都是单一线程的同步阻塞io”

论坛徽章:
0
发表于 2008-09-11 15:26 |显示全部楼层
原帖由 冬瓜头 于 2008-9-11 15:12 发表
如果单单算 time cp的话,据我所知linux下的cp或者dd都是单一线程的同步阻塞io,而且dd的目标如果只是一个文件的话,而且文件的layout又不能被外部存储很好的均衡的话,那么达不到高速是很正常的事情。如果像您 ...

我这几天在试验ramdisk 和SSD 为什么这个效果会好很多。谢谢!

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-11 15:38 |显示全部楼层
ramdisk和ssd对随机小块io效果很好。效果好很多是因为没有机械寻道过程。数据不管多随机,对于电路来将只不过是与或操作而已,不牵扯机械寻道,当然快了。
大块连续io,比机械硬盘差不多,甚至弱一些。

论坛徽章:
0
发表于 2008-09-11 15:52 |显示全部楼层
原帖由 冬瓜头 于 2008-9-11 15:38 发表
ramdisk和ssd对随机小块io效果很好。效果好很多是因为没有机械寻道过程。数据不管多随机,对于电路来将只不过是与或操作而已,不牵扯机械寻道,当然快了。
大块连续io,比机械硬盘差不多,甚至弱一些。

这个我基本明白,上边那个问题,cp的原理。能解释下吗?谢谢!这个比较重要。

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-11 16:20 |显示全部楼层
我也是搜索到的,至于到底怎么设计的,我也无从而知。去看看原代码吧。
总之cp和dd不会考虑过多并发的。

论坛徽章:
0
发表于 2008-09-11 17:15 |显示全部楼层
原帖由 冬瓜头 于 2008-9-11 16:20 发表
我也是搜索到的,至于到底怎么设计的,我也无从而知。去看看原代码吧。
总之cp和dd不会考虑过多并发的。

那用啥能考虑到多并发?不过我现在发现raid0比raid5 要快 都是用cp  只不过现在环境还不一样,我在做一个一模一样的两个环境 数据都一样。(这样是试验才有说服力)现在在copy数据中。你知道copy 几T的数据是很漫长的事情。

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-11 18:05 |显示全部楼层
用设计良好的应用程序来做IO。
另外,机器上fc卡驱动的queue depth也要设置的合适。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP