免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: zhanyoun

800MB/s的数据量,请大家帮忙看看 [复制链接]

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2009-08-07 16:00 |显示全部楼层
给楼主推荐个主板:http://detail.zol.com.cn/servermotherboard/index137266.shtml
你那个SUN,跟用这板子攒出来的机器比性能,肯定会哭的
这个最有希望承载你那每秒800兆字节的SAMBA,这块板子报价将近六千元人民币。

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2009-08-07 17:28 |显示全部楼层
忘了说了,如果允许使用台式机,单台台式机,带100TB廉价存储,跑你这个业务不是很困难。
这么大数据量的视频采集,还是考虑下台式机架构吧,搁服务器跑太不靠谱了,性能不行啊,80台PC配小机也不现实啊。

论坛徽章:
0
发表于 2009-08-07 21:24 |显示全部楼层
原帖由 liaoboda 于 2009-8-7 10:33 发表

如果GPFS还不如直接panasa或者DDN GPFS好贵,我们尝试过.前边两个都支持smb cifs


商业软件是不便宜的,想便宜只能自己捣鼓Open Source的群集文件系统了。但是无论如何单台服务器达到800MB/s的流量的话,这样的服务器很难便宜。IBM的p595是可以很轻松一台支持1200MB/s的流量的,不过就完全不符合经济的原则了。我觉得,用刀片+群集文件系统算是比较经济的了,很难找出更经济的方案。

论坛徽章:
0
发表于 2009-08-07 21:25 |显示全部楼层
原帖由 huangzx 于 2009-8-7 13:23 发表
请教liaoboda使者, 有试用过netapp 的GX 吗? 不知性能怎样。


如果是NetApp的能超过800MB/s,一定也不便宜。还是自己DIY的最便宜。

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2009-08-07 21:33 |显示全部楼层
这台SUN用性能好的硬阵列勉强够用,软阵列就不用考虑了,超过系统处理能力了,但是,性能好的硬阵列,100TB,钱呐!

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2009-08-07 23:18 |显示全部楼层
原帖由 haole 于 2009-8-7 21:24 发表


商业软件是不便宜的,想便宜只能自己捣鼓Open Source的群集文件系统了。但是无论如何单台服务器达到800MB/s的流量的话,这样的服务器很难便宜。IBM的p595是可以很轻松一台支持1200MB/s的流量的,不过就完全 ...


P595满配,恐怕也跑不了这个业务。
搜了不少服务器参数,最终结论是:得用组装PC才可以跑得了这个业务。

论坛徽章:
0
发表于 2009-08-08 00:58 |显示全部楼层
原帖由 bbjmmj 于 2009-8-7 23:18 发表


P595满配,恐怕也跑不了这个业务。
搜了不少服务器参数,最终结论是:得用组装PC才可以跑得了这个业务。


P595无需满配,就可以支持1200MB/s的流量,只要连接SAN光纤卡够、存储能支持这样的流量就肯定没问题,1200MB/s是我看nmon的真实流量,不会有问题。但是Samba Server一个instance能否支持800MB/s我就有点担心了,如果一个instance真的不行,那就要多个instance,采用群集文件系统。所以我觉得如果一定要采用CIFS协议,多个Samba+群集文件系统才是良好的架构,保证还可以扩展,支持1000MB/s甚至更高的流量。

我突然发现楼主是弓虽人,不继续废话了,下次我不接茬了。

[ 本帖最后由 haole 于 2009-8-8 01:03 编辑 ]

论坛徽章:
10
CU大牛徽章
日期:2013-09-18 15:20:48程序设计版块每日发帖之星
日期:2016-07-21 06:20:00IT运维版块每日发帖之星
日期:2015-07-30 09:40:01技术图书徽章
日期:2014-10-14 16:00:43天蝎座
日期:2013-09-27 17:41:29CU大牛徽章
日期:2013-09-18 15:21:17CU大牛徽章
日期:2013-09-18 15:21:12CU大牛徽章
日期:2013-09-18 15:21:06CU大牛徽章
日期:2013-09-18 15:20:58每日论坛发贴之星
日期:2016-07-21 06:20:00
发表于 2009-08-08 02:44 |显示全部楼层
流量均衡+分布存储?
LVS 把流量转向多个写入服务器   再用 一个LVS 来做读出服务器

80 数据采集=====LVS====写入服务器(读出服务器)集群====LVS=== 处理集群

每个服务器的要求就很低了

软件上稍微动一动,就可以自动化了,还可以自动把故障节点给干掉。不是比小型机方案好吗?

做个几台的冗余备份,一两年内可以不用考虑动构架

[ 本帖最后由 tomac 于 2009-8-8 02:47 编辑 ]

论坛徽章:
0
发表于 2009-08-08 11:43 |显示全部楼层
一个简单的办法, 写个简单的c/s程序, 每一个机器一个udp端口, 就往服务器发数据包. 由于网络环境比较好, 所以这方面丢包可以忽略, 乱序可以简单的reorder. 后台开80个线程往磁盘上写. tcp 都嫌慢, 裸奔才能有吞吐量. 不过感觉还是不够. 最好是连文件系统也绕过去了, 作个简单的划分, 直接发scsi命令到存贮阵列. 这样80个写的调度都不用在操作系统里做. 其实 这个服务器可能还不如一个 好的存贮阵列, 加一个简单的至强服务器. 因为sata的请求队列长度太小了, 只有32个, 同时塞不进去对于80个并发的请求, 就只能在内存里等, 所以存贮这边要么有scsi队列超过80的, 要么把64个sata可以物理的划分并发.

论坛徽章:
0
发表于 2009-08-08 11:52 |显示全部楼层
想scale的, 就把udp unicast改成 multicast.
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,8.5折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时8.5折扣期:2019年9月30日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP