免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: zhanyoun

800MB/s的数据量,请大家帮忙看看 [复制链接]

论坛徽章:
0
发表于 2009-08-08 12:43 |显示全部楼层
原帖由 andy_lyb 于 2009-8-6 21:07 发表

安防录像高清晰的视频码流才到512Kbps,跟10MB有天壤之别,完全不具备可比性。
800MB/s的压力是一个很疯狂的数字了。


我只是说方案缓冲写入可以降低网络的压力和硬盘并发写入的压力,30条512kbps的 只用一台PC ,还是单硬盘做存储(价格<8000)!而且结果
还能勉强让人满意!

原帖由 manyia 于 2009-8-6 15:11 发表


并发800M的话,也不轻松了.
不了解设备参数,如果网络质量和带宽没问题的话. 系统层面的处理能力也不得不考虑.


就是因为同时传输,并发才800M ,才要做缓冲写入!
该方案客户端是用windows的,每s 10M的数据,缓冲和2-3秒写入一次问题也不是很大吧 ?
我的建议是在软件上做设置,同时只有2-4个客户端写入,所有的客户端轮流写,其他的机器缓冲,对降低网络压力和节省带宽都有优势吧 ?

论坛徽章:
0
发表于 2009-08-08 13:52 |显示全部楼层
800MBps 一天得 70T, 有这么多数据吗?

论坛徽章:
0
发表于 2009-08-08 14:55 |显示全部楼层
800MBps, 应该需要10Gbps的带宽, 比 usb 3.0/sata3.0 都快, 有这样的网络连接吗, 从交换机到主机? 该服务器标称的网络带宽才1Gbps * 4.

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2009-08-08 17:50 |显示全部楼层
原帖由 haole 于 2009-8-8 00:58 发表


P595无需满配,就可以支持1200MB/s的流量,只要连接SAN光纤卡够、存储能支持这样的流量就肯定没问题,1200MB/s是我看nmon的真实流量,不会有问题。但是Samba Server一个instance能否支持800MB/s我就有点担心 ...


倒~是我搞错了,还以为是机架服务器呢,原来是两吨重的大家伙
不过小机太贵了,这活用普通服务器跑,几十万块就能轻松跑出小机吞吐量,用不着这两吨多的大家伙。

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2009-08-08 18:03 |显示全部楼层
原帖由 zhiwood 于 2009-8-8 11:43 发表
一个简单的办法, 写个简单的c/s程序, 每一个机器一个udp端口, 就往服务器发数据包. 由于网络环境比较好, 所以这方面丢包可以忽略, 乱序可以简单的reorder. 后台开80个线程往磁盘上写. tcp 都嫌慢, 裸奔才能有吞 ...


这个项目不但需要高速,还需要100TB的大容量。
服务器都是经过特殊设计的,低端服务器的性能,驱动32块以上的盘阵绰绰有余,但即使是高端服务器,也不可能允许你插这么多硬盘,你这样搞了,人家盘柜卖谁去?既然人家已经做了手脚,显然是不希望你跑高效费比的应用,所以咱最好还是放弃用服务器跑这个项目的念头,改用PC才是正道,一台组装电脑,完全有可能跑得动这个业务。
storm the front 该用户已被删除
发表于 2009-08-10 10:17 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2009-08-10 12:53 |显示全部楼层
原帖由 storm the front 于 2009-8-10 10:17 发表


cisco的万兆交换机+Infiniband卡


这个项目千兆交换机+NAS集群就够了,不需要万兆网络。
storm the front 该用户已被删除
发表于 2009-08-10 13:55 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
发表于 2009-08-10 13:59 |显示全部楼层

回复 #1 zhanyoun 的帖子

ISILON 集群NAS存储肯定能满足你的要求,可以测试,集群是单一文件系统,节点最多可以达到144个节点,带宽可以达到20GB/秒。http://www.isilon.cn/        咨询电话:010-82961201/2

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2009-08-10 14:22 |显示全部楼层
原帖由 storm the front 于 2009-8-10 13:55 发表


那请问网络这边带宽不够怎么办?一根网线最高也就只能跑到120MB/s


那么多服务器呢,数据不用从一个网卡走,网络结构好好做做,流量就可以分散出去了。
这个应用,至少在数据采集这块是不需要万兆网卡的。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP