800MB/s的数据量，请大家帮忙看看

unicom_2

原帖由 andy_lyb 于 2009-8-6 21:07 发表

安防录像高清晰的视频码流才到512Kbps，跟10MB有天壤之别，完全不具备可比性。
800MB/s的压力是一个很疯狂的数字了。

我只是说方案缓冲写入可以降低网络的压力和硬盘并发写入的压力,30条512kbps的 只用一台PC ,还是单硬盘做存储(价格<8000)!而且结果
还能勉强让人满意!

原帖由 manyia 于 2009-8-6 15:11 发表


并发800M的话,也不轻松了.
不了解设备参数,如果网络质量和带宽没问题的话. 系统层面的处理能力也不得不考虑.

就是因为同时传输,并发才800M ,才要做缓冲写入!
该方案客户端是用windows的,每s 10M的数据,缓冲和2-3秒写入一次问题也不是很大吧 ?
我的建议是在软件上做设置,同时只有2-4个客户端写入,所有的客户端轮流写,其他的机器缓冲,对降低网络压力和节省带宽都有优势吧 ?

zhiwood

800MBps 一天得 70T, 有这么多数据吗?

zhiwood

800MBps, 应该需要10Gbps的带宽, 比 usb 3.0/sata3.0 都快, 有这样的网络连接吗, 从交换机到主机? 该服务器标称的网络带宽才1Gbps * 4.

bbjmmj

原帖由 haole 于 2009-8-8 00:58 发表


P595无需满配，就可以支持1200MB/s的流量，只要连接SAN光纤卡够、存储能支持这样的流量就肯定没问题，1200MB/s是我看nmon的真实流量，不会有问题。但是Samba Server一个instance能否支持800MB/s我就有点担心 ...

倒~是我搞错了，还以为是机架服务器呢，原来是两吨重的大家伙
不过小机太贵了，这活用普通服务器跑，几十万块就能轻松跑出小机吞吐量，用不着这两吨多的大家伙。

bbjmmj

原帖由 zhiwood 于 2009-8-8 11:43 发表
一个简单的办法, 写个简单的c/s程序, 每一个机器一个udp端口, 就往服务器发数据包. 由于网络环境比较好, 所以这方面丢包可以忽略, 乱序可以简单的reorder. 后台开80个线程往磁盘上写. tcp 都嫌慢, 裸奔才能有吞 ...

这个项目不但需要高速，还需要100TB的大容量。
服务器都是经过特殊设计的，低端服务器的性能，驱动32块以上的盘阵绰绰有余，但即使是高端服务器，也不可能允许你插这么多硬盘，你这样搞了，人家盘柜卖谁去？既然人家已经做了手脚，显然是不希望你跑高效费比的应用，所以咱最好还是放弃用服务器跑这个项目的念头，改用PC才是正道，一台组装电脑，完全有可能跑得动这个业务。

storm the front

原帖由 zhiwood 于 2009-8-8 14:55 发表
800MBps, 应该需要10Gbps的带宽, 比 usb 3.0/sata3.0 都快, 有这样的网络连接吗, 从交换机到主机? 该服务器标称的网络带宽才1Gbps * 4.

cisco的万兆交换机+Infiniband卡

bbjmmj

原帖由 storm the front 于 2009-8-10 10:17 发表


cisco的万兆交换机+Infiniband卡

这个项目千兆交换机+NAS集群就够了，不需要万兆网络。

storm the front

原帖由 bbjmmj 于 2009-8-10 12:53 发表


这个项目千兆交换机+NAS集群就够了，不需要万兆网络。

那请问网络这边带宽不够怎么办?一根网线最高也就只能跑到120MB/s

lzc403

ISILON 集群NAS存储肯定能满足你的要求，可以测试，集群是单一文件系统，节点最多可以达到144个节点，带宽可以达到20GB/秒。http://www.isilon.cn/        咨询电话：010-82961201/2

bbjmmj

原帖由 storm the front 于 2009-8-10 13:55 发表


那请问网络这边带宽不够怎么办?一根网线最高也就只能跑到120MB/s

那么多服务器呢，数据不用从一个网卡走，网络结构好好做做，流量就可以分散出去了。
这个应用，至少在数据采集这块是不需要万兆网卡的。