800MB/s的数据量，请大家帮忙看看

bbjmmj

给楼主推荐个主板：http://detail.zol.com.cn/servermotherboard/index137266.shtml
你那个SUN，跟用这板子攒出来的机器比性能，肯定会哭的
这个最有希望承载你那每秒800兆字节的SAMBA，这块板子报价将近六千元人民币。

bbjmmj

忘了说了，如果允许使用台式机，单台台式机，带100TB廉价存储，跑你这个业务不是很困难。
这么大数据量的视频采集，还是考虑下台式机架构吧，搁服务器跑太不靠谱了，性能不行啊，80台PC配小机也不现实啊。

haole

原帖由 liaoboda 于 2009-8-7 10:33 发表

如果GPFS还不如直接panasa或者DDN GPFS好贵,我们尝试过.前边两个都支持smb cifs

商业软件是不便宜的，想便宜只能自己捣鼓Open Source的群集文件系统了。但是无论如何单台服务器达到800MB/s的流量的话，这样的服务器很难便宜。IBM的p595是可以很轻松一台支持1200MB/s的流量的，不过就完全不符合经济的原则了。我觉得，用刀片+群集文件系统算是比较经济的了，很难找出更经济的方案。

haole

原帖由 huangzx 于 2009-8-7 13:23 发表
请教liaoboda使者， 有试用过netapp 的GX 吗？ 不知性能怎样。

如果是NetApp的能超过800MB/s，一定也不便宜。还是自己DIY的最便宜。

bbjmmj

这台SUN用性能好的硬阵列勉强够用，软阵列就不用考虑了，超过系统处理能力了，但是，性能好的硬阵列，100TB，钱呐！

bbjmmj

原帖由 haole 于 2009-8-7 21:24 发表


商业软件是不便宜的，想便宜只能自己捣鼓Open Source的群集文件系统了。但是无论如何单台服务器达到800MB/s的流量的话，这样的服务器很难便宜。IBM的p595是可以很轻松一台支持1200MB/s的流量的，不过就完全 ...

P595满配，恐怕也跑不了这个业务。
搜了不少服务器参数，最终结论是：得用组装PC才可以跑得了这个业务。

haole

原帖由 bbjmmj 于 2009-8-7 23:18 发表


P595满配，恐怕也跑不了这个业务。
搜了不少服务器参数，最终结论是：得用组装PC才可以跑得了这个业务。

P595无需满配，就可以支持1200MB/s的流量，只要连接SAN光纤卡够、存储能支持这样的流量就肯定没问题，1200MB/s是我看nmon的真实流量，不会有问题。但是Samba Server一个instance能否支持800MB/s我就有点担心了，如果一个instance真的不行，那就要多个instance，采用群集文件系统。所以我觉得如果一定要采用CIFS协议，多个Samba+群集文件系统才是良好的架构，保证还可以扩展，支持1000MB/s甚至更高的流量。

我突然发现楼主是弓虽人，不继续废话了，下次我不接茬了。

[ 本帖最后由 haole 于 2009-8-8 01:03 编辑 ]

tomac_cu

流量均衡＋分布存储？
LVS 把流量转向多个写入服务器   再用 一个LVS 来做读出服务器

80 数据采集=====LVS====写入服务器（读出服务器）集群====LVS=== 处理集群

每个服务器的要求就很低了

软件上稍微动一动，就可以自动化了，还可以自动把故障节点给干掉。不是比小型机方案好吗？

做个几台的冗余备份，一两年内可以不用考虑动构架

[ 本帖最后由 tomac 于 2009-8-8 02:47 编辑 ]

zhiwood

一个简单的办法, 写个简单的c/s程序, 每一个机器一个udp端口, 就往服务器发数据包. 由于网络环境比较好, 所以这方面丢包可以忽略, 乱序可以简单的reorder. 后台开80个线程往磁盘上写. tcp 都嫌慢, 裸奔才能有吞吐量. 不过感觉还是不够. 最好是连文件系统也绕过去了, 作个简单的划分, 直接发scsi命令到存贮阵列. 这样80个写的调度都不用在操作系统里做. 其实 这个服务器可能还不如一个 好的存贮阵列, 加一个简单的至强服务器. 因为sata的请求队列长度太小了, 只有32个, 同时塞不进去对于80个并发的请求, 就只能在内存里等, 所以存贮这边要么有scsi队列超过80的, 要么把64个sata可以物理的划分并发.

zhiwood

想scale的, 就把udp unicast改成 multicast.