论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2006-10-31 16:07 |只看该作者 |倒序浏览

城市网络监控系统征求可行方案！数据量超大！
从电信的光纤接入，流量 2.5G，实现对关键字分析过滤，多符合要求的关键字，写入ORACLE数据库，由于流量巨大，前面的分析过滤程序
启动就耗尽内存，只能处理10%的数据，其它全部丢失，而且运行2个小时，程序就崩溃掉，请给一个可行的方案。

文库|博客

天涯明月刀

小富即安

招聘 : Linux运维

论坛徽章:: 0

2楼 [报告]

发表于 2006-10-31 16:51 |只看该作者

分布式数据库

RAC

考虑根据某些特征比方地域分组，把数据分布到不同的阵列上

结构比较清晰的做法：
如果各个分组数据关联很少，那就干脆分成几个数据库，每个数据库再做RAC什么的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

w3231717

稍有积蓄

论坛徽章:: 0

3楼 [报告]

发表于 2006-11-01 06:22 |只看该作者

分布数据库 + 中间件

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

blue_stone

荣誉版主

论坛徽章:: 0

4楼 [报告]

发表于 2006-11-01 08:39 |只看该作者

原帖由 lgqdcs 于 2006-10-31 16:07 发表
城市网络监控系统征求可行方案！数据量超大！
从电信的光纤接入，流量 2.5G，实现对关键字分析过滤，多符合要求的关键字，写入ORACLE数据库，由于流量巨大，前面的分析过滤程序
启动就耗尽内存，只能处理 ...

架一台前置机, 对输入流量做尽可能简单的过滤(或者不做过滤), 然后将过滤后的数据流以某种算法(尽可能简单, 公平)分配给后端的过滤服务器,
过滤服务器对数局进行全面分析, 如果符合搜索条件, 则存入后数据库.

可配置多台过滤服务器, 分担负载.

如果前置机和后台服务器之间的网络利用率过高, 可以考虑增加多个网卡, 建立多个网络, 来实现网络的负载分担.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

lgqdcs

白手起家

论坛徽章:: 0

5楼 [报告]

发表于 2006-11-01 10:20 |只看该作者

楼上的高手呀！这个是从硬件上实现分流，使分流后的流量能达到软件可控制的水平。
但是考虑到硬件成本，不可能把流量分得很小，即使分成10个，也达到了250M/S的数据量。
还有对于这样的系统如何在软件上满足这样大型数据量吞吐率的要求？内存如何控制，线程数量，进程，软件采用什么架够等等？稳定性，可靠性，连续工作的效率，冗于等等