erlang在网络监控系统中的应用

laputa73

从前网络监控基本都是基于 perl,python实现的.
对比成百上千的设备,使用多进程/多线程机制,通过snmp/telnet/ssh等方式去管理,还是能够胜任的.
但是面对接入网,十万,百万的海量设备,传统的方式就有些痛苦了.
和server端c10k问题类似,客户端也存在海量连接的处理问题.
ping和snmp还好点,因为icmp和udp是无连接的,传统的方式就可以实现大并发,只是换成异步方式就好.
基于tcp连接的协议就比较麻烦了.
解决的方法也有,就是事件和协程.perl有AE,python有gevent.
但是这些技术还比较新,而且不是原生方案,不是很成熟.相关的模块也不全。
而erlang的并发机制是原生的,而且erlang本身就是电信语言,对协议的支持比较广泛.
我考虑把snmp/telnet/ssh的并行采集操作都迁移到erlang.
采集数据的处理可以由其他语言完成.
问题是中间结果的存储选择,大家有什么好的建议?
ets的话,其他语言好像不好操作
redis的话,erlang的比较好的redis的驱动有什么?
或者直接用文件？
或者有其他更好的思路？

q1208c

纯erlang架构的话, meanisa, 如果不是, mysql

个人更倾向于 meansia 做 cache, mysql做持久化.

laputa73

mysql是持久化用的,需要有一个记录临时数据的cache
manesia性能靠得住吗?怎么有人说很差啊.
而且ets/dets/mnesia都是纯erlang的,我不太喜欢.
比较倾向redis/ssDB这样可以支持并发/异步插入,而且api比较丰富的nosql
mongo也可以.
读取cache,后续处理,持久化的工作就可以交给擅长其他语言的同事了.

q1208c

回复 3# laputa73

meanisa 应该没事的. 对于你的管理应用.

我不喜欢 外部数据库的原因是. erlang 相对比较封闭, 对外部数据库的支持不是太好. 另外, 从效率来说, 向外调用, 肯定没有虚拟机内部解决快.

你要是图快, 可以把meanisa数据库全用内存模式. 不用硬盘. 反正持久化在mysql上.
   

shijiang1130

laputa73 发表于 2014-08-18 15:12
从前网络监控基本都是基于 perl,python实现的.
对比成百上千的设备,使用多进程/多线程机制,通过snmp/telne ...

我觉得用自己最常用，最能快速解决问题的比较好。再优化，说不定你目前不会碰到那么大数量的设备。我自己的感受就是：要是弄一个东西，时间耗长了，就没有一点兴趣了，不能从工作中得到快乐的不值得花太多时间。总的来说，先弄一个能用的。

q1208c

回复 5# shijiang1130

那样, 当你遇到这么大量的机器的时候, 再改, 就来不及了.

当你有10台机器的时候, 你应该想着 100台的数据量, 当你有100台的时候, 你应该想着1000台 ... ...

要不然, 你的系统永远被追着改, 永远也不会真正的优化.
   

shijiang1130

好吧，那么我们现在到底有多少台机器。

q1208c

回复 7# shijiang1130

10000台. 谢谢.
   

shijiang1130

太多了，1000台还可以有环境试试，测测。

shijiang1130

不知道有GNS3模拟10000台得要多少内存