免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Python › python 做监控数据采集，怎么做。。。新手请教
123下一页
最近访问板块 发新帖
楼主: peanutshell
打印 上一主题 下一主题

python 做监控数据采集，怎么做。。。新手请教 [复制链接]

nmweizi

论坛徽章:
0
11楼 [报告]
发表于 2014-03-03 14:52 |只看该作者
本帖最后由 nmweizi 于 2014-03-03 14:56 编辑

zenoss,这个符合要求，而且开源。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
timespace

论坛徽章:
11
技术图书徽章 日期:2014-03-01 14:44:34天蝎座 日期:2014-05-21 22:11:59金牛座 日期:2014-05-30 17:06:14
12楼 [报告]
发表于 2014-03-03 14:58 |只看该作者
领导的要求多啊，那就从一台服务器搞远程登录吧，paramiko和pexpect都可以，剩下的就是研究原来的shell实现，迁移到Python实现。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
修杰_JIANG

论坛徽章:
1
子鼠 日期:2014-05-04 13:59:31
13楼 [报告]
发表于 2014-03-03 16:31 |只看该作者
监控宝的 采集器 py写的 可以参考下
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
q1208c

论坛徽章:
33
荣誉会员 日期:2011-11-23 16:44:17天秤座 日期:2014-08-26 16:18:20天秤座 日期:2014-08-29 10:12:18丑牛 日期:2014-08-29 16:06:45丑牛 日期:2014-09-03 10:28:58射手座 日期:2014-09-03 16:01:17寅虎 日期:2014-09-11 14:24:21天蝎座 日期:2014-09-17 08:33:55IT运维版块每日发帖之星 日期:2016-04-17 06:23:27操作系统版块每日发帖之星 日期:2016-04-18 06:20:00IT运维版块每日发帖之星 日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津 日期:2016-05-06 12:46:59
14楼 [报告]
发表于 2014-03-03 16:54 |只看该作者
回复 10# peanutshell


你们家领导的意思是, 不用问病人也能知道他是啥病是吧?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wu_wei_jie

论坛徽章:
0
15楼 [报告]
发表于 2014-03-05 16:29 |只看该作者
timespace 发表于 2014-03-03 14:58
领导的要求多啊，那就从一台服务器搞远程登录吧，paramiko和pexpect都可以，剩下的就是研究原来的shell实现 ...



“一台服务器搞远程登录”的话，如果需要采集的服务器很多，循环会很慢，如果我如一些性能指标采集的时间间隔是秒级的，该如何处理？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
timespace

论坛徽章:
11
技术图书徽章 日期:2014-03-01 14:44:34天蝎座 日期:2014-05-21 22:11:59金牛座 日期:2014-05-30 17:06:14
16楼 [报告]
发表于 2014-03-05 16:49 |只看该作者
回复 15# wu_wei_jie
加上前面那些限制，从一台机器登录很多台取数据的时候，基本不可能实现秒级精度，即使用很多线程也不行，跨机器跨网络一定会面临网络波动，内网也不例外，在一台机器部署连最基本的容错都做不到，名符其实的单点故障。
因此，这已经不是技术问题了，而是和领导的沟通技巧问题，拿出自己的观点和方案说服别人，大家都知道又想马儿跑又想马儿不吃草是不现实的。


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wu_wei_jie

论坛徽章:
0
17楼 [报告]
发表于 2014-03-06 08:48 |只看该作者
先不考虑可靠性，单不单点故障，这这后面考虑的事。

也就是说，想从一台机器登录到各服务器的方案不现实 ？

至少得在各服务器开发个类似 agent的东西，在各服务器本地收集完存入数据库？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wu_wei_jie

论坛徽章:
0
18楼 [报告]
发表于 2014-03-06 15:34 |只看该作者
修杰_JIANG 发表于 2014-03-03 16:31
监控宝的 采集器 py写的 可以参考下


这个貌似不是开源的，什么地方可以下载呢？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ToughGuy630

论坛徽章:
0
19楼 [报告]
发表于 2014-03-09 20:32 |只看该作者
看你用主动式监控还是被动监控

被动监控

监控服务器端起个server， 规范api数据可使用xml或者json都行，然后被监控机器做client， 定期向server发送数据

主动监控

可以用 paramiko 用ssh获取linux服务器信息,  或者pysnmp
当然你足够厉害的话也可以自己开发被监控端的server, 然后监控服务器这边相当于是client 定期到监控机器上去取数据。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hmchzb19

论坛徽章:
13
CU大牛徽章 日期:2013-03-14 14:14:082016科比退役纪念章 日期:2016-07-22 11:15:35数据库技术版块每日发帖之星 日期:2016-05-27 06:20:002015亚冠之吉达阿赫利 日期:2015-08-05 10:06:542015年亚洲杯之韩国 日期:2015-04-01 16:05:42双鱼座 日期:2014-11-13 11:04:24丑牛 日期:2014-07-25 17:29:54子鼠 日期:2014-04-25 12:25:45丑牛 日期:2014-04-17 08:35:48巨蟹座 日期:2014-04-16 16:50:05CU大牛徽章 日期:2013-03-14 14:14:29CU大牛徽章 日期:2013-03-14 14:14:26
20楼 [报告]
发表于 2014-03-09 21:26 |只看该作者
监控软件太多了，为啥要自己在做一个呢？

zenoss,zabbix, nagios, ganglia



实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
123下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP