python 做监控数据采集，怎么做。。。新手请教

peanutshell

完全新手， 领导要求用python做一个集中监控系统，每台服务器的性能数据采集和各服务器上跑的数据库的相关性能数据的采集，，频率大概每分钟收集一次，存入数据库。
web展示先不考虑。不知道从何入手，有没有demo或者类似源码推荐一些参考一下，谢谢。

timespace

是Python新手，还是数据监控新手？

peanutshell

python会一些，不算精通。
主要是不知道怎么实现在一台上去采集多台服务器上的数据并存入数据库。

q1208c

分布式采集, 然后送到集中的服务器上.

peanutshell

q1208c 发表于 2014-03-03 11:29
分布式采集, 然后送到集中的服务器上.

这个太泛了。我个这也大概知道。有没有demo或者类似的源码？参考一下？多谢了。

q1208c

回复 5# peanutshell

最简单的就是http接口. 采集端只要post数据到服务器就行了. 这方面的例子多了去了吧.


我不知道你到底需要什么样的例子? 难道我全写好了发上来给你?

相信你也明白, 这东西不是几行代码可以搞定的. 就算我手上有, 也没法贴上来.
   

timespace

这么具体的问题，找通用demo很难啊，个人觉得问题的难点不在Python。
1. 获取什么服务器性能数据和如何获取，可以请教公司内部运维。
2. 获取什么数据库性能数据和如何获取，可以请教公司内部DBA。
3. 以上两点搞定了，才能确定临时数据存储结构和最终数据库表结构。

以上三点是关键，Python的事情就简单多了，提供一种思路：一分钟一次，实时性不高，每台服务器用cron部署一个a.py，用于获取性能数据，在某一台服务器有一个b.py，负责获取所有服务器a.py产生的数据，然后写入数据库；a.py如何上报到b.py取决于你擅长什么，如果熟悉网络编程，用a.py做客户端上报到服务端b.py，如果熟悉shell的文件同步(如rsync)，a.py只写本地文件，b.py调用c.sh（封装rsync）拉取远程文件。

peanutshell

我是DBA。。。以上3点都不是问题。以前都是用shell在各自的服务器上做的。python只能写一些本地脚本 。不清楚这种集中式的怎么做。。。

timespace

这不就简单多了。。。
用Python不意味着只用Python，如果已有shell在本地统计了，就要利用已有成果，改造下shell脚本，按照你的实际需求格式让其写本地文件。然后在某一个机器上用shell（如rsync）把所有这些文件拉取过来，Python只负责解析这些文件并入库。

peanutshell

领导希望完全放弃shell. 也不在各服务器上有本地的脚本 。只有中心监控服务器一台。