IT运维技术讨论之三：大话日志分析与管理

typuc

1.请举例说明CLI方式下如何分析系统日志？
tail -f /var/log/XX.log|grep -a3 --color '123'
打印及时日志，查询包含123关键词的前后3行记录，并标明颜色

2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得？

开源的话，目前正在测试环境使用logstash+elasticsearch；初步使用达到预计效果，可以按照业务，服务器（多台服务器比较实用），日期进行分类显示，并按照特有字段进行模糊和完全匹配查询；服务器端故障恢复后不会丢失日志。之前公司实用的是mongodb存储，当时mongodb死掉后，造成业务日志写入堵塞应用也死掉了，后面也就废弃了。商业的没用过。业务访问日志用的awstat如果你的IP地址库比较新的话，对访问来源地分析比较准确；由于我们在多线机房架设了代理，日志格式上需要单独配置，以便获取到真实的IP，而不是代理的Ip。

3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志？

系统主要是linux日志，及时日志查看；过期日志脚本打包清理回传公司。

4.介绍你目前的日志存储方案？是否考虑架设集中日志管理平台，又遇到了何种问题？

  集中存放展示，定期清理打包。日志平台展示时候担心系统磁盘瓶颈和高可用问题。

5.工作中多久查看日志系统，并对其中严重日志进行分析，是否进行关联分析？

   一般不查看，排查业务故障协助开发人员查看及时日志；关联分析没有了，只有根据业务提示查询下一个业务日志。
   
6.由网络资产（服务器、网络设备）产生的各种告警日志，每个设备的流量信息、以及设备的漏洞信息，你认为他们之间存在什么样的关联，打算如何对待这些信息（处理的方式）？

  漏洞可能会造成攻击，进而诱发流量激增，进一步触发相关报警。对日志监控，nagios有个check_log插件应该可以满足，但是要针对不同设备定义不同的报警值。

7.你通过日志分析来排除网络或系统故障码？当你遇到网络攻击时，会去主动分析日志吗？请用详细实例说明。
  
目前没遇到网络引起的故障，一般不要乱修改配置，网络还是很稳定的。
   案例：
     之前遇到一个tomcat应用无法访问，查看catlian.out日志，发现大量的“can't creat new connection”,修改tomcat最大连接数后，能坚持1-2分钟，又不行了。然后数据库负载报警，登陆数据库服务器，发现大量来自这个应用服务器的连接，数据库慢查询日志最高的sql执行20多秒，把这个sql给dba,优化后解决。

8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等应用服务器日志存储到MySQL，再通过Web界面图形化展示？你是通过那些方法实现的，难度在哪儿？

   这个没有。难度：格式统一处理，web展示，数据库压力。

9.目前你所管理的网络中流量监控系统起到那些作用，又由那些不足？

   用作资源使用趋势监控，用于扩容分析。目前用的cacti,自己用shell+snmp MIB 写了简单插件监控java jvm参数。cacti 5分钟间隔太长了监控粒度不够细。

10.希望日志存储多长时间？是否有必要销毁？

    这个要看行业和业务类型。一般的tomcat日志我们保留2周，业务日志保留半年。

11.是否考虑在企业中建设SIEM平台，以整合原先各种零散的监控和日志分析报警系统？

    希望了解，如果一个平台能解决大部分的问题，当然好。

12. 说说你眼中的OSSIM平台，能为运维人员解决那些事情，还有那些功能是它所无法实现的？你在学习、使用OSSIM中又遇到了那些困难？如果有OSSIM平台部署和应用培训是否会参加？

    之前装过，后面忙就没深入学习。有条件的话希望参加。

action08

很多大公司已分开这部分了

感觉是一个有趣的话题

baochenggood

1.请举例说明CLI方式下如何分析系统日志？
通过脚本，截取出关键字，分析的
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得？
GoAccess  分析nginx日志很好很强大
3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志？
linux通过自己自定义脚本，收集到日志服务器，window的就直接看了，没收集
4.介绍你目前的日志存储方案？是否考虑架设集中日志管理平台，又遇到了何种问题？
日志存储，存储在单独的一台虚拟机上，日志监控平台，在研究，架设肯定有这个必要
5.工作中多久查看日志系统，并对其中严重日志进行分析，是否进行关联分析？
一周分析一次，绘出数据图，综合分析
6.由网络资产（服务器、网络设备）产生的各种告警日志，每个设备的流量信息、以及设备的漏洞信息，你认为他们之间存在什么样的关联，打算如何对待这些信息（处理的方式）？
记录起来，问售后
7.你通过日志分析来排除网络或系统故障码？当你遇到网络攻击时，会去主动分析日志吗？请用详细实例说明。
排除故障，肯定要分析日志的
8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等应用服务器日志存储到MySQL，再通过Web界面图形化展示？你是通过那些方法实现的，难度在哪儿？
这些应用，用到经常用，通过web界面图形化，可以 用GoAccess  绘个简单的图

9.目前你所管理的网络中流量监控系统起到那些作用，又由那些不足？
监控，预警，
10.希望日志存储多长时间？是否有必要销毁？
一个月销毁，不销毁，浪费磁盘
11.是否考虑在企业中建设SIEM平台，以整合原先各种零散的监控和日志分析报警系统？
呵呵，考虑建设，参考李老师的书，学习，学习
12. 说说你眼中的OSSIM平台，能为运维人员解决那些事情，还有那些功能是它所无法实现的？你在学习、使用OSSIM中又遇到了那些困难？如果有OSSIM平台部署和应用培训是否会参加？
肯定会考虑

hexilanlan

好多经验。。。。。

2009532140

火前留名。。。。。

expert1

logstash/ splunk / Elastric Search 专业分析日志的工具。

chenyx

1.请举例说明CLI方式下如何分析系统日志？
  主要采用grep过滤关键字,比如检查web日志,搜索POST关键字,可以找到文件上传的日志

2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得？
  商业的木有用过,开源的,用过awast,基本上对于日常运维足够了

3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志？
  目前没有统一的日志存储.

4.介绍你目前的日志存储方案？是否考虑架设集中日志管理平台，又遇到了何种问题？
   目前没有,正在考虑架设集中日志管理平台.

5.工作中多久查看日志系统，并对其中严重日志进行分析，是否进行关联分析？
  基本上每周2次吧,有时候每周一次.如果有严重问题,肯定会进行分析的,关联分析倒是没做过.

6.由网络资产（服务器、网络设备）产生的各种告警日志，每个设备的流量信息、以及设备的漏洞信息，你认为他们之间存在什么样的关联，打算如何对待这些信息（处理的方式）？
   目前主要通过nagios+cacti进行网络检测,有问题直接会发告警邮件,问题严重的时候,肯定会进行多个设备报警信息的综合判断.

7.你通过日志分析来排除网络或系统故障码？当你遇到网络攻击时，会去主动分析日志吗？请用详细实例说明。
   排错以及故障排查,分析日志是最主要的工作.没有日志,根本没有解决问题的方向.
   网站遇到攻击,第一步肯定是先分析日志,看看攻击是什么类型的,然后针对不同的攻击类型采取相应的措施

8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等应用服务器日志存储到MySQL，再通过Web界面图形化展示？你是通过那些方法实现的，难度在哪儿？
   目前还没有将日志存储到MySQL.

9.目前你所管理的网络中流量监控系统起到那些作用，又由那些不足？
   主要进行网络监控,以及出问题的时候进行告警.网络流量监控主要通过cacti,不足之处就是5分钟太长了,粒度不够,只能看到大致趋势.

10.希望日志存储多长时间？是否有必要销毁？
   基本上按照有关部门文件要求,保存90天的时间,到期就删除了.

11.是否考虑在企业中建设SIEM平台，以整合原先各种零散的监控和日志分析报警系统？
   有机会会考虑建设统一的平台来整合我的监控系统.

12. 说说你眼中的OSSIM平台，能为运维人员解决那些事情，还有那些功能是它所无法实现的？你在学习、使用OSSIM中又遇到了那些困难？如果有OSSIM平台部署和应用培训是否会参加？
  有培训肯定会想办法参加的.

niao5929

最开始使用LINUX系统就觉得它可以让我知道计算机本身都干了些什么东西。日志系统确实给了我们很多处理问题的提示。和WINDOWS相比。这好很多。WINDOWS系统经常是不知道什么原因，因为它的日志本身就是说的不明不白的。让人一头污水。

ivysummer

我们在使用Splunk做产品环境的日志分析，一般的方式是在服务器上安装splukforwarder,将需要分析的日志传送到splunk服务器上面。给每个开发人员都分配账号，这样它们不用登陆服务器就就可以查看产品环境的日志了。Splunk的功能很强大，通过命令也可以生成图标，进行分析，还可以设定在一个时段内遇到多少错误时报警。
除了Splunk之外，开源的日志分析工具还有LogStash或者是Graylog2，没有仔细研究过。