IT运维技术讨论之三：大话日志分析与管理

cgweb

获奖名单已公布：http://bbs.chinaunix.net/thread-4171750-1-1.html

大话日志分析与管理，有奖赠书活动，欢迎大家参与~

     随着IT运维管理工作的复杂程度不断增加，仅靠几个“技术大拿”来包打天下的已不能满足要求，每当系统或网络故障来临时再去被动的查找原因，已不适应现在的企业发展，企业需要一种安全的运维平台，满足专业化、标准化和流程化的需要来实现运维工作的自动化管理，下面就日志分析与管理的话题展开讨论。

本期话题：
1.请举例说明CLI方式下如何分析系统日志？
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得？
3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志？
4.介绍你目前的日志存储方案？是否考虑架设集中日志管理平台，又遇到了何种问题？
5.工作中多久查看日志系统，并对其中严重日志进行分析，是否进行关联分析？
6.由网络资产（服务器、网络设备）产生的各种告警日志，每个设备的流量信息、以及设备的漏洞信息，你认为他们之间存在什么样的关联，打算如何对待这些信息（处理的方式）？
7.你通过日志分析来排除网络或系统故障码？当你遇到网络攻击时，会去主动分析日志吗？请用详细实例说明。
8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等应用服务器日志存储到MySQL，再通过Web界面图形化展示？你是通过那些方法实现的，难度在哪儿？
9.目前你所管理的网络中流量监控系统起到那些作用，又由那些不足？
10.希望日志存储多长时间？是否有必要销毁？
11.是否考虑在企业中建设SIEM平台，以整合原先各种零散的监控和日志分析报警系统？
12. 说说你眼中的OSSIM平台，能为运维人员解决那些事情，还有那些功能是它所无法实现的？你在学习、使用OSSIM中又遇到了那些困难？如果有OSSIM平台部署和应用培训是否会参加？


活动规则：
用心回答以上问题。

活动时间：2015-1-22 ~ 2-15

本期奖品：活动结束后将会抽取 10名 认真回答问题的会员，赠送《UNIX/Linux网络日志分析与流量监控》一本。


奖品简介：
《UNIX/Linux网络日志分析与流量监控》  

主要内容及目录

作者：李晨光      ChinaUnix社区专家
出版社：机械工业出版社
ISBN：9787111479611
出版时间：2015-01-01
页数：448
用纸：胶版纸

购书地址：http://item.jd.com/11582561.html
样章试读：http://wenku.it168.com/d_001573516.shtml
ChinaUnix视频大讲堂：OSSIM4应用视频教程 http://edu.chinaunix.net/

yxuqtr

目前公司还没专门针对这块去做架构，也期待什么时候领导下达通知去试水一下；平常针对故障多半是使用应用程序日志以及故障状态去处理；因为站点和应用量不是特别大所以没做集中日志管理，我也希望能在这方面长点见识；

hexilanlan

1.请举例说明CLI方式下如何分析系统日志？
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得？
木有用过。。。

3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志？
unix/linux,定时任务收集；windows一般就不管了。。。。

4.介绍你目前的日志存储方案？是否考虑架设集中日志管理平台，又遇到了何种问题？
木有存储。。。。。。。需要改善。

5.工作中多久查看日志系统，并对其中严重日志进行分析，是否进行关联分析？
周检 ，月检。。。
有问题的时候，查看发生点的每条日志。

6.由网络资产（服务器、网络设备）产生的各种告警日志，每个设备的流量信息、以及设备的漏洞信息，你认为他们之间存在什么样的关联，打算如何对待这些信息（处理的方式）？
流量信息，仅由网络设备看。服务器端无流量监测。。

7.你通过日志分析来排除网络或系统故障码？当你遇到网络攻击时，会去主动分析日志吗？请用详细实例说明。
遇到服务器大量发包的事，导致网络中其他服务器断ping。通过网络交换机发现是哪个IP，对应到服务器。检查日志及异常进程，干掉异常进程。

8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等应用服务器日志存储到MySQL，再通过Web界面图形化展示？你是通过那些方法实现的，难度在哪儿？
还木有啊。

9.目前你所管理的网络中流量监控系统起到那些作用，又由那些不足？
可以很好的看到IP的流量，很好用。

10.希望日志存储多长时间？是否有必要销毁？
正常的日志，1年足够长了。
故障日志，整理保留。

11.是否考虑在企业中建设SIEM平台，以整合原先各种零散的监控和日志分析报警系统？
好用吗？

12. 说说你眼中的OSSIM平台，能为运维人员解决那些事情，还有那些功能是它所无法实现的？你在学习、使用OSSIM中又遇到了那些困难？如果有OSSIM平台部署和应用培训是否会参加？
不清楚。。。。

orchid420

1.请举例说明CLI方式下如何分析系统日志？
        通过自己写的脚本手动定期去分析
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得？
        目前使用的免费的awast来分析Nginx tomcat日志，目前发现用这个工具分析到的结果不是很准备，曾和自己写的脚本分析结果有出入，不过不是很大，在接受的范围内
3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志？
        通过rsylog工具，把日志同步到一台服务器中然后再做处理
4.介绍你目前的日志存储方案？是否考虑架设集中日志管理平台，又遇到了何种问题？
        把日志同步到一台服务器中，目前暂时没有做这样的管理平台，在近期会接手做这样的事
5.工作中多久查看日志系统，并对其中严重日志进行分析，是否进行关联分析？
        平均一周会查看分析一次
6.由网络资产（服务器、网络设备）产生的各种告警日志，每个设备的流量信息、以及设备的漏洞信息，你认为他们之间存在什么样的关联，打算如何对待这些信息（处理的方式）？
        互相依存的关系，平时会定期对应用和系统进行升级打补丁
7.你通过日志分析来排除网络或系统故障码？当你遇到网络攻击时，会去主动分析日志吗？请用详细实例说明。
        会的，比如去年5月我们服务器受到大流量攻击，当时是临时把带宽加大，并启用CND进行分流，然后通过日志分析找出来源IP通过防火墙对其屏蔽。
8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等应用服务器日志存储到MySQL，再通过Web界面图形化展示？你是通过那些方法实现的，难度在哪儿？
        目前正是这样处理，把所有日志通过脚本分析然后把结果及详情导入到数据库中
9.目前你所管理的网络中流量监控系统起到那些作用，又由那些不足？
        目前是通过cacti对服务器进行的流量监控，当达到警戒线时会主动发邮件和消息通知相关人员
10.希望日志存储多长时间？是否有必要销毁？
        目前我们是保留一个月的，由于日志量大，考虑到自身存储空间的有限，我个人认为把日志保留下来，对以后业务上是有很大的帮助的，我们可以通过对以往日志的总结与分析，为我们往后的运行环境提供很大的参考
11.是否考虑在企业中建设SIEM平台，以整合原先各种零散的监控和日志分析报警系统？
        应该考虑
12. 说说你眼中的OSSIM平台，能为运维人员解决那些事情，还有那些功能是它所无法实现的？你在学习、使用OSSIM中又遇到了那些困难？如果有OSSIM平台部署和应用培训是否会参加？
        从目前的运维趋势来看势必要建立这样的系统，把人从运维的体力活中抽出来做其它更有意义的事，让这些重复而且枯燥的活让程序和平台去代替，我们只要定期对平台产生的报告进行分析，从中加以修复完善。
        对于OSSIM的学习从网上零零散散找了些资料，没有系统的对其学习过，如果有这样的机会，肯定会去好好充电一翻。

shangrilawyx

1.请举例说明CLI方式下如何分析系统日志？
        通过系统命令grep sed等或写脚本手动定期去分析
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得？
        目前使用的免费的开源工具来分析日志，没有统一的技术支持,需要自己研究或具备较好的技术功底
3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志？
        rsylog/自建日志平台，把日志同步到一台服务器中然后再做处理
4.介绍你目前的日志存储方案？是否考虑架设集中日志管理平台，又遇到了何种问题？
        日志存储于日志服务器中，集中分析,可扩展性不好
5.工作中多久查看日志系统，并对其中严重日志进行分析，是否进行关联分析？
        每日会查看分析,有报表分析
6.由网络资产（服务器、网络设备）产生的各种告警日志，每个设备的流量信息、以及设备的漏洞信息，你认为他们之间存在什么样的关联，打算如何对待这些信息（处理的方式）？
       关联主要靠人工分析，定期对应用和系统进行升级打补丁
7.你通过日志分析来排除网络或系统故障码？当你遇到网络攻击时，会去主动分析日志吗？请用详细实例说明。
        会的，比如我们服务器受到入侵，当时通过日志分析找出来源IP通过防CC对其屏蔽。
8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等应用服务器日志存储到MySQL，再通过Web界面图形化展示？你是通过那些方法实现的，难度在哪儿？
        是存储于mysql,初步建设一个平台自动搜集
9.目前你所管理的网络中流量监控系统起到那些作用，又由那些不足？
        目前是通过zabbix对服务器进行的流量监控，当达到警戒线时会主动发邮件和消息通知相关人员
10.希望日志存储多长时间？是否有必要销毁？
        目前保留3个月的，根据需要会删除部分,保留关键日志

11.是否考虑在企业中建设SIEM平台，以整合原先各种零散的监控和日志分析报警系统？
        是的
12. 说说你眼中的OSSIM平台，能为运维人员解决那些事情，还有那些功能是它所无法实现的？你在学习、使用OSSIM中又遇到了那些困难？如果有OSSIM平台部署和应用培训是否会参加？
     ossim可以为运维人员提供一个直观的界面,对整体状况有直接的认识,但是在关联分析,APT这方面还有欠缺
ossim目前没有较完整,官方的文档共学习,自己摸索 与同行交流!!
希望有培训可参加.

zsszss0000

这是晨光大神的书，先支持一下。

虫虫猫

1.请举例说明CLI方式下如何分析系统日志？
通过编写日志分析脚本进行分析，主要是分析web日志较多，系统日志一般不会太多，直接使用vim 查看，如果日志量比较多就用grep获取必要的信息。

2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得？
开源日志分析工具一般功能比较单一，更新速度也较慢，需要花较多的时间去学习和二次开发，才能达到要求的效果。商业日志分析工具功能上比较高大上， 但是也许并不适合业务的需求，最主要的是要花 钱，一般中小型公司很少会花钱购买商业的日志分析工具，大公司一般都是自己定制开发。

3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志？
一般使用计划任务加脚本的方式过滤并且汇总Unix/Linux下的日志，windows用的比较少，所以没做日志汇总

4.介绍你目前的日志存储方案？是否考虑架设集中日志管理平台，又遇到了何种问题？
还是通过计划任务和脚本进行集中存储，问题主要是需要关注日志是否成功从节点机下载完成，传输的完整性,还有就是如何展现的问题。

5.工作中多久查看日志系统，并对其中严重日志进行分析，是否进行关联分析？
平时的关注并不是很多，遇到排错或者遇到问题后才会进行查看，并没有进行关联分析。

6.由网络资产（服务器、网络设备）产生的各种告警日志，每个设备的流量信息、以及设备的漏洞信息，你认为他们之间存在什么样的关联，打算如何对待这些信息（处理的方式）？
网络资产一般都会设置自己的阈值，达到阈值后就会在日志中进行报警，应该是触发的关系，如果这些信息能实时推动到管理员手中是最好了。


7.你通过日志分析来排除网络或系统故障码？当你遇到网络攻击时，会去主动分析日志吗？请用详细实例说明。
遇到故障首先就会通过日志分析来排查故障，比如遇到网络攻击，首先就会对web日志进行排序和检查，看异常流量的来源和请求的资源，再决定应对的策略。

8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等应用服务器日志存储到MySQL，再通过Web界面图形化展示？你是通过那些方法实现的，难度在哪儿？
曾经尝试使用clamav扫描服务器，并将日志汇总存储到服务器，再用脚本进行分析报警，存储到mysql并web图形化展示没有试过，主要是没有好用的工具，自行开发的话难度较大。

9.目前你所管理的网络中流量监控系统起到那些作用，又由那些不足？
主要是遇到问题时候查找问题所在的设备，比如常用的cacti之类的工具，不足主要是实时性不够，有时候短时间的异常这类工具根本无法采集到数据。

10.希望日志存储多长时间？是否有必要销毁？
根据业务需求和存储的大小合理决定存储的时间，如果确认日志没用还是要进行销毁的。

11.是否考虑在企业中建设SIEM平台，以整合原先各种零散的监控和日志分析报警系统？
如果有充足的预算的话考虑建立SIEM平台，毕竟安全对于互联网行业是至关重要的。

12. 说说你眼中的OSSIM平台，能为运维人员解决那些事情，还有那些功能是它所无法实现的？你在学习、使用OSSIM中又遇到了那些困难？如果有OSSIM平台部署和应用培训是否会参加？
希望OSSIM平台可以帮助运维人员快速定位安全问题出现的位置，并给出建议的解决方案。目前并没有使用过OSSIM平台，如果有相应的培训会考虑去学习下。

dengbao2001

这个活动不错，支持下！

forgaoqiang

这明显是运维人员的菜 日志好 日志妙 日志呱呱叫~

qingduo04

火前留名。。。。。