免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 61511 | 回复: 73

[其他] IT运维技术讨论之三:大话日志分析与管理 [复制链接]

论坛徽章:
6
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-03 17:33:522015元宵节徽章
日期:2015-03-06 15:50:39IT运维版块每日发帖之星
日期:2016-01-11 06:20:00IT运维版块每日发帖之星
日期:2016-03-19 06:20:0019周年集字徽章-19
日期:2019-09-06 18:56:11
发表于 2015-01-22 11:48 |显示全部楼层
获奖名单已公布http://bbs.chinaunix.net/thread-4171750-1-1.html

大话日志分析与管理,有奖赠书活动,欢迎大家参与~

     随着IT运维管理工作的复杂程度不断增加,仅靠几个“技术大拿”来包打天下的已不能满足要求,每当系统或网络故障来临时再去被动的查找原因,已不适应现在的企业发展,企业需要一种安全的运维平台,满足专业化、标准化和流程化的需要来实现运维工作的自动化管理,下面就日志分析与管理的话题展开讨论。

本期话题:
1.请举例说明CLI方式下如何分析系统日志?
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得?
3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志?
4.介绍你目前的日志存储方案?是否考虑架设集中日志管理平台,又遇到了何种问题?
5.工作中多久查看日志系统,并对其中严重日志进行分析,是否进行关联分析?
6.由网络资产(服务器、网络设备)产生的各种告警日志,每个设备的流量信息、以及设备的漏洞信息,你认为他们之间存在什么样的关联,打算如何对待这些信息(处理的方式)?
7.你通过日志分析来排除网络或系统故障码?当你遇到网络攻击时,会去主动分析日志吗?请用详细实例说明。
8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables,DNS等应用服务器日志存储到MySQL,再通过Web界面图形化展示?你是通过那些方法实现的,难度在哪儿?
9.目前你所管理的网络中流量监控系统起到那些作用,又由那些不足?
10.希望日志存储多长时间?是否有必要销毁?
11.是否考虑在企业中建设SIEM平台,以整合原先各种零散的监控和日志分析报警系统?
12. 说说你眼中的OSSIM平台,能为运维人员解决那些事情,还有那些功能是它所无法实现的?你在学习、使用OSSIM中又遇到了那些困难?如果有OSSIM平台部署和应用培训是否会参加?


活动规则:
用心回答以上问题。

活动时间:2015-1-22 ~ 2-15

本期奖品:活动结束后将会抽取 10名 认真回答问题的会员,赠送《UNIX/Linux网络日志分析与流量监控》一本。


奖品简介:
《UNIX/Linux网络日志分析与流量监控》  

主要内容及目录

作者:李晨光      ChinaUnix社区专家
出版社:机械工业出版社
ISBN:9787111479611
出版时间:2015-01-01
页数:448
用纸:胶版纸

购书地址:http://item.jd.com/11582561.html
样章试读:http://wenku.it168.com/d_001573516.shtml
ChinaUnix视频大讲堂:OSSIM4应用视频教程 http://edu.chinaunix.net/

论坛徽章:
0
发表于 2015-01-22 14:54 |显示全部楼层
目前公司还没专门针对这块去做架构,也期待什么时候领导下达通知去试水一下;平常针对故障多半是使用应用程序日志以及故障状态去处理;因为站点和应用量不是特别大所以没做集中日志管理,我也希望能在这方面长点见识;

论坛徽章:
62
洛杉矶湖人
日期:2015-02-10 09:56:11黑曼巴
日期:2016-06-28 17:41:282015-2016NBA季后赛纪念章
日期:2016-06-28 17:41:282016猴年福章徽章
日期:2016-02-18 15:30:34圣安东尼奥马刺
日期:2015-05-04 22:46:00菠菜神灯
日期:2015-05-04 22:35:07新奥尔良黄蜂
日期:2015-03-17 13:54:52明尼苏达森林狼
日期:2015-03-16 21:51:15萨克拉门托国王
日期:2015-03-02 16:10:58华盛顿奇才
日期:2015-03-02 16:10:58迈阿密热火
日期:2015-03-02 16:10:582016科比退役纪念章
日期:2016-06-28 17:41:28
发表于 2015-01-22 15:07 |显示全部楼层
1.请举例说明CLI方式下如何分析系统日志?
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得?
木有用过。。。

3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志?
unix/linux,定时任务收集;windows一般就不管了。。。。

4.介绍你目前的日志存储方案?是否考虑架设集中日志管理平台,又遇到了何种问题?
木有存储。。。。。。。需要改善。

5.工作中多久查看日志系统,并对其中严重日志进行分析,是否进行关联分析?
周检 ,月检。。。
有问题的时候,查看发生点的每条日志。

6.由网络资产(服务器、网络设备)产生的各种告警日志,每个设备的流量信息、以及设备的漏洞信息,你认为他们之间存在什么样的关联,打算如何对待这些信息(处理的方式)?
流量信息,仅由网络设备看。服务器端无流量监测。。

7.你通过日志分析来排除网络或系统故障码?当你遇到网络攻击时,会去主动分析日志吗?请用详细实例说明。
遇到服务器大量发包的事,导致网络中其他服务器断ping。通过网络交换机发现是哪个IP,对应到服务器。检查日志及异常进程,干掉异常进程。

8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables,DNS等应用服务器日志存储到MySQL,再通过Web界面图形化展示?你是通过那些方法实现的,难度在哪儿?
还木有啊。

9.目前你所管理的网络中流量监控系统起到那些作用,又由那些不足?
可以很好的看到IP的流量,很好用。

10.希望日志存储多长时间?是否有必要销毁?
正常的日志,1年足够长了。
故障日志,整理保留。

11.是否考虑在企业中建设SIEM平台,以整合原先各种零散的监控和日志分析报警系统?
好用吗?

12. 说说你眼中的OSSIM平台,能为运维人员解决那些事情,还有那些功能是它所无法实现的?你在学习、使用OSSIM中又遇到了那些困难?如果有OSSIM平台部署和应用培训是否会参加?
不清楚。。。。

论坛徽章:
0
发表于 2015-01-22 15:17 |显示全部楼层
1.请举例说明CLI方式下如何分析系统日志?
        通过自己写的脚本手动定期去分析
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得?
        目前使用的免费的awast来分析Nginx tomcat日志,目前发现用这个工具分析到的结果不是很准备,曾和自己写的脚本分析结果有出入,不过不是很大,在接受的范围内
3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志?
        通过rsylog工具,把日志同步到一台服务器中然后再做处理
4.介绍你目前的日志存储方案?是否考虑架设集中日志管理平台,又遇到了何种问题?
        把日志同步到一台服务器中,目前暂时没有做这样的管理平台,在近期会接手做这样的事
5.工作中多久查看日志系统,并对其中严重日志进行分析,是否进行关联分析?
        平均一周会查看分析一次
6.由网络资产(服务器、网络设备)产生的各种告警日志,每个设备的流量信息、以及设备的漏洞信息,你认为他们之间存在什么样的关联,打算如何对待这些信息(处理的方式)?
        互相依存的关系,平时会定期对应用和系统进行升级打补丁
7.你通过日志分析来排除网络或系统故障码?当你遇到网络攻击时,会去主动分析日志吗?请用详细实例说明。
        会的,比如去年5月我们服务器受到大流量攻击,当时是临时把带宽加大,并启用CND进行分流,然后通过日志分析找出来源IP通过防火墙对其屏蔽。
8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables,DNS等应用服务器日志存储到MySQL,再通过Web界面图形化展示?你是通过那些方法实现的,难度在哪儿?
        目前正是这样处理,把所有日志通过脚本分析然后把结果及详情导入到数据库中
9.目前你所管理的网络中流量监控系统起到那些作用,又由那些不足?
        目前是通过cacti对服务器进行的流量监控,当达到警戒线时会主动发邮件和消息通知相关人员
10.希望日志存储多长时间?是否有必要销毁?
        目前我们是保留一个月的,由于日志量大,考虑到自身存储空间的有限,我个人认为把日志保留下来,对以后业务上是有很大的帮助的,我们可以通过对以往日志的总结与分析,为我们往后的运行环境提供很大的参考
11.是否考虑在企业中建设SIEM平台,以整合原先各种零散的监控和日志分析报警系统?
        应该考虑
12. 说说你眼中的OSSIM平台,能为运维人员解决那些事情,还有那些功能是它所无法实现的?你在学习、使用OSSIM中又遇到了那些困难?如果有OSSIM平台部署和应用培训是否会参加?
        从目前的运维趋势来看势必要建立这样的系统,把人从运维的体力活中抽出来做其它更有意义的事,让这些重复而且枯燥的活让程序和平台去代替,我们只要定期对平台产生的报告进行分析,从中加以修复完善。
        对于OSSIM的学习从网上零零散散找了些资料,没有系统的对其学习过,如果有这样的机会,肯定会去好好充电一翻。

论坛徽章:
0
发表于 2015-01-22 16:05 |显示全部楼层
1.请举例说明CLI方式下如何分析系统日志?
        通过系统命令grep sed等或写脚本手动定期去分析
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得?
        目前使用的免费的开源工具来分析日志,没有统一的技术支持,需要自己研究或具备较好的技术功底
3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志?
        rsylog/自建日志平台,把日志同步到一台服务器中然后再做处理
4.介绍你目前的日志存储方案?是否考虑架设集中日志管理平台,又遇到了何种问题?
        日志存储于日志服务器中,集中分析,可扩展性不好
5.工作中多久查看日志系统,并对其中严重日志进行分析,是否进行关联分析?
        每日会查看分析,有报表分析
6.由网络资产(服务器、网络设备)产生的各种告警日志,每个设备的流量信息、以及设备的漏洞信息,你认为他们之间存在什么样的关联,打算如何对待这些信息(处理的方式)?
       关联主要靠人工分析,定期对应用和系统进行升级打补丁
7.你通过日志分析来排除网络或系统故障码?当你遇到网络攻击时,会去主动分析日志吗?请用详细实例说明。
        会的,比如我们服务器受到入侵,当时通过日志分析找出来源IP通过防CC对其屏蔽。
8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables,DNS等应用服务器日志存储到MySQL,再通过Web界面图形化展示?你是通过那些方法实现的,难度在哪儿?
        是存储于mysql,初步建设一个平台自动搜集
9.目前你所管理的网络中流量监控系统起到那些作用,又由那些不足?
        目前是通过zabbix对服务器进行的流量监控,当达到警戒线时会主动发邮件和消息通知相关人员
10.希望日志存储多长时间?是否有必要销毁?
        目前保留3个月的,根据需要会删除部分,保留关键日志

11.是否考虑在企业中建设SIEM平台,以整合原先各种零散的监控和日志分析报警系统?
        是的
12. 说说你眼中的OSSIM平台,能为运维人员解决那些事情,还有那些功能是它所无法实现的?你在学习、使用OSSIM中又遇到了那些困难?如果有OSSIM平台部署和应用培训是否会参加?
     ossim可以为运维人员提供一个直观的界面,对整体状况有直接的认识,但是在关联分析,APT这方面还有欠缺
ossim目前没有较完整,官方的文档共学习,自己摸索 与同行交流!!
希望有培训可参加.

求职 : 机器学习
论坛徽章:
79
2015年亚洲杯纪念徽章
日期:2015-05-06 19:18:572015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之阿尔纳斯尔
日期:2015-09-07 09:30:232015亚冠之萨济拖拉机
日期:2015-10-21 08:26:3915-16赛季CBA联赛之浙江
日期:2015-12-30 09:59:1815-16赛季CBA联赛之浙江
日期:2016-01-10 12:35:21技术图书徽章
日期:2016-01-15 11:07:2015-16赛季CBA联赛之新疆
日期:2016-02-24 13:46:0215-16赛季CBA联赛之吉林
日期:2016-06-26 01:07:172015-2016NBA季后赛纪念章
日期:2016-06-28 17:44:45黑曼巴
日期:2016-06-28 17:44:4515-16赛季CBA联赛之浙江
日期:2017-07-18 13:41:54
发表于 2015-01-22 16:07 |显示全部楼层
这是晨光大神的书,先支持一下。

论坛徽章:
4
白银圣斗士
日期:2015-11-24 10:40:40技术图书徽章
日期:2015-11-26 13:47:47平安夜徽章
日期:2015-12-26 00:06:30技术图书徽章
日期:2016-07-19 13:54:03
发表于 2015-01-22 16:26 |显示全部楼层

1.请举例说明CLI方式下如何分析系统日志?
通过编写日志分析脚本进行分析,主要是分析web日志较多,系统日志一般不会太多,直接使用vim 查看,如果日志量比较多就用grep获取必要的信息。

2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得?
开源日志分析工具一般功能比较单一,更新速度也较慢,需要花较多的时间去学习和二次开发,才能达到要求的效果。商业日志分析工具功能上比较高大上, 但是也许并不适合业务的需求,最主要的是要花 钱,一般中小型公司很少会花钱购买商业的日志分析工具,大公司一般都是自己定制开发。

3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志?
一般使用计划任务加脚本的方式过滤并且汇总Unix/Linux下的日志,windows用的比较少,所以没做日志汇总

4.介绍你目前的日志存储方案?是否考虑架设集中日志管理平台,又遇到了何种问题?
还是通过计划任务和脚本进行集中存储,问题主要是需要关注日志是否成功从节点机下载完成,传输的完整性,还有就是如何展现的问题。

5.工作中多久查看日志系统,并对其中严重日志进行分析,是否进行关联分析?
平时的关注并不是很多,遇到排错或者遇到问题后才会进行查看,并没有进行关联分析。

6.由网络资产(服务器、网络设备)产生的各种告警日志,每个设备的流量信息、以及设备的漏洞信息,你认为他们之间存在什么样的关联,打算如何对待这些信息(处理的方式)?
网络资产一般都会设置自己的阈值,达到阈值后就会在日志中进行报警,应该是触发的关系,如果这些信息能实时推动到管理员手中是最好了。


7.你通过日志分析来排除网络或系统故障码?当你遇到网络攻击时,会去主动分析日志吗?请用详细实例说明。
遇到故障首先就会通过日志分析来排查故障,比如遇到网络攻击,首先就会对web日志进行排序和检查,看异常流量的来源和请求的资源,再决定应对的策略。

8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables,DNS等应用服务器日志存储到MySQL,再通过Web界面图形化展示?你是通过那些方法实现的,难度在哪儿?
曾经尝试使用clamav扫描服务器,并将日志汇总存储到服务器,再用脚本进行分析报警,存储到mysql并web图形化展示没有试过,主要是没有好用的工具,自行开发的话难度较大。

9.目前你所管理的网络中流量监控系统起到那些作用,又由那些不足?
主要是遇到问题时候查找问题所在的设备,比如常用的cacti之类的工具,不足主要是实时性不够,有时候短时间的异常这类工具根本无法采集到数据。

10.希望日志存储多长时间?是否有必要销毁?
根据业务需求和存储的大小合理决定存储的时间,如果确认日志没用还是要进行销毁的。

11.是否考虑在企业中建设SIEM平台,以整合原先各种零散的监控和日志分析报警系统?
如果有充足的预算的话考虑建立SIEM平台,毕竟安全对于互联网行业是至关重要的。

12. 说说你眼中的OSSIM平台,能为运维人员解决那些事情,还有那些功能是它所无法实现的?你在学习、使用OSSIM中又遇到了那些困难?如果有OSSIM平台部署和应用培训是否会参加?
希望OSSIM平台可以帮助运维人员快速定位安全问题出现的位置,并给出建议的解决方案。目前并没有使用过OSSIM平台,如果有相应的培训会考虑去学习下。


论坛徽章:
13
技术图书徽章
日期:2014-04-29 14:15:42IT运维版块每日发帖之星
日期:2015-12-12 06:20:00IT运维版块每日发帖之星
日期:2015-08-30 06:20:00IT运维版块每日发帖之星
日期:2015-08-24 06:20:00IT运维版块每日发帖之星
日期:2015-08-02 06:20:002015年亚洲杯之澳大利亚
日期:2015-04-03 15:03:12申猴
日期:2015-03-20 09:00:292015年迎新春徽章
日期:2015-03-04 09:54:452015年辞旧岁徽章
日期:2015-03-03 16:54:15季节之章:冬
日期:2015-01-20 17:08:47双子座
日期:2014-11-21 16:30:31技术图书徽章
日期:2014-07-11 16:29:08
发表于 2015-01-22 16:43 |显示全部楼层
这个活动不错,支持下!

论坛徽章:
40
水瓶座
日期:2013-08-15 11:26:422015年辞旧岁徽章
日期:2015-03-03 16:54:152015年亚洲杯之乌兹别克斯坦
日期:2015-03-27 14:01:172015年亚洲杯之约旦
日期:2015-03-31 15:06:442015亚冠之首尔
日期:2015-06-16 23:24:37IT运维版块每日发帖之星
日期:2015-07-01 22:20:002015亚冠之德黑兰石油
日期:2015-07-08 09:32:07IT运维版块每日发帖之星
日期:2015-08-29 06:20:00IT运维版块每日发帖之星
日期:2015-08-29 06:20:00IT运维版块每日发帖之星
日期:2015-10-10 06:20:00IT运维版块每日发帖之星
日期:2015-10-11 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2015-01-22 17:26 |显示全部楼层
这明显是运维人员的菜 日志好 日志妙 日志呱呱叫~

论坛徽章:
18
卯兔
日期:2013-09-27 17:41:0615-16赛季CBA联赛之佛山
日期:2016-07-09 17:34:45操作系统版块每周发帖之星
日期:2015-12-02 15:01:04IT运维版块每日发帖之星
日期:2015-12-02 06:20:00IT运维版块每日发帖之星
日期:2015-10-07 06:20:00IT运维版块每日发帖之星
日期:2015-10-03 06:20:00IT运维版块每日发帖之星
日期:2015-10-01 06:20:00羊年新春福章
日期:2015-04-01 17:56:06拜羊年徽章
日期:2015-04-01 17:56:062015年迎新春徽章
日期:2015-03-04 09:49:452015年辞旧岁徽章
日期:2015-03-03 16:54:15天秤座
日期:2015-01-14 06:39:28
发表于 2015-01-22 22:35 |显示全部楼层
火前留名。。。。。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP