免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: cgweb

[其他] IT运维技术讨论之三:大话日志分析与管理 [复制链接]

论坛徽章:
42
19周年集字徽章-周
日期:2019-10-14 14:35:31平安夜徽章
日期:2015-12-26 00:06:30数据库技术版块每日发帖之星
日期:2015-12-01 06:20:002015亚冠之首尔
日期:2015-11-04 22:25:43IT运维版块每日发帖之星
日期:2015-08-17 06:20:00寅虎
日期:2014-06-04 16:25:27狮子座
日期:2014-05-12 11:00:00辰龙
日期:2013-12-20 17:07:19射手座
日期:2013-10-24 21:01:23CU十二周年纪念徽章
日期:2013-10-24 15:41:34IT运维版块每日发帖之星
日期:2016-01-27 06:20:0015-16赛季CBA联赛之新疆
日期:2016-06-07 14:10:01
发表于 2015-01-31 20:58 |显示全部楼层
本帖最后由 laputa73 于 2015-01-31 20:58 编辑

传统的日志分析工具主要是 awk,sed,perl
如果数据量不大,mysql也是可以胜任查询工作的。
说到流量监控,就是mrtg/cacti
这两个没有本质区别。用在少量的端口监控还是很好用的。
后端的rateupex/RRDTOOLS的环形特征也可以很好胜任数据压缩和简单统计的要求。

到了云和大数据的时代,
目前比较火的是ELK组合(logstash+Elasticsearch +kibana), 或者flume+hadoop组合
对于日志这类非结构化数据,正是nosql的用武之地

论坛徽章:
1
申猴
日期:2014-05-19 22:15:39
发表于 2015-02-01 22:10 |显示全部楼层
如下为个人见解,还请各位拍砖指正。
1.请举例说明CLI方式下如何分析系统日志?
一般都是在linux下面通过脚本awk,sed,grep或基础的shell脚本进行分析
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得?
目前开源日志分析工具(iftop,ngxtop)脚本和ELK平台等能够满足一些常用基础需求,但针对一些比较复杂的需求需要进行二次开发,可扩展性稍差。
3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志?
针对一般的linux的各种日志,会通过日志采集端实时异步采集到HDFS集群。以便进行数据分析和统计
4.介绍你目前的日志存储方案?是否考虑架设集中日志管理平台,又遇到了何种问题?
目前的日志存储方案为两种,针对异常日志,主要采用是ELK方式,将异常日志通过logstash采集消息队列Redis中,然后存储到Elasticsearch中,然后将异常信息通过kibana进行展示。
针对正常日志,主要采用HDFS的方式存储,将正常日志通过日志采集端,实时异步的采集到HDFS集群中,然后经过数据分析和统计,产生对应的报表,并进行展示。
目前采用的是集中日志管理平台,遇到问题主要是集群搭建比较复杂,性能不强,不能满足一些特殊需求。
5.工作中多久查看日志系统,并对其中严重日志进行分析,是否进行关联分析?
在工作中每天不定期的会查看日志系统,对一些比价严重的日志会进行分析,在分析过程中,会进行关联关系的分析,以便找到对应问题。
6.由网络资产(服务器、网络设备)产生的各种告警日志,每个设备的流量信息、以及设备的漏洞信息,你认为他们之间存在什么样的关联,打算如何对待这些信息(处理的方式)?
这些是一些基本的信息,最后会关联到系统的上层应用上,是需要存放到对应的日志系统的,并进行关联分析。
7.你通过日志分析来排除网络或系统故障码?当你遇到网络攻击时,会去主动分析日志吗?请用详细实例说明。
一般会通过日志分析排除网络和系统故障,比如会查看系统日志是否有丢包现象,通过文件系统日志查看是否有文件系统损坏等。
一般当受到网络攻击时,会去查看应用层系统日志,查看流量信息是否比之前有上升,具体是那些ip请求进行的攻击等,然后会设置不同阈值进行封禁。
8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables,DNS等应用服务器日志存储到MySQL,再通过Web界面图形化展示?你是通过那些方法实现的,难度在哪儿?
这个目前没有,这个认为日志太多,无法全部存储到mysql中,并且日志信息量较大,不建议全量存储,建议将日志分析后的结果存储到mysql中,然后进行web展示
9.目前你所管理的网络中流量监控系统起到那些作用,又由那些不足?
目前流量监控系统主要查看各个服务的流量,然后会根据关联关系,描绘出关联关系间的流量关系,以便查看哪些服务的流量较高,以便根据容量评估进行扩容。
存在问题:目前针对服务的容量评估无法有效进行,导致容量评估不准确,另外,由于服务不出为物理机部署,导致扩容成本较大,无法快速进行扩容。
10.希望日志存储多长时间?是否有必要销毁?
日志存储有两种需求,针对不同需求进行存储,一种是需要进行问题排查,可能需要近期的日志,这部分日志可以保留7天即可;一种日志是以便追溯或后续数据挖掘使用,需要永久保存,这种日志保存方式可以进行压缩。
11.是否考虑在企业中建设SIEM平台,以整合原先各种零散的监控和日志分析报警系统?
考虑在企业中建设SIEM平台,构建统一的日志分析报警系统。
12. 说说你眼中的OSSIM平台,能为运维人员解决那些事情,还有那些功能是它所无法实现的?你在学习、使用OSSIM中又遇到了那些困难?如果有OSSIM平台部署和应用培训是否会参加?
OSSIM是一个开源安全信息管理信息,能够将开源软件进行集成,提供统一式的日志采集,日志分析,系统监控和展示功能,以帮助解决运维人员快速定位的问题。OSSIM中的组件较多,框架本身学习代价较大,如果有对应的平台部署和培训,愿意参加。

论坛徽章:
26
CU十二周年纪念徽章
日期:2013-10-24 15:41:34技术图书徽章
日期:2014-07-11 16:27:52辰龙
日期:2014-09-04 13:40:43白羊座
日期:2014-09-09 12:51:55双子座
日期:2014-09-26 11:00:042014年中国系统架构师大会
日期:2014-10-14 15:59:00子鼠
日期:2014-10-23 16:48:23巨蟹座
日期:2014-10-27 08:21:10申猴
日期:2014-12-08 10:16:282015年辞旧岁徽章
日期:2015-03-03 16:54:15NBA常规赛纪念章
日期:2015-05-04 22:32:03IT运维版块每日发帖之星
日期:2016-01-29 06:20:00
发表于 2015-02-02 09:54 |显示全部楼层
1.请举例说明CLI方式下如何分析系统日志?
公司有人发到对方的邮件对方收不到,查找原因:
(1)、先在邮件服务器上找到这个人的这封邮件编号
grep honghwa /var/log/maillog
.....................
Feb 2 08:53:09 mail policyd: rcpt=2178, module=bypass, host=221.24.3.26 (unknown), from=sten.si@oase-lngwater.cn, to=honghwa@shannat.com.cn, size=6746
Feb 2 08:53:27 mail amavis[28200]: (28200-10) Passed CLEAN, LOCAL [221.24.3.26] [221.224.3.26] <Sten.Si@oase-lngwater.cn> -> <honghwa@shannat.com.cn>, Message-ID: <5976FF65031D8B488DBE2412DB4D0E5D065A1FE8@OTC-EX.cn.pumpen.com>, mail_id: JIEOTXpMNwH2, Hits: 0.468, size: 6907, queued_as: 3E2D2C0EB5, 17726 ms
Feb 2 08:53:27 mail postfix/smtp[30364]: 35FF4C0E1A: to=<honghwa@shannat.com.cn>, relay=127.0.0.1[127.0.0.1]:10024, delay=21, delays=2.8/0/0/18, dsn=2.0.0, status=sent (250 2.0.0 from MTA([127.0.0.1]:10025): 250 2.0.0 Ok: queued as 3E2D2C0EB5)
Feb 2 08:53:27 mail postfix/pipe[30390]: 3E2D2C0EB5: to=<honghwa@shannat.com.cn>, relay=dovecot, delay=0.62, delays=0.06/0.04/0/0.53, dsn=2.0.0, status=sent (delivered via dovecot service)
(2)、查找与这封邮件有关的所有日志
[root@mail log]# grep 41441C0E1A 、/var/log/maillog
Feb 2 08:36:25 mail postfix/smtpd[28589]: 41441C0E1A: client=unknown[58.11.62.43], sasl_method=LOGIN, sasl_username=honghwa@shannat.com.cn
Feb 2 08:36:25 mail postfix/cleanup[28453]: 41441C0E1A: message-id=<007e01d03e82$ff771810$fe654830$@shannat.com.cn>
Feb 2 08:36:25 mail postfix/qmgr[13975]: 41441C0E1A: from=<honghwa@shannat.com.cn>, size=8390, nrcpt=1 (queue active)
Feb 2 08:36:28 mail postfix/smtp[28462]: 41441C0E1A: to=<nishio@seid.arrsha-world.com>, relay=127.0.0.1[127.0.0.1]:10024, delay=3.5, delays=0.08/0/0/3.4, dsn=2.0.0, status=sent (250 2.0.0 from MTA([127.0.0.1]:10025): 250 2.0.0 Ok: queued as 8EE22C0EB5)
Feb 2 08:36:28 mail postfix/qmgr[13975]: 41441C0E1A: removed
(3)、再分析问题,(上面的是没问题的)

现在的公司是制造业,领导对安网络方面不懂,公司的服务器不是也很多,对于网络安全上的投入比较少,都是用开源的系统做的。用rsyslog+loganalyzer做为集中日志系统与查找与分析工具,监控是用nagios与cacti做成的,用来监视网络中流量与设备的性能等。在win下收集日志就是与rsyslog对应的evtsys,以用与nagios用的mk_check agent做为收集信息。
在实际的工作中要用到日志的地方,还是不多的,只是有时稍微看看,一般不出现问题都不查看。出现了问题或收到报警时才来来查看与找解决方法,公司日志只存了一个月,过时自动删除。这个要与各公司的情况与安全来决定的,很难说到底要保存多久,要不要删除。

曾在李老师的《Linux企业应用案例精解》中看到了关于OSSIM平台的安装,了解了一下,还没有动手实践,有空再试试。OSSIM是一个完整的开源安全架构体系。OSSIM通过将开源产品进行集成,从而提供一种能够实现安全监控功能的基础平台。

论坛徽章:
221
15-16赛季CBA联赛之吉林
日期:2017-12-11 12:51:59黑曼巴
日期:2019-04-12 13:40:0515-16赛季CBA联赛之广东
日期:2019-04-23 10:41:1215-16赛季CBA联赛之辽宁
日期:2019-05-06 13:03:2815-16赛季CBA联赛之山西
日期:2019-05-09 10:56:5815-16赛季CBA联赛之青岛
日期:2019-05-17 13:57:0515-16赛季CBA联赛之新疆
日期:2019-06-10 13:39:0515-16赛季CBA联赛之天津
日期:2019-07-08 15:04:4519周年集字徽章-19
日期:2019-08-27 13:31:2619周年集字徽章-19
日期:2019-08-27 13:31:2619周年集字徽章-周
日期:2019-09-06 18:46:4715-16赛季CBA联赛之天津
日期:2019-02-27 11:24:07
发表于 2015-02-02 17:51 |显示全部楼层
1.请举例说明CLI方式下如何分析系统日志?
  系统日志、应用日志通过SYNC软件进行实时同步到日志服务器,然后通过监控软件zabbix进行关键字监控,如系统日志中的err、painc,oracle数据库日志中的err、ORA等关键字,应用报错日志也通过特定字符进行实时监控,有故障发生发邮件、短信告知相应运维人员进行处理,处理完故障会发故障恢复通知。
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得?
  开源没有用过一直觉得对于大量日志的分析开源在兼容性方面不是很好(也许是没有找到更合适的软件),商业软件中使用过splunk进行过日志分析,商业软件的最大好处就是安装、配置方便,日志监控配置简单、图形的界面、报表功能全如果单位有预算是个不错的选择
3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志?
  通过SYNC软件配置实时把系统日志、应用日志同步到指定的日志服务器上面(日志服务规划需要大容量的磁盘)
4.介绍你目前的日志存储方案?是否考虑架设集中日志管理平台,又遇到了何种问题?
  目前已实现关键应用日志的集中存放,并有制定相应的日志保存策略,日志生命周期的管理可大大的节约日志服务器的磁盘空间。日志集中管理目前碰到最大的问题就是单个应用日志服务器过大,通过日志分析工具无法进行打开并监控,针对大的单个日志文件需要再根据关键字进行重定向,增加日常工作量。
5.工作中多久查看日志系统,并对其中严重日志进行分析,是否进行关联分析?
  通过zabbix开源监控软件一般理论上是实时对日志进行关键字检测的,日常也对关键应用进行监控,碰到故障人工进行日志分析。
6.由网络资产(服务器、网络设备)产生的各种告警日志,每个设备的流量信息、以及设备的漏洞信息,你认为他们之间存在什么样的关联,打算如何对待这些信息(处理的方式)?
  网络异常流量、服务器异常通常需要结合起来进行分析、找出具体的故障原因
7.你通过日志分析来排除网络或系统故障码?当你遇到网络攻击时,会去主动分析日志吗?请用详细实例说明。
8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables,DNS等应用服务器日志存储到MySQL,再通过Web界面图形化展示?你是通过那些方法实现的,难度在哪儿?
  目前没有尝试,实现的难度主要是在需要对各中应用进行深入的了解,同时对于关键字的判断需要精准,否则容易出现大量无用日志信息
9.目前你所管理的网络中流量监控系统起到那些作用,又由那些不足?
  主要监测日常网络流动是否正常,针对瞬间的网络异常流量提供发警告的自动方式(邮件、短信)通知网络工作人员进行日志查看、分析异常原因
10.希望日志存储多长时间?是否有必要销毁?
  关键核心应用日志一般存放时间为6个月,除法规规定外日志全部保留3个月,超过三个月进行自动删除。
11.是否考虑在企业中建设SIEM平台,以整合原先各种零散的监控和日志分析报警系统?
   必须先期对SIEM平台进行了解、对比是否比现有的日志监控更好,有财力、人力的条件下更好用会考虑进行整合
12. 说说你眼中的OSSIM平台,能为运维人员解决那些事情,还有那些功能是它所无法实现的?你在学习、使用OSSIM中又遇到了那些困难?如果有OSSIM平台部署和应用培训是否会参加?
   对于OSSIM有过了解,但不深入,网络共享的相关技术文档较少,没有学习的平台

论坛徽章:
0
发表于 2015-02-02 19:04 |显示全部楼层
持续关注中...
作为乙方公司为了满足客户提出的需求简单接触过日志分析类产品如IBM Qradar,HP ArcSight ,Splunk,包括参考楼主的博客部署OSSIM,主要是做日志安全分析和日志集中存储,理解水平仅是安装部署。
基本上以上产品均能采集常见系统、网络设备、应用等输出的日志集中存储并进行关联,也有丰富的图形输出和检索模板。但包括厂商工程师能玩明白的人不多,自己也没机会在相对丰富的环境上部署应用加以理解。
赞同minarvin的总结,个人感觉客户们都意识到或有明确需求进行日志集中管理存储,然后再进行日志关联分析,均有较高期望。但双方均缺乏丰富经验,部署不同应用后海量的日志造成的存储、分析、警告、处理响应涉及到的面也很广,不仅仅是IT运维人员就能独自解决的,内部部门间需要协作,外部需要厂商或供应商持续的支持,不简单是交付一个产品那么简单,需要当成一个项目持续完善。
这些产品均有自动化的接口,有很大的想象力空间,搞明白了能向SOC方向发展。

论坛徽章:
17
2015年辞旧岁徽章
日期:2015-03-03 16:54:152017金鸡报晓
日期:2017-02-08 10:39:422017金鸡报晓
日期:2017-01-10 15:19:56JAVA
日期:2016-11-01 13:25:46C
日期:2016-10-25 16:01:4715-16赛季CBA联赛之八一
日期:2016-06-21 23:38:0815-16赛季CBA联赛之山东
日期:2016-05-12 12:49:54IT运维版块每日发帖之星
日期:2016-04-20 06:20:00IT运维版块每日发帖之星
日期:2016-03-22 06:20:00黄金圣斗士
日期:2015-11-24 10:43:13IT运维版块每日发帖之星
日期:2015-08-25 06:20:002015亚冠之德黑兰石油
日期:2015-08-22 22:55:54
发表于 2015-02-04 09:24 |显示全部楼层
1.请举例说明CLI方式下如何分析系统日志?
        通过系统命令vi、grep、more、awk等查看或写脚本加入计划任务分析并发邮件通知
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得?
        开源日志分析工具,免费,没有技术支持,需要自己研究,学习进度较慢;
        商业日志分析工具,需要费用,有技术支持和培训,学习快,部署快;
3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志?
        使用rsyslog+loganalyzer日志平台手机linux、windows、网络设备日志;
4.介绍你目前的日志存储方案?是否考虑架设集中日志管理平台,又遇到了何种问题?
        目前使用pc server+rsyslog+loganalyzer收集日志,当日志超过1000万行后感觉搜索特别慢;
5.工作中多久查看日志系统,并对其中严重日志进行分析,是否进行关联分析?
        每日会查看分析,并对严重日志进行分析,会进行关联分析;
6.由网络资产(服务器、网络设备)产生的各种告警日志,每个设备的流量信息、以及设备的漏洞信息,你认为他们之间存在什么样的关联,打算如何对待这些信息(处理的方式)?
       主要靠人工分析,定期对应用和系统进行升级打补丁;
7.你通过日志分析来排除网络或系统故障码?当你遇到网络攻击时,会去主动分析日志吗?请用详细实例说明。
        会的,比如我们服务器受dos攻击,当时通过防火墙日志分析找出来源IP对其屏蔽。
8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables,DNS等应用服务器日志存储到MySQL,再通过Web界面图形化展示?你是通过那些方法实现的,难度在哪儿?
        目前使用pc server+rsyslog+loganalyzer收集日志,当日志超过1000万行后感觉搜索特别慢;
9.目前你所管理的网络中流量监控系统起到那些作用,又由那些不足?
        目前是通过cacti对交换机端口进行的流量监控,当达到警戒线时会主动发邮件通知相关人员;
10.希望日志存储多长时间?是否有必要销毁?
        目前保留3个月的,根据需要会删除部分,保留关键日志
11.是否考虑在企业中建设SIEM平台,以整合原先各种零散的监控和日志分析报警系统?
        是的
12. 说说你眼中的OSSIM平台,能为运维人员解决那些事情,还有那些功能是它所无法实现的?你在学习、使用OSSIM中又遇到了那些困难?如果有OSSIM平台部署和应用培训是否会参加?
        Ossim可以为运维人员提供一个直观的界面,对整体状况有直接的认识;
        Ossim目前没有较完整,官方的文档共学习,自己摸索 与同行交流!!
            希望有培训可参加;

论坛徽章:
0
发表于 2015-02-04 17:29 |显示全部楼层
1.请举例说明CLI方式下如何分析系统日志?
        主要是看到遇到什么类型问题,要对不同种类的现象要有快速初步分析的办法,这样比较容易去查询相对应的日志,要设定好JVM的gc,threaddump,heapdump的输出方式,问题发生后争分夺秒把需要的信息备份,充分运用好基本的命令组合,netstat, jamp, jstat, telnet结合对log里面怀疑的可能情况。
2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得?
        基本上都在使用IBM IM里面的工具集,也用一些开源工具,TDA就很好一个分析threaddump的工具,
3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志?
        通过rsylog工具,或者是用rotate log就可以有效管理好日志了。
4.介绍你目前的日志存储方案?是否考虑架设集中日志管理平台,又遇到了何种问题?
        我接触的大部分项目都会有一部跳转服务器去存储日志,假如机器遇到假死现象很容易造成不同步现象
5.工作中多久查看日志系统,并对其中严重日志进行分析,是否进行关联分析?
        假如有有效的监控工具,例如nagois, Zabbix可以设定触发器,不需要经常性检查log报错,或者在问题机器启动时可以偶尔关注log情况。
6.由网络资产(服务器、网络设备)产生的各种告警日志,每个设备的流量信息、以及设备的漏洞信息,你认为他们之间存在什么样的关联,打算如何对待这些信息(处理的方式)?
        这个问题太宽泛,没有具体情况,一个组件出现问题都不会是独立的影响呈现的,一般来说最好就是给异常现象在监控工具中设定阀值,定义问题的发生现象。
7.你通过日志分析来排除网络或系统故障码?当你遇到网络攻击时,会去主动分析日志吗?请用详细实例说明。
        会的,在一次僵尸网络攻击中,我们分析日志,然后建立相应的防火墙规则把可疑访问过滤。
8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables,DNS等应用服务器日志存储到MySQL,再通过Web界面图形化展示?你是通过那些方法实现的,难度在哪儿?
        没有这种做法,监控工具能实现类似功能,实时发出要求log片断,然后会呈现在gui上
9.目前你所管理的网络中流量监控系统起到那些作用,又由那些不足?
       流量监控能对可能存在的异常情况提前预警,但是流量异常的可能性太多,误报警的几率变大。        
10.希望日志存储多长时间?是否有必要销毁?
        日志管理很重要,一不小心或者成为系统问题的元凶,我做法是核心数据保留3个月数据,设定crontab压缩7天外的log,然后做好log的分段,不要产生太大的log文件,不然容易导致io问题。一般系统保存一个月,7天外数据压缩,而且要设定好对于log挂载文件系统大小的监控。
11.是否考虑在企业中建设SIEM平台,以整合原先各种零散的监控和日志分析报警系统?
        可以考虑
12. 说说你眼中的OSSIM平台,能为运维人员解决那些事情,还有那些功能是它所无法实现的?你在学习、使用OSSIM中又遇到了那些困难?如果有OSSIM平台部署和应用培训是否会参加?
        集成化系统肯定是易于管理,然后释放出有用的资源,但是无论多聪明的系统,都是靠人给定它好的判断条件,所以有一个运维大牛还是必须的。
        对于OSSIM的学习从网上零零散散找了些资料,不是很清楚,如果有这样的机会,肯定会去啦。

论坛徽章:
0
发表于 2015-02-04 17:54 |显示全部楼层
1.请举例说明CLI方式下如何分析系统日志?

一般会使用一些日志分析工具,例如logminer等进行分析,另外就是自己编写shell(awk,grep,sed等)或者python等脚本收集数据,然后再利用excel或者其他统计分析工具针对收集的数据,进行定期或专门分析。

2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得?

开源日志分析工具,比较灵活,种类也比较多,也可以在其基础上做二次开发,但是技术支持不足,后续版本更新以及bug修复无法保障,商业日志分析工具,比较稳定,技术支持比较好,但是需要收费,并且需求变更比较困难。

3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志?

Unix/Linux下的日志一般通过脚本或者日志收集工具,进行采集,然后汇总统一分析。Windows平台上的日志,一般会利用事件查看器直接查看系统日志,或者导出后,再利用相关工具进行分析。

4.介绍你目前的日志存储方案?是否考虑架设集中日志管理平台,又遇到了何种问题?

现在存储到关系数据库中。已经考虑搭建日志集群,例如kafka集群,目前正在测试阶段,遇到了不少问题,例如分布式部署等
5.工作中多久查看日志系统,并对其中严重日志进行分析,是否进行关联分析?

每天定时查看日志,同时通过监控系统进行邮件或ejabber报警,对其中告警级别比较高的日志进行关联分析。

6.由网络资产(服务器、网络设备)产生的各种告警日志,每个设备的流量信息、以及设备的漏洞信息,你认为他们之间存在什么样的关联,打算如何对待这些信息(处理的方式)?

这些告警日志之间存在关联关系,通过搜集这些网络设备产生的各种日志信息,并进行统一分析,进行数据挖掘,进而可以预测网络设备的可能故障点,进行预判。

7.你通过日志分析来排除网络或系统故障码?当你遇到网络攻击时,会去主动分析日志吗?请用详细实例说明。

一般都是通过日志分析来排除网络或者系统故障。遇到网络攻击时,会分析防火墙访问日志,根据异常流量进行判断,同时也会对web日志进行统计分析。

8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables,DNS等应用服务器日志存储到MySQL,再通过Web界面图形化展示?你是通过那些方法实现的,难度在哪儿?

曾经尝试将jetty,ngix日志存储到mysql,然后自行开发前台展现程序,实现功能较为有限,开发周期长。

9.目前你所管理的网络中流量监控系统起到那些作用,又由那些不足?

主要可以起到合理疏堵作用,保证正常的工作流,但是流控策略不太好设置,不灵活。

10.希望日志存储多长时间?是否有必要销毁?

日志存储应该具有其生命周期,但是具体时间需要根据具体业务,场景来定,例如做数据挖掘,需要保存时间相对较长。一些敏感数据,如果无用,必须要销毁。

11.是否考虑在企业中建设SIEM平台,以整合原先各种零散的监控和日志分析报警系统?

考虑建设SIEM平台,用统一的portal进行管理,但是会考虑成本以及实施难度,和后续运维的问题。

12. 说说你眼中的OSSIM平台,能为运维人员解决那些事情,还有那些功能是它所无法实现的?你在学习、使用OSSIM中又遇到了那些困难?如果有OSSIM平台部署和应用培训是否会参加?

听说过该平台,但是没有使用过,如果有机会学习的话,愿意去了解,如果有可能,会部署到公司的测试环境进行测试,如果可以实现公有云的日志管理分析,更佳

论坛徽章:
0
发表于 2015-02-05 14:44 |显示全部楼层
1.请举例说明CLI方式下如何分析系统日志?
使用grep、awk等命令截取关键字进行分析。
awk "{print $7}" access.log | sort | uniq -c | sort -nr | head -20

2.谈谈你对开源日志分析工具和商业日志分析工具使用的感受或心得?
使用了awstat,但感觉不太实时,展现效果也不太满意,正在寻找其他的方式

3.谈谈你是如何收集Unix/Linux以及Windows平台上各种日志?
都是Linux系统,主要通过rsync同步到一台服务器上。

4.介绍你目前的日志存储方案?是否考虑架设集中日志管理平台,又遇到了何种问题?
目前就是使用一台容量大的服务器,以后随着业务增加以及对日志的分析需求,会考虑增加。

5.工作中多久查看日志系统,并对其中严重日志进行分析,是否进行关联分析?
一周2-3次吧

6.由网络资产(服务器、网络设备)产生的各种告警日志,每个设备的流量信息、以及设备的漏洞信息,你认为他们之间存在什么样的关联,打算如何对待这些信息(处理的方式)?
目前没有日志的分析平台,主要是靠人工分析,15年的目标也是建立一个集中的日志分析平台,希望能对业务、系统安全有帮助。

7.你通过日志分析来排除网络或系统故障码?当你遇到网络攻击时,会去主动分析日志吗?请用详细实例说明。
会。
会通过分析访问日志去暂时封掉攻击的IP地址。
awk "{print $1}" access.log | sort | uniq -c | sort -nr | head -20
查看到访问量最大的IP地址,使用nginx封掉。

8.你是否尝试将Apache、Ftp、Samba、Snort、OSSEC、Iptables,DNS等应用服务器日志存储到MySQL,再通过Web界面图形化展示?你是通过那些方法实现的,难度在哪儿?
没有找到合适的工具来分析。之前使用rsyslog将部分日志存储到mysql中,但如果日志量较大,会占用掉一部分内网带宽。

9.目前你所管理的网络中流量监控系统起到那些作用,又由那些不足?
查看带宽占用情况,算是活动上线、高峰期的一个监控项目;查看流量趋势已判断是否需要扩容等。目前使用cacti,颗粒度有点大。

10.希望日志存储多长时间?是否有必要销毁?
有空间的话就一直存着。目前是本机保留一个月的日志,一个月之前在本机删除,仅保留日志服务器上的压缩包。

11.是否考虑在企业中建设SIEM平台,以整合原先各种零散的监控和日志分析报警系统?
会考虑,首先考虑开源实现方案。

12. 说说你眼中的OSSIM平台,能为运维人员解决那些事情,还有那些功能是它所无法实现的?你在学习、使用OSSIM中又遇到了那些困难?如果有OSSIM平台部署和应用培训是否会参加?
之前没怎么接触过,近期会开始学习,尝试。有培训肯定参加。

求职 : Linux运维
论坛徽章:
19
CU大牛徽章
日期:2013-03-13 15:15:0815-16赛季CBA联赛之山东
日期:2016-10-31 10:40:10综合交流区版块每日发帖之星
日期:2016-07-06 06:20:00IT运维版块每日发帖之星
日期:2016-02-08 06:20:00数据库技术版块每日发帖之星
日期:2016-01-15 06:20:00IT运维版块每日发帖之星
日期:2016-01-15 06:20:00IT运维版块每日发帖之星
日期:2016-01-10 06:20:00黄金圣斗士
日期:2015-11-24 10:45:10IT运维版块每日发帖之星
日期:2015-09-01 06:20:00IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-07-30 09:40:012015年亚洲杯之巴勒斯坦
日期:2015-05-05 10:19:03
发表于 2015-02-05 18:44 |显示全部楼层
自由软件教会我的是自己需要对自己的一切负责。而不是我们把我们安全交给一个厂商。事实上我们花钱买到的只是个心理安慰而已。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP