免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 8479 | 回复: 15
打印 上一主题 下一主题

[文本处理] 求助:如何用awk模式匹配输出特定字段 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-03-20 10:13 |只看该作者 |正序浏览
如下为防火墙日志,其中有字段service=http proto=6,如何输出service=http这个字段呢,service字段有可能包含好几个空格,并且不确定究竟会有几个,但是后面的字段肯定是proto,如何用awk模式匹配输出service这个字段呢?
2011-09-30 00:00:20     Local0.Notice   10.2.0.254      ns50: NetScreen device_id=0019022004000299  [Root]system-notification-00257(traffic): start_time="2011-09-30 00:01:05" duration=15 policy_id=103 service=http proto=6 src zone=Trust dst zone=Untrust action=Permit sent=2683 rcvd=766 src=10.100.1.43 dst=119.188.11.3 src_port=4048 dst_port=80 src-xlated ip=218.206.244.202 port=4679 dst-xlated ip=119.188.11.3 port=80 session_id=61727 reason=Close - AGE OUT<000>
2011-09-30 00:00:20     Local0.Notice   10.2.0.254      ns50: NetScreen device_id=0019022004000299  [Root]system-notification-00257(traffic): start_time="2011-09-30 00:01:05" duration=15 policy_id=103 service=NETBIOS (NS) proto=17 src zone=Trust dst zone=Untrust action=Permit sent=2674 rcvd=766 src=10.100.1.43 dst=119.188.11.3 src_port=4045 dst_port=137 src-xlated ip=218.206.244.202 port=15311 dst-xlated ip=119.188.11.3 port=137 session_id=62271 reason=Close - AGE OUT<000>
2011-09-30 00:00:20     Local0.Notice   10.2.0.254      ns50: NetScreen device_id=0019022004000299  [Root]system-notification-00257(traffic): start_time="2011-09-30 00:01:05" duration=15 policy_id=103 service=VDO Live (tcp) proto=6 src zone=Trust dst zone=Untrust action=Permit sent=2645 rcvd=766 src=10.100.1.43 dst=119.188.11.3 src_port=4044 dst_port=7001 src-xlated ip=218.206.244.202 port=14295 dst-xlated ip=119.188.11.3 port=7001 session_id=59240 reason=Close - AGE OUT<000>

论坛徽章:
0
16 [报告]
发表于 2014-03-22 17:00 |只看该作者
还是这个看着整洁~~ 回复 5# ly5066113


   

论坛徽章:
0
15 [报告]
发表于 2014-03-20 13:44 |只看该作者
q1208c 发表于 2014-03-20 12:31
回复 10# three_body

再加一个 -e 's/ /_/g'

非常感谢各位,最后用了这个:
  1. sed -r 's/.*(policy_id=.*zone=[^ ]+).*(src=.*) src-xlated.*/\1 \2/;:a;s/(service=[^ ]+) (.* proto=)/\1_\2/;ta' file
复制代码

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
14 [报告]
发表于 2014-03-20 12:46 |只看该作者
which one do you like?
  1. $ awk '{print gensub(/.*(service=.*) proto.*/,"\\1",1)}' i
  2. service=http
  3. service=NETBIOS (NS)
  4. service=VDO Live (tcp)
  5. $ grep -oP 'service=.*(?= proto)' i
  6. service=http
  7. service=NETBIOS (NS)
  8. service=VDO Live (tcp)
  9. $ sed -r 's/.*(service=.*) proto.*/\1/' i
  10. service=http
  11. service=NETBIOS (NS)
  12. service=VDO Live (tcp)
复制代码

论坛徽章:
33
荣誉会员
日期:2011-11-23 16:44:17天秤座
日期:2014-08-26 16:18:20天秤座
日期:2014-08-29 10:12:18丑牛
日期:2014-08-29 16:06:45丑牛
日期:2014-09-03 10:28:58射手座
日期:2014-09-03 16:01:17寅虎
日期:2014-09-11 14:24:21天蝎座
日期:2014-09-17 08:33:55IT运维版块每日发帖之星
日期:2016-04-17 06:23:27操作系统版块每日发帖之星
日期:2016-04-18 06:20:00IT运维版块每日发帖之星
日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津
日期:2016-05-06 12:46:59
13 [报告]
发表于 2014-03-20 12:31 |只看该作者
回复 10# three_body

再加一个 -e 's/ /_/g'
   

论坛徽章:
3
金牛座
日期:2013-08-26 10:25:02摩羯座
日期:2013-09-09 15:14:322015年亚洲杯之约旦
日期:2015-05-06 09:33:56
12 [报告]
发表于 2014-03-20 11:55 |只看该作者
我觉得5楼最直接了

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
11 [报告]
发表于 2014-03-20 11:53 |只看该作者
回复 7# three_body

# awk 'function get(k,n, s,e,t){t=length(k)+1;s=index($0,k"=");e=index($0,n"=");if(s<e){return(substr($0,s, e-s-1))}return""}{print get("policy_id", "action"),get("src","src-xlated ip")}' FILE
policy_id=103 service=VDO Live (tcp) proto=6 src zone=Trust dst zone=Untrust src=10.100.1.43 dst=119.188.11.3 src_port=4044 dst_port=7001
   

论坛徽章:
0
10 [报告]
发表于 2014-03-20 11:44 |只看该作者
q1208c 发表于 2014-03-20 11:37
回复 7# three_body
  1. sed -s 's/.*\(policy_id=.*\) action=.*\( src=.*\) src-xlated.*$/\1\2/'  test
复制代码
这样就可以了,不知道有没有办法可以同时将service=VDO Live (tcp)变成service=VDO_Live_(tcp),这样输出的格式就统一了。

论坛徽章:
0
9 [报告]
发表于 2014-03-20 11:38 |只看该作者
q1208c 发表于 2014-03-20 11:37
回复 7# three_body


好,我先试试,刚才用grep没弄出来。

论坛徽章:
33
荣誉会员
日期:2011-11-23 16:44:17天秤座
日期:2014-08-26 16:18:20天秤座
日期:2014-08-29 10:12:18丑牛
日期:2014-08-29 16:06:45丑牛
日期:2014-09-03 10:28:58射手座
日期:2014-09-03 16:01:17寅虎
日期:2014-09-11 14:24:21天蝎座
日期:2014-09-17 08:33:55IT运维版块每日发帖之星
日期:2016-04-17 06:23:27操作系统版块每日发帖之星
日期:2016-04-18 06:20:00IT运维版块每日发帖之星
日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津
日期:2016-05-06 12:46:59
8 [报告]
发表于 2014-03-20 11:37 |只看该作者
回复 7# three_body


    参考我给的 sed 的提示.
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP