免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 7862 | 回复: 10
打印 上一主题 下一主题

[文本处理] 如何用sed抽取要求数据并列印 [复制链接]

论坛徽章:
1
酉鸡
日期:2014-08-04 12:30:06
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-07-30 23:45 |只看该作者 |倒序浏览
本帖最后由 rdcwayx 于 2013-08-06 11:59 编辑

原始文件数据格式
  1. Nov 12 19:56:52 libra kernel: [ 1353.27355] WarningIN=em0 OUT=eth0 MAC=c8:1b:3c:fd:5D:e9:90:a9:8F:43:83:E3:15:0e SRC=222.171.89.16 DST=49.137.111.136 LEN=222 TOS=0x8C PREC=0xbF TTL=107 ID=31469 PROTO=ICMP TYPE=35 CODE=8 ID=24917 SEQ=166

  2. Aug 00 08:35:51 virgo kernel: [ 4584.5613] That's oddIN=em0 OUT=eth0 MAC=0a:09:AA:4F:6C:41:c6:De:D6:6f:83:41:8e:dC SRC=142.53.155.238 DST=252.1.134.24 LEN=506 TOS=0x11 PREC=0x5c TTL=67 ID=5098 PROTO=ICMP TYPE=35 CODE=5 ID=31329 SEQ=22

  3. Jun 21 11:47:48 taurus kernel: [ 741.5237] Look into this IN=em1 OUT=eth0 MAC=Bd:5b:ab:b7:47:fA:df:53:0E:E8:A7:2a:f6:c6 SRC=50.219.1.59 DST=56.95.45.60 LEN=390 TOS=0xf2 PREC=0x79 TTL=122 ID=28867 PROTO=UDP SPT=16351 DPT=15354 LEN=9

  4. Apr 15 19:17:12 virgo kernel: [ 1671.25071] MISSIVE IN=em0 OUT=eth1 MAC=aD:eD:f1:Ad:b4:6E:34:e2:37:0b:74:6A:Cd:cA SRC=225.17.31.15 DST=201.90.116.37 LEN=187 TOS=0x57 PREC=0x95 TTL=48 ID=4061 PROTO=TCP SPT=5351 DPT=24612 WINDOW=4712 RES=0x68 ACK NS UGRP=0

  5. Jun 17 12:12:51 taurus kernel: [ 2483.26385] That's oddIN=em1 OUT= MAC=82:B9:cC:dd:D6:4f:31:FA:6c:ca:67:79:eC:3D SRC=110.213.149.228 DST=237.146.122.240 LEN=293 TOS=0xF4 PREC=0xfE TTL=89 ID=10562 PROTO=ICMP TYPE=35 CODE=1 ID=779 SEQ=237
复制代码
如何用sed列印为
  1. 19:56:52 12 Nov;Warning;em0;eth0;222.171.89.16;49.137.111.136;ICMP;;

  2. 08:35:51 00 Aug;That's odd;em0;eth0;142.53.155.238;252.1.134.24;ICMP;;

  3. 11:47:48 21 Jun;Look into this ;em1;eth0;50.219.1.59;56.95.45.60;UDP;16351;15354

  4. 19:17:12 15 Apr;MISSIVE ;em0;eth1;225.17.31.15;201.90.116.37;TCP;5351;24612

  5. 12:12:51 17 Jun;That's odd;em1;;110.213.149.228;237.146.122.240;ICMP;;
复制代码

论坛徽章:
13
双鱼座
日期:2013-10-23 09:30:05数据库技术版块每日发帖之星
日期:2016-04-20 06:20:00程序设计版块每日发帖之星
日期:2016-03-09 06:20:002015亚冠之塔什干火车头
日期:2015-11-02 10:07:452015亚冠之德黑兰石油
日期:2015-08-30 10:07:07数据库技术版块每日发帖之星
日期:2015-08-28 06:20:00数据库技术版块每日发帖之星
日期:2015-08-05 06:20:002015年迎新春徽章
日期:2015-03-04 09:57:09辰龙
日期:2014-12-03 14:45:52酉鸡
日期:2014-07-23 09:46:23亥猪
日期:2014-03-13 08:46:22金牛座
日期:2014-02-11 09:36:21
2 [报告]
发表于 2013-07-31 08:15 |只看该作者
就是捕获替换

论坛徽章:
50
15-16赛季CBA联赛之广夏
日期:2018-11-05 09:42:462015年亚冠纪念徽章
日期:2015-07-23 11:58:122015亚冠之广州富力
日期:2015-07-07 08:26:172015亚冠之塔什干棉农
日期:2015-06-29 09:08:072015年亚洲杯之伊朗
日期:2015-03-08 20:51:012015年迎新春徽章
日期:2015-03-04 09:58:11未羊
日期:2014-10-16 22:41:47处女座
日期:2014-10-16 15:33:33酉鸡
日期:2014-03-13 12:54:10巳蛇
日期:2014-03-10 14:39:052015亚冠之德黑兰石油
日期:2015-07-29 12:46:372015亚冠之德黑兰石油
日期:2015-08-07 12:54:11
3 [报告]
发表于 2013-07-31 09:59 |只看该作者
体力活,一条sed还完不成。
  1. sed -r 's/([^ ]+) ([^ ]+) ([^ ]+) [^]]+\] (.+)IN=([^ ]+) OUT=([^ ]+)* .*SRC=([^ ]+) DST=([^ ]+) .*PROTO=(.*)/\3 \2 \1;\4;\5;\6;\7;\8;\9;/' file|sed -r 's/(([^;]*;){6})([^ ]+) (SPT=)*([0-9]+ )*(DPT=)*([0-9]+)*.*/\1\3;\5;\7/'
  2. 19:56:52 12 Nov;Warning;em0;eth0;222.171.89.16;49.137.111.136;ICMP;;

  3. 08:35:51 00 Aug;That's odd;em0;eth0;142.53.155.238;252.1.134.24;ICMP;;

  4. 11:47:48 21 Jun;Look into this ;em1;eth0;50.219.1.59;56.95.45.60;UDP;16351 ;15354

  5. 19:17:12 15 Apr;MISSIVE ;em0;eth1;225.17.31.15;201.90.116.37;TCP;5351 ;24612

  6. 12:12:51 17 Jun;That's odd;em1;;110.213.149.228;237.146.122.240;ICMP;;
复制代码

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
4 [报告]
发表于 2013-07-31 10:07 |只看该作者
本帖最后由 yestreenstars 于 2013-07-31 10:12 编辑
  1. [root@localhost ~]# awk 'NF{s1=gensub(/.*\] ([^=]*)IN=([^ ]*) OUT=([^ ]*).*SRC=([^ ]*) DST=([^ ]*).*PROTO=([^ ]*).*/,"\\1;\\2;\\3;\\4;\\5;\\6;",1);s2=/SPT/?gensub(/.*SPT=([^ ]*).*/,"\\1",1):"";s3=/DPT/?gensub(/.*DPT=([^ ]*).*/,"\\1",1):"";printf "%s %s %s %s%s;%s\n",$3,$2,$1,s1,s2,s3}!NF' i
  2. 19:56:52 12 Nov Warning;em0;eth0;222.171.89.16;49.137.111.136;ICMP;;

  3. 08:35:51 00 Aug That's odd;em0;eth0;142.53.155.238;252.1.134.24;ICMP;;

  4. 11:47:48 21 Jun Look into this ;em1;eth0;50.219.1.59;56.95.45.60;UDP;16351;15354

  5. 19:17:12 15 Apr MISSIVE ;em0;eth1;225.17.31.15;201.90.116.37;TCP;5351;24612

  6. 12:12:51 17 Jun That's odd;em1;;110.213.149.228;237.146.122.240;ICMP;;
  7. [root@localhost ~]#
复制代码

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
5 [报告]
发表于 2013-07-31 10:31 |只看该作者
@WilliBhamlll
一条也是可以完成的:
  1. [root@localhost ~]# sed -r 's/^([^ ]*) ([^ ]* )([^ ]* ).*\] ([^=]*)IN=([^ ]*) OUT=([^ ]*).*SRC=([^ ]*) DST=([^ ]*)(.*)/\3\2\1;\4;\5;\6;\7;\8;\9/;s/(.*);.*PROTO=([^ ]*) (SPT=([^ ]*) DPT=([^ ]*))?.*/\1;\2;\4;\5/' i
  2. 19:56:52 12 Nov;Warning;em0;eth0;222.171.89.16;49.137.111.136;ICMP;;

  3. 08:35:51 00 Aug;That's odd;em0;eth0;142.53.155.238;252.1.134.24;ICMP;;

  4. 11:47:48 21 Jun;Look into this ;em1;eth0;50.219.1.59;56.95.45.60;UDP;16351;15354

  5. 19:17:12 15 Apr;MISSIVE ;em0;eth1;225.17.31.15;201.90.116.37;TCP;5351;24612

  6. 12:12:51 17 Jun;That's odd;em1;;110.213.149.228;237.146.122.240;ICMP;;
  7. [root@localhost ~]#
复制代码

论坛徽章:
50
15-16赛季CBA联赛之广夏
日期:2018-11-05 09:42:462015年亚冠纪念徽章
日期:2015-07-23 11:58:122015亚冠之广州富力
日期:2015-07-07 08:26:172015亚冠之塔什干棉农
日期:2015-06-29 09:08:072015年亚洲杯之伊朗
日期:2015-03-08 20:51:012015年迎新春徽章
日期:2015-03-04 09:58:11未羊
日期:2014-10-16 22:41:47处女座
日期:2014-10-16 15:33:33酉鸡
日期:2014-03-13 12:54:10巳蛇
日期:2014-03-10 14:39:052015亚冠之德黑兰石油
日期:2015-07-29 12:46:372015亚冠之德黑兰石油
日期:2015-08-07 12:54:11
6 [报告]
发表于 2013-07-31 10:39 |只看该作者
回复 5# yestreenstars

不错,学习了!
   

论坛徽章:
1
酉鸡
日期:2014-08-04 12:30:06
7 [报告]
发表于 2013-08-01 01:40 |只看该作者
that's  very smart!!!!

论坛徽章:
1
酉鸡
日期:2014-08-04 12:30:06
8 [报告]
发表于 2013-08-03 23:06 |只看该作者
回复 4# yestreenstars


    我有一个很具体的问题想请教你,能+下QQ吗?
231103313

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
9 [报告]
发表于 2013-08-06 09:50 |只看该作者
回复 8# heero319


    有问题直接在这里问就好了~

论坛徽章:
1
酉鸡
日期:2014-08-04 12:30:06
10 [报告]
发表于 2013-08-06 09:57 |只看该作者
回复 9# yestreenstars


    我刚了一贴,关于脚本的修改的
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP