免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 4407 | 回复: 27

[文本处理] awk按取长度取值 [复制链接]

论坛徽章:
0
发表于 2016-12-15 10:16 |显示全部楼层
  1. ab<1.1.1.1> xxxxxxxx
  2. ab<1.1.1.2> xxxxxxxx
  3. 1234567
  4. 1234567
  5. 777 abc
  6. AB:ABC QQ 12d2,SMCowAAnbZ5zd1FYU1viC1
  7. AB:ABC AA 33d3,PMCowEA5Z1Ogd1FYstcIDA
复制代码
变成

  1. ab<1.1.1> xxxxxxxx 2
  2. 1234567 2
  3. 777 abc 1
  4. AB:ABC 2
复制代码


AB:ABC 后面的长度总是随机,想要awk一句话搞定试了很久不行,管道可以 但怕影响效率

论坛徽章:
22
处女座
日期:2014-10-11 13:33:292015亚冠之塔什干火车头
日期:2015-07-20 19:59:042015亚冠之塔什干火车头
日期:2015-07-26 10:59:31程序设计版块每日发帖之星
日期:2015-08-05 06:20:00每日论坛发贴之星
日期:2015-08-05 06:20:00程序设计版块每日发帖之星
日期:2015-08-07 06:20:00每日论坛发贴之星
日期:2015-08-07 06:20:002015亚冠之阿尔纳斯尔
日期:2015-10-01 15:23:28白银圣斗士
日期:2015-12-07 17:17:06操作系统版块每日发帖之星
日期:2015-12-27 06:20:002015亚冠之广州富力
日期:2015-07-08 15:48:31程序设计版块每日发帖之星
日期:2015-06-11 22:20:00
发表于 2016-12-15 10:24 |显示全部楼层
处理规则是什么,文本就这么长吗

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-12-15 10:36 |显示全部楼层

  1. awk '{if(/</){match($0,/(.*)\..*(>.*)/,a);k=a[1] a[2]}else if(/:/){k=$1}else{k=$0}}!b[k]++{d[++c]=k}END{while(i++<c)print d[i],b[d[i]]}' file
复制代码

论坛徽章:
0
发表于 2016-12-15 11:56 |显示全部楼层
回复 3# moperyblue

awk: line 1: syntax error at or near ,

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-12-15 11:59 |显示全部楼层
本帖最后由 moperyblue 于 2016-12-15 12:01 编辑

回复 4# linuxbody

more  file
  1. ab<1.1.1.1> xxxxxxxx
  2. ab<1.1.1.2> xxxxxxxx
  3. 1234567
  4. 1234567
  5. 777 abc
  6. AB:ABC QQ 12d2,SMCowAAnbZ5zd1FYU1viC1
  7. AB:ABC AA 33d3,PMCowEA5Z1Ogd1FYstcIDA
复制代码

awk '{if(/</){match($0,/(.*)\..*(>.*)/,a);k=a[1] a[2]}else if(/:/){k=$1}else{k=$0}}!b[k]++{d[++c]=k}END{while(i++<c)print d,b[d]}' file
  1. ab<1.1.1> xxxxxxxx 2
  2. 1234567 2
  3. 777 abc 1
  4. AB:ABC 2
复制代码

论坛徽章:
0
发表于 2016-12-15 12:11 |显示全部楼层
回复 5# moperyblue

  1. AB:ABC 123 3x29,T8CowEB5k0R
  2. AB:ABC 321 a4x6,QsCowEB5gm2ud1FYmkShBg
  3. ab<1.1.1.1> hello
  4. ab<1.1.1.2> hello
  5. 123 HI^M\n\n\n
复制代码
抱歉,数据格式有误
  1. AB:ABC 2
  2. ab<1.1.1> 2
  3. 123 HI^M\n\n\n 1
复制代码


论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-12-15 12:15 |显示全部楼层
回复 6# linuxbody


不是你希望的结果吗? 你希望的结果是怎样?

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2016-12-15 13:02 |显示全部楼层
  1. perl -F/:/ -nle '{$_=@F%2?s/\.\d(?=>)//r:join(":",$F[0],(split(" ",$F[-1],2))[0]);$h{$_}++}END{print "$_ $h{$_}" for keys %h}' f
复制代码

论坛徽章:
3
2015年迎新春徽章
日期:2015-03-04 09:56:11数据库技术版块每日发帖之星
日期:2016-08-03 06:20:00数据库技术版块每日发帖之星
日期:2016-08-04 06:20:00
发表于 2016-12-15 13:02 |显示全部楼层
感觉规则不明确,
ab<1.1.1> xxxxxxxx 2
这一行特别怪异

论坛徽章:
0
发表于 2016-12-15 13:23 |显示全部楼层
回复 7# moperyblue

结果是对的,gawk版本问题,感谢!
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP