免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: Looiml
打印 上一主题 下一主题

[文本处理] sed如何获取pattern所匹配到的字符数? [复制链接]

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
11 [报告]
发表于 2014-12-11 22:51 |只看该作者
本帖最后由 yinyuemi 于 2014-12-11 22:52 编辑

回复 1# Looiml
  1. 假如你的pattern是x{5}
  2. echo 'dkskkakdkkakxxxxxkdikkkdk
  3. sdkdkkskxxdiikxxkdidididiidid' |sed -r 's/(.*)(x{5})(.*)/\2\n&/;:a;s/[^\n]([\n]*)\n(.*)(x{5})(.*)/\1\n\2\3k\4/;ta;s/\n//'
  4. dkskkakdkkakxxxxxkkkkkkdikkkdk
  5. sdkdkkskxxdiikxxkdidididiidid

  6. 假如你的pattern是dkka
  7. echo 'dkskkakdkkakxxxxxkdikkkdk
  8. sdkdkkskxxdiikxxkdidididiidid' |sed -r 's/(.*)(dkka)(.*)/\2\n&/;:a;s/[^\n]([\n]*)\n(.*)(dkka)(.*)/\1\n\2\3k\4/;ta;s/\n//'
  9. dkskkakdkkakkkkkxxxxxkdikkkdk
  10. sdkdkkskxxdiikxxkdidididiidid

  11. 假如你的pattern是x+

  12. echo 'dkskkakdkkakxxxxxkdikkkdk
  13. sdkdkkskxxdiikxxkdidididiidid' |sed -r 's/([^x]*)(x+)(.*)/\2\n&/;:a;s/[^\n]([\n]*)\n([^x]*)(x+)(.*)/\1\n\2\3k\4/;ta;s/\n//'
  14. dkskkakdkkakxxxxxkkkkkkdikkkdk
  15. sdkdkkskxxdiikxxkkkdidididiidid
复制代码
提供你个思路,具体数据可能还需要修改

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
12 [报告]
发表于 2014-12-12 07:40 |只看该作者
本帖最后由 blackold 于 2014-12-12 11:18 编辑

回复 3# Looiml

try:
  1. sed 's/x\+/&\n&\n/g;:n;/\n/{h;s/.*n\([^\n]*\)\n.*/\1/;s/./k/g;G;s/^\([^\n]*\)\n\(.*\)\(\n[^\n]\+\n\)/\2\1/;bn;}' urfile
复制代码

论坛徽章:
0
13 [报告]
发表于 2014-12-12 08:16 |只看该作者
回复 11# yinyuemi
感谢参与讨论,受到某种启发,但是好像不能处理一行中有多个pattern的状况。

以下第2行中第一个xx没有被替换~
15.echo 'dkskkakdkkakxxxxxkdikkkdk
16.sdkdkkskxxdiikxxkdidididiidid' |sed -r 's/([^x]*)(x+)(.*)/\2\n&/;:a;s/[^\n]([\n]*)\n([^x]*)(x+)(.*)/\1\n\2\3k\4/;ta;s/\n//'
17.dkskkakdkkakxxxxxkkkkkkdikkkdk
18.sdkdkkskxxdiikxxkkkdidididiidid

   

论坛徽章:
0
14 [报告]
发表于 2014-12-12 08:32 |只看该作者
本帖最后由 Looiml 于 2014-12-12 08:37 编辑

回复 12# blackold
感谢出手,不过感觉还是烦琐了些,不过也是一种思路。

我10楼的代码针对这种pattern可能足够直观,但是不能适用于所有的pattern。
脑海中灵光一闪,真的是有那么一刹那,更简洁通用的方式跳出来了。
之前我有想到过这种方式,但是没找到合适的两个定界符,于是很快转到其他思路。
抛开命令本身的外衣,从一个什么命令都不懂的角度来思考,要完成这个任务,最直观的方式就是在匹配到的pattern后重复它自身,但是要将重复的部分用两个不同的定界符包围起来,而且这两个字符不能是原始字符串中的其他字符,然后把重复的部分每个字符替换成k,当时只想到\n,就没有下文了。
后来想想,唉,离真相只差0.01mm呀,我们知道,shell处理时会将\x00丢弃,于是结果呼之欲出了。
  1. $>sed -r 's/x+/&\x00&\n/g;:1;s/(\x00k*)[^\nk]/\1k/;t1;s/\n//g' a
  2. dkskkakdkkakxxxxxkkkkkkdikkkdk
  3. sdkdkkskxxkkdiikxxkkkdidididiidid
复制代码
当然,用其他非打印字符也是可以的,只是会多一次删除它们的动作,能节省几个字符也是一种进步,不是吗。
   

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
15 [报告]
发表于 2014-12-12 09:10 |只看该作者
回复 14# Looiml


    你这个只适合特定的pattern吧。

论坛徽章:
0
16 [报告]
发表于 2014-12-12 09:21 |只看该作者
回复 15# blackold

不会吧?第一个s命令中的pattern可以替换成任何内容啊,比如:

  1. $>cat a
  2. PING 127.0.0.1 (127.0.0.1) 56(84) bytes of data.
  3. 64 bytes from 127.0.0.1: icmp_req=1 ttl=64 time=0.045 ms

  4. --- 127.0.0.1 ping statistics ---
  5. 1 packets transmitted, 1 received, 0% packet loss, time 0ms
  6. rtt min/avg/max/mdev = 0.045/0.045/0.045/0.000 ms

  7. $>sed -r 's/([0-9.])+/&\x00&\n/g;:1;s/(\x00k*)[^\nk]/\1k/;t1;s/\n//g' a
  8. PING 127.0.0.1kkkkkkkkk (127.0.0.1kkkkkkkkk) 56kk(84kk) bytes of data.k
  9. 64kk bytes from 127.0.0.1kkkkkkkkk: icmp_req=1k ttl=64kk time=0.045kkkkk ms

  10. --- 127.0.0.1kkkkkkkkk ping statistics ---
  11. 1k packets transmitted, 1k received, 0k% packet loss, time 0kms
  12. rtt min/avg/max/mdev = 0.045kkkkk/0.045kkkkk/0.045kkkkk/0.000kkkkk ms
复制代码

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
17 [报告]
发表于 2014-12-12 10:54 |只看该作者
本帖最后由 blackold 于 2014-12-12 11:14 编辑

回复 16# Looiml


    确实可以用任何非空pattern。

    还需要把null字符去掉。

    前提是: 文本里面没有 null 字符。


不受null字符限制:
  1. sed  's/pattern/&\n\n&\n/g;:n;s/\(\n\nk*\)[^\nk]/\1k/;tn;s/\n//g;' urfile
复制代码
如果是转换为其它复杂的情形,还是hold space通用。

论坛徽章:
0
18 [报告]
发表于 2014-12-12 11:04 |只看该作者
回复 17# blackold
好吧,你的\n\n改进确实让它趋于完美。

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
19 [报告]
发表于 2014-12-12 11:58 |只看该作者
回复 18# Looiml


还可以再精简些:
  1. sed -r 's/x+/&\n/g;:a;s/x\n(x*)/\nx\1k/;ta;s/\n//g'
复制代码

论坛徽章:
0
20 [报告]
发表于 2014-12-12 13:52 |只看该作者
本帖最后由 Looiml 于 2014-12-12 13:55 编辑

回复 19# ly5066113

就1楼的例子来讲,确实够精简!
可惜不能适用于所有的pattern,比如:([0-9])\1\1[a-z]{4}
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP