免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1271 | 回复: 9
打印 上一主题 下一主题

[文本处理] 如何在文本中按照词的部分找到匹配的词的整体 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-10-24 21:05 |只看该作者 |倒序浏览
本帖最后由 junhengwoo 于 2016-10-24 21:14 编辑

根据词的一部分找找到包含起的词的整体。

如下面的样例。
aastatebb
aa_state, state_bb
aa-state, bb-state. aa_state_bb
aa-state-bb
aa.stAte.bb
state, State, event


按照state来找,如果不区分大小写,找到的是下面的内容。aastatebb
aastatebb
aa_state state_bb
state state aa_state_bb
state
stAte
state State


按照state来找,如果区分大小写,找到的是下面的内容。
aastatebb
aa_state state_bb
state state aa_state_bb
state
state

识别词的整体的方式跟“grep -w”的方式是一样。也就是“aa_state”是一个词,“aa-state”是两个词,即aa和state,“aa.state”当然也包含两个词。

请大神帮忙看看对于是否要区分大小写如何实现。


论坛徽章:
39
双子座
日期:2014-08-06 17:37:19极客徽章
日期:2016-12-07 14:03:402017金鸡报晓
日期:2017-01-10 15:13:292017金鸡报晓
日期:2017-02-08 10:39:4215-16赛季CBA联赛之新疆
日期:2017-03-24 16:36:1915-16赛季CBA联赛之江苏
日期:2017-04-26 17:19:08黑曼巴
日期:2018-03-07 18:56:5615-16赛季CBA联赛之八一
日期:2018-03-09 10:44:1015-16赛季CBA联赛之江苏
日期:2018-03-12 15:12:1915-16赛季CBA联赛之青岛
日期:2018-03-16 09:13:0515-16赛季CBA联赛之山东
日期:2018-04-27 18:23:0515-16赛季CBA联赛之新疆
日期:2018-05-04 11:29:30
2 [报告]
发表于 2016-10-24 21:36 |只看该作者
我.....我实在不知道楼主的需求是啥

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
3 [报告]
发表于 2016-10-24 22:00 |只看该作者
本帖最后由 moperyblue 于 2016-10-25 11:32 编辑
  1. #不区分
  2. sed -r 's/\w*state\w*/<&>/Ig;s/>[^<]*</ /g;s/.*<|>.*//gp;d' file
  3. #区分
  4. sed -r 's/\w*state\w*/<&>/g;s/>[^<]*</ /g;s/.*<|>.*//gp;d' file
复制代码

论坛徽章:
1
15-16赛季CBA联赛之福建
日期:2016-10-26 14:32:57
4 [报告]
发表于 2016-10-25 08:57 |只看该作者
本帖最后由 StarWingsss 于 2016-10-25 09:00 编辑

你说的是grep -i ##忽略大小写?
grep -iw “state” file
aa-state, bb-state. aa_state_bb
aa-state-bb
aa.stAte.bb
state, State, event


grep -iw "stAte" file
aa-state, bb-state. aa_state_bb
aa-state-bb
aa.stAte.bb
state, State, event


论坛徽章:
30
申猴
日期:2014-04-10 09:43:532015年亚洲杯纪念徽章
日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔
日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔
日期:2015-06-30 15:22:572015亚冠之大阪钢巴
日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔
日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆
日期:2015-12-25 10:18:45黑曼巴
日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西
日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京
日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一
日期:2017-07-07 16:39:0915-16赛季CBA联赛之吉林
日期:2017-09-04 12:14:43
5 [报告]
发表于 2016-10-25 09:23 |只看该作者
回复 1# junhengwoo


  1. 不区分:
  2. awk -F '[-,.]' '{for(i=1;i<=NF;i++) {if($i~/[[Ss][Tt][Aa][Tt][Ee]/) {t=t?t" "$i:$i}} if(t) print t;t=""}' file
  3. 区分:
  4. awk -F '[-,.]' '{for(i=1;i<=NF;i++) {if($i~/state/) {t=t?t" "$i:$i}} if(t) print t;t=""}' file
复制代码

论坛徽章:
1
15-16赛季CBA联赛之江苏
日期:2016-10-26 16:19:04
6 [报告]
发表于 2016-10-25 10:23 |只看该作者
awk  '{for(i=1;i<=NF;i++){if($i~/[sS]tate/)printf $i" "};print ""}' file | awk 'NF'
忽略大小写,模式可以自己定义

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
7 [报告]
发表于 2016-10-25 11:33 |只看该作者
本帖最后由 moperyblue 于 2016-10-25 11:36 编辑
  1. ##GNU Awk 4.0+
  2. #不区分
  3. awk -vIGNORECASE=1 -vFPAT='\\w*state\\w*' '{for(i=1;i<=NF;i++)printf (i==1?"":FS) $i (i==NF?RS:"")}'
  4. #区分
  5. awk -vFPAT='\\w*state\\w*' '{for(i=1;i<=NF;i++)printf (i==1?"":FS) $i (i==NF?RS:"")}'
复制代码

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
8 [报告]
发表于 2016-10-25 13:45 |只看该作者
本帖最后由 sunzhiguolu 于 2016-10-25 13:53 编辑
perl -nle 'print "@a" if(@a=grep/state/i,split(/\W+/))' f

加 /i 不区分大小写















论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
9 [报告]
发表于 2016-10-25 14:08 |只看该作者
回复 1# junhengwoo

$ grep -oP '\w*state\w*' FILE
aastatebb
aa_state
state_bb
state
state
aa_state_bb
state
state

$ grep -ioP '\w*state\w*' FILE
aastatebb
aa_state
state_bb
state
state
aa_state_bb
state
stAte
state
State

论坛徽章:
0
10 [报告]
发表于 2016-10-26 11:27 |只看该作者
回复 9# jason680

谢谢大神的指导,没想到grep 还有'\w' 这个用法,学习了。  
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP