免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
论坛 程序设计 Shell 谢谢
12345下一页
最近访问板块 发新帖
查看: 4667 | 回复: 42

[文本处理] 谢谢 [复制链接]

论坛徽章:
4
巳蛇
日期:2014-08-12 22:30:43双子座
日期:2014-09-29 15:50:02未羊
日期:2014-11-04 14:08:43神斗士
日期:2015-11-19 21:57:47
发表于 2014-09-19 13:48 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
4
巳蛇
日期:2014-08-12 22:30:43双子座
日期:2014-09-29 15:50:02未羊
日期:2014-11-04 14:08:43神斗士
日期:2015-11-19 21:57:47
发表于 2014-09-19 13:49 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
发表于 2014-09-19 14:00 |显示全部楼层
回复 1# 老aakk


如果重复的数字一定都是连续的:
  1. grep -E '(.)\1+.*(.)\2+' file
复制代码

论坛徽章:
4
巳蛇
日期:2014-08-12 22:30:43双子座
日期:2014-09-29 15:50:02未羊
日期:2014-11-04 14:08:43神斗士
日期:2015-11-19 21:57:47
发表于 2014-09-19 14:03 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
发表于 2014-09-19 14:11 |显示全部楼层
回复 4# 老aakk


这个更准确些:
  1. grep -P '(.)\1+.*(.)(?!\1)\2+' file
复制代码
上面 1111111 这样的数据没过滤掉。

论坛徽章:
4
巳蛇
日期:2014-08-12 22:30:43双子座
日期:2014-09-29 15:50:02未羊
日期:2014-11-04 14:08:43神斗士
日期:2015-11-19 21:57:47
发表于 2014-09-19 14:17 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
4
巳蛇
日期:2014-08-12 22:30:43双子座
日期:2014-09-29 15:50:02未羊
日期:2014-11-04 14:08:43神斗士
日期:2015-11-19 21:57:47
发表于 2014-09-19 14:19 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
发表于 2014-09-19 14:23 |显示全部楼层
回复 7# 老aakk


也就是说,同一个数字重复4次以上也要保留?

如:

1111234
1213141

这些也是要保留的?

论坛徽章:
4
巳蛇
日期:2014-08-12 22:30:43双子座
日期:2014-09-29 15:50:02未羊
日期:2014-11-04 14:08:43神斗士
日期:2015-11-19 21:57:47
发表于 2014-09-19 14:24 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
2
摩羯座
日期:2014-11-03 15:28:56卯兔
日期:2015-01-04 17:20:51
发表于 2014-09-19 14:26 |显示全部楼层
文件太大,自己弄了个小文件做测试
  1. cat abc
  2. 1234578
  3. 1232145
  4. 1234256
  5. 1234567
  6. 1232314

  7. awk '{delete(a);delete(b);c="";split($0,a,"");for(i=1;i<=length(a);i++){b[a[i]]++;if(b[a[i]]>1)c++}}c>1' abc
  8. 1232145
  9. 1232314
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP