免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2490 | 回复: 3
打印 上一主题 下一主题

[文本处理] 如何删除前后字符一样的数据 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-01-01 15:02 |只看该作者 |倒序浏览
比如a.txt
liliang----liliang95
lipeng----lipeng54
lina----lina86
xiaoxue----xiaoxueyy
234988----yangyang234988

以----为分割单位,把----后面的字符中含有前面的字符删除

就剩下
liliang----95
lipeng----54
lina----86
xiaoxue----yy
234988----yangyang

论坛徽章:
14
15-16赛季CBA联赛之辽宁
日期:2019-06-16 15:47:3515-16赛季CBA联赛之广夏
日期:2016-08-13 21:24:352015亚冠之武里南联
日期:2015-07-07 17:37:372015亚冠之萨济拖拉机
日期:2015-07-06 17:07:482015亚冠之全北现代
日期:2015-06-04 13:54:272015亚冠之城南
日期:2015-05-21 15:43:212015年亚洲杯之伊朗
日期:2015-04-25 18:20:362015年亚洲杯之伊朗
日期:2015-04-20 16:06:052015年亚洲杯之科威特
日期:2015-03-07 12:51:26丑牛
日期:2014-12-30 10:26:38申猴
日期:2014-09-28 22:40:18金牛座
日期:2014-09-13 21:12:22
2 [报告]
发表于 2014-01-01 15:35 |只看该作者
本帖最后由 reb00t 于 2014-01-01 15:38 编辑
  1. awk -F'----' -vOFS='----' '{gsub($1,"",$2)}1' 1.txt
  2. liliang----95
  3. lipeng----54
  4. lina----86
  5. xiaoxue----yy
  6. 234988----yangyang


  7. head 1.txt
  8. liliang----liliang95
  9. lipeng----lipeng54
  10. lina----lina86
  11. xiaoxue----xiaoxueyy
  12. 234988----yangyang234988
复制代码

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
3 [报告]
发表于 2014-01-01 15:49 |只看该作者
  1. awk 'BEGIN{FS=OFS="----"}sub($1,"",$2)'
复制代码
  1. sed -r 's/^([^-]+)(-+)(.*)\1(.*)$/\1\2\3\4/'
复制代码

论坛徽章:
1
2015年迎新春徽章
日期:2015-03-04 09:58:11
4 [报告]
发表于 2014-01-02 09:58 |只看该作者
vim版本的。仅供学习啊。有点复杂的感觉
  1. :1,$call setline(line("."),split(getline("."),"----")[0].substitute(getline("."),split(getline("."),"----")[0],"","g"))
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP