免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 3238 | 回复: 13
打印 上一主题 下一主题

[文本处理] 字符串分解去重复 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-09-25 16:18 |只看该作者 |倒序浏览
本帖最后由 The_X 于 2014-09-25 17:25 编辑



1.  读取temp.txt ,把第一行内容根据;分解去重后,再组合到一起,并把得到的结果赋值给namesrv。例如abc;addf;qwe;abc;qwe;得到abc;addf;qwe(注意后面没有;)

2.  读取temp2222.txt ,第一行数据也是用;分隔,根据;分解后,还是看例子吧。例如0m;0s;2m;3s;3m;
    需要依次输出:
   /opt/0m
   /opt/0s
   /opt/2m
   /opt/3s
   /opt/3m

论坛徽章:
2
摩羯座
日期:2014-11-03 15:28:56卯兔
日期:2015-01-04 17:20:51
2 [报告]
发表于 2014-09-25 16:21 |只看该作者
本帖最后由 bulletmarquis 于 2014-09-25 16:22 编辑

回复 1# The_X
  1. echo "abc;addf;qwe;abc;qwe;"|awk 'BEGIN{RS=ORS=";"}!a[$0]++'
  2. abc;addf;qwe;
复制代码
取文件第一行,把上面的echo xxx改成head -1 file就行了

论坛徽章:
0
3 [报告]
发表于 2014-09-25 16:24 |只看该作者
回复 2# bulletmarquis


    你的代码没读取文件啊,并且输出不一样(我重新编辑帖子了)。
能不能在各行代码添加一些注释?看不懂。。。

论坛徽章:
2
摩羯座
日期:2014-11-03 15:28:56卯兔
日期:2015-01-04 17:20:51
4 [报告]
发表于 2014-09-25 16:27 |只看该作者
回复 3# The_X
  1. head -1 temp.txt|awk -vRS=';' '!a[$0]++'
  2. abc
  3. addf
  4. qwe
复制代码

论坛徽章:
2
摩羯座
日期:2014-11-03 15:28:56卯兔
日期:2015-01-04 17:20:51
5 [报告]
发表于 2014-09-25 16:28 |只看该作者
回复 3# The_X


    注释不写了,请移步精华帖里面awk相关帖子,用的都是基础的东西
   

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
6 [报告]
发表于 2014-09-25 16:36 |只看该作者
回复 4# bulletmarquis

你似乎忘记把打印出来的空行给忽略了
   

论坛徽章:
2
摩羯座
日期:2014-11-03 15:28:56卯兔
日期:2015-01-04 17:20:51
7 [报告]
发表于 2014-09-25 16:41 |只看该作者
本帖最后由 bulletmarquis 于 2014-09-25 16:42 编辑

回复 6# yestreenstars


    其实我本来是写的
  1. head -1 temp.txt|awk -vRS=';' '!a[$0]++'|grep -v ^$
复制代码
多了一个管道,各种不开心啊

    不过想把去空行放在awk里面,臣妾做不到啊,下面这几种都不行,不知道咋写了。。。
  1. head -1 temp.txt|awk -vRS=';' '!a[$0]++&&!/^$/'
  2. head -1 temp.txt|awk -vRS=';' '!a[$0]++&&$0~!/^$/'
  3. head -1 temp.txt|awk -vRS=';' '!a[$0]++&&$0!~/^$/'
  4. head -1 temp.txt|awk -vRS=';' '!a[$0]++&&!$0~/^$/'
复制代码

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
8 [报告]
发表于 2014-09-25 16:45 |只看该作者
回复 7# bulletmarquis

这确实是挺奇怪的,我也注意到了~
   

论坛徽章:
14
15-16赛季CBA联赛之辽宁
日期:2019-06-16 15:47:3515-16赛季CBA联赛之广夏
日期:2016-08-13 21:24:352015亚冠之武里南联
日期:2015-07-07 17:37:372015亚冠之萨济拖拉机
日期:2015-07-06 17:07:482015亚冠之全北现代
日期:2015-06-04 13:54:272015亚冠之城南
日期:2015-05-21 15:43:212015年亚洲杯之伊朗
日期:2015-04-25 18:20:362015年亚洲杯之伊朗
日期:2015-04-20 16:06:052015年亚洲杯之科威特
日期:2015-03-07 12:51:26丑牛
日期:2014-12-30 10:26:38申猴
日期:2014-09-28 22:40:18金牛座
日期:2014-09-13 21:12:22
9 [报告]
发表于 2014-09-25 16:45 |只看该作者
  1. echo "abc;addf;qwe;abc;qwe;"|awk 'BEGIN{RS="[;\n]+"} !a[$0]++'
  2. abc
  3. addf
  4. qwe
复制代码

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
10 [报告]
发表于 2014-09-25 16:48 |只看该作者
本帖最后由 yestreenstars 于 2014-09-25 16:48 编辑

回复 7# bulletmarquis

酱就可以了:
  1. [root@localhost ~]# echo 'abc;addf;qwe;abc;qwe;' | awk -vRS=';' '!a[$0]++&&!/^\n$/'
  2. abc
  3. addf
  4. qwe
  5. [root@localhost ~]#
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP