免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12
最近访问板块 发新帖
楼主: hgx126
打印 上一主题 下一主题

[文本处理] 有选择的删除重复行 [复制链接]

论坛徽章:
0
11 [报告]
发表于 2014-12-22 12:53 |只看该作者
之前一位 高手写的, 我有点印象 (开源中国) , 大家分享一下吧
-------------------------------------
sort -t',' -k1,1 -k2,2 -k3,3r    file1 |sort -t',' -k1,1 -k2,2 -u

论坛徽章:
7
申猴
日期:2014-12-21 13:57:24巳蛇
日期:2014-12-25 22:27:08申猴
日期:2015-01-19 08:07:36辰龙
日期:2015-02-04 11:40:06处女座
日期:2015-02-04 11:40:412015年亚洲杯之卡塔尔
日期:2015-03-06 12:01:322015年亚洲杯之乌兹别克斯坦
日期:2015-03-31 13:43:57
12 [报告]
发表于 2014-12-22 13:58 |只看该作者
  1. sort -rnk3 -t, data.txt | awk 'BEGIN{FS=","}(!a[$1]++){print $0}'
复制代码

论坛徽章:
1
申猴
日期:2014-12-25 16:27:10
13 [报告]
发表于 2014-12-26 18:42 |只看该作者
回复 2# WilliBhamlll

问个弱弱的问题啊,C[++n]是从C[1]到C[2],可打印时的C怎么是从C[0]到C[1]   ?
请指教。
   

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
14 [报告]
发表于 2014-12-26 22:13 |只看该作者
try:
  1. awk -F, '$3>m[$1]{a[$1]=$0;m[$1]=$3;}END{asort(a);for(i in a) print a[i]}' urfile
复制代码
  1. sort -st, -k1,1 -k3r,3 urfile|sort -ut, -k1,1
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP