免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 14180 | 回复: 2
打印 上一主题 下一主题

去掉重复行(根据列) [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2007-02-27 16:39 |只看该作者 |倒序浏览
请教实现如下去重的awk&sort怎么实现,谢谢!
源文件:
1331,55428,ff808081069b7fe801069b9d6c4e0004,tt,2005-09-28
1331,123456,ff808081fdb6d9cd00fdf98236bc0053,,2004-09-28
1332,123456,ff808081fb064de100fb08fa40de0003,tt2,2004-03-02
1332,123456,ff808081fd6e6bd000fd6ed0fe47004d,,2004-09-28
1336,t1,ff8080810cfb2946010e541001af4e6d,tt3,2006-10-17
1336,830131,ff808081fe04d43600fe4658526a0036,,2004-09-28
输出为:
1331,55428,ff808081069b7fe801069b9d6c4e0004,tt,2005-09-28
1332,123456,ff808081fb064de100fb08fa40de0003,tt2,2004-03-02
1336,t1,ff8080810cfb2946010e541001af4e6d,tt3,2006-10-17

规则:
第1列重复时,重复行中倒数第2列不为空时,输出此行
             重复行中当倒数第2列都为空时,输出的最后一列(日期型)的最大值的那行

说明:
各行重复是无序的。

小弟初学awk,不知怎么实现,麻烦各位GGJJ帮帮忙,谢谢!

论坛徽章:
0
2 [报告]
发表于 2007-02-27 18:58 |只看该作者
sort file |uniq

论坛徽章:
0
3 [报告]
发表于 2007-12-27 11:37 |只看该作者
学习

谢谢楼主
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP