免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 有选择的删除重复行
12下一页
最近访问板块 发新帖
查看: 4070 | 回复: 13
打印 上一主题 下一主题

[文本处理] 有选择的删除重复行 [复制链接]

hgx126

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-12-14 11:04 |只看该作者 |倒序浏览
一文件内容如下：
  1. 借据号,代码,计息日
  2. 88130097410769,4005,20070610
  3. 88130097410769,4005,20070610
  4. 88130097410769,4005,20070611
  5. 88130097410769,4005,20070611
  6. 88130097423259,4005,20070701
  7. 88130097423259,4005,20070701
  8. 88130097423259,4005,20070928
  9. 88130097423259,4005,20070928
复制代码
以逗号为分隔符，第一列有许多重复项，现要求：同一行第一列相同的，只保留对应第三列日期最大的行。如“88130097410769”重复的有四行，对应第三列日期最大为“20070611”，就只保留第三行或第四行（第三行与第四行相同）。如果如下：
  1. 借据号,代码,计息日
  2. 88130097410769,4005,20070611
  3. 88130097423259,4005,20070928
复制代码
求awk命令代码。
WilliBhamlll

论坛徽章:
50
15-16赛季CBA联赛之广夏 日期:2018-11-05 09:42:462015年亚冠纪念徽章 日期:2015-07-23 11:58:122015亚冠之广州富力 日期:2015-07-07 08:26:172015亚冠之塔什干棉农 日期:2015-06-29 09:08:072015年亚洲杯之伊朗 日期:2015-03-08 20:51:012015年迎新春徽章 日期:2015-03-04 09:58:11未羊 日期:2014-10-16 22:41:47处女座 日期:2014-10-16 15:33:33酉鸡 日期:2014-03-13 12:54:10巳蛇 日期:2014-03-10 14:39:052015亚冠之德黑兰石油 日期:2015-07-29 12:46:372015亚冠之德黑兰石油 日期:2015-08-07 12:54:11
2楼 [报告]
发表于 2014-12-14 11:34 |只看该作者
  1. awk -F, 'NR==1{print;next}a[$1]<$3{a[$1]=$3;b[$1]=$0;if(!d[$1]++)c[++n]=$1}END{for(i=0;i++<n;)print b[c[i]]}' file
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Buring__

论坛徽章:
9
2015亚冠之大阪钢巴 日期:2015-06-04 11:47:30丑牛 日期:2015-01-22 15:49:26巳蛇 日期:2015-01-22 10:11:18巨蟹座 日期:2014-11-20 10:55:03天蝎座 日期:2014-11-16 22:10:26处女座 日期:2014-11-16 11:01:10申猴 日期:2014-09-19 11:12:37双鱼座 日期:2014-07-25 10:09:54程序设计版块每日发帖之星 日期:2015-08-24 06:20:00
3楼 [报告]
发表于 2014-12-14 13:43 |只看该作者
回复 1# hgx126
  1. sort -unk3 -t, urfile |awk -F, '{a[$1","$2]=$3}END{for(i in a)print i","a[i]}'
  2. 借据号,代码,计息日
  3. 88130097410769,4005,20070611
  4. 88130097423259,4005,20070928
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zxy877298415

论坛徽章:
30
申猴 日期:2014-04-10 09:43:532015年亚洲杯纪念徽章 日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔 日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔 日期:2015-06-30 15:22:572015亚冠之大阪钢巴 日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔 日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆 日期:2015-12-25 10:18:45黑曼巴 日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西 日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京 日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一 日期:2017-07-07 16:39:0915-16赛季CBA联赛之吉林 日期:2017-09-04 12:14:43
4楼 [报告]
发表于 2014-12-14 14:06 |只看该作者
本帖最后由 zxy877298415 于 2014-12-14 14:06 编辑
  1. awk -F, '{if((!a)&&(!b)) {a=$1;b=$3;} else if(($1==a)&&($3==b)) {a=$1;b=$3} else if (($1==a)&&($3>b)){print $0;a=$1;b=$3} else if($1!=a) {a=$1;b=$3}}' file
复制代码



   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
5楼 [报告]
发表于 2014-12-15 09:56 |只看该作者
貌似已经排好序了
  1. awk -F, 'NR>1{if(t&&t!=$1)print s;t=$1;s=$0}END{print s}'
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
fangang001

论坛徽章:
0
6楼 [报告]
发表于 2014-12-15 10:25 |只看该作者
本帖最后由 fangang001 于 2014-12-15 10:27 编辑

[/ngbss/webapp/bin/test]cat data
88130097410769,4005,20070610
88130097410769,4005,20070610
88130097410769,4005,20070611
88130097410769,4005,20070611
88130097423259,4005,20070701
88130097423259,4005,20070701
88130097423259,4005,20070928
88130097423259,4005,20070928
[/ngbss/webapp/bin/test]sort -t',' -k1,1 -k3,3r data | awk -F',' '{if($1!=PR) print $0; PR=$1;}'
88130097410769,4005,20070611
88130097423259,4005,20070928
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jcdiy0601

论坛徽章:
6
羊年新春福章 日期:2015-03-03 17:16:28双子座 日期:2015-03-03 17:16:56巳蛇 日期:2015-03-03 17:17:2415-16赛季CBA联赛之福建 日期:2016-03-11 09:05:00黑曼巴 日期:2016-07-07 16:58:1215-16赛季CBA联赛之吉林 日期:2016-11-14 09:23:07
7楼 [报告]
发表于 2014-12-15 10:33 |只看该作者
本帖最后由 jcdiy0601 于 2014-12-15 11:00 编辑
  1. cat test|sort|awk -F"," '{a[$1]=$3}END{for(i in a)print i,$2,a[i]}'|sort
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
liion631818

论坛徽章:
10
天蝎座 日期:2013-09-22 22:32:23程序设计版块每日发帖之星 日期:2016-08-07 06:20:00lufei 日期:2016-06-17 17:38:40程序设计版块每日发帖之星 日期:2016-06-12 06:20:002016科比退役纪念章 日期:2016-05-31 15:47:20CU十四周年纪念徽章 日期:2016-05-27 12:24:562015年亚洲杯之阿曼 日期:2015-05-03 21:01:352015年辞旧岁徽章 日期:2015-03-03 16:54:15天蝎座 日期:2013-10-20 21:05:24程序设计版块每日发帖之星 日期:2016-08-11 06:20:00
8楼 [报告]
发表于 2014-12-15 15:40 |只看该作者

  2. awk -F "," 'BGEIN{
  3. }
  4. {
  5.         if(NR==1)
  6.                 print;
  7.         else if(line[$1] < $NF ){
  8.                 line[$1] = $NF;
  9.                 line2[$1] = $(NF-1);
  10.         }
  11. }
  12. END{
  13.         for(l in line)
  14.                 print l "," line2[l] "," line[l]
  15. }
  16. ' test.txt
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ch_hoho

论坛徽章:
0
9楼 [报告]
发表于 2014-12-15 19:33 |只看该作者
awk -F',' '{if(a[$1]<$3){a[$1]=$3;b[$1]=$0;}}END{for(i in b){print b[i]}}' file
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
冰谛

求职 : Linux运维
论坛徽章:
4
狮子座 日期:2014-12-20 10:15:35天秤座 日期:2014-12-24 16:54:192015年亚洲杯之科威特 日期:2015-01-27 21:32:482015亚冠之平阳省 日期:2015-10-22 16:31:52
10楼 [报告]
发表于 2014-12-22 12:09 |只看该作者
sort -t,  -k1n,1  -k3rn,3 -o file  file;sort -t, -k1n,1 -u file
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP