免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2253 | 回复: 7
打印 上一主题 下一主题

请教一个关于sort和uniq的问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2009-09-07 22:21 |只看该作者 |倒序浏览
文件a的内容,有10万行左右(我这里只列了2行作说明),格式为:
aa 11
bb 22
文件b的内容,也有10万行左右。。格式为:
aa 00
bb 22
cc 33

文件的第一列为主key,现在的需求是,比较这两个文件,将key值相同,第二列不同的内容只保留b文件的行
最后的输出为:
aa 00

注意,cc这样不要了,因为cc这行是多余的
cc 33

我的做法是,
cat a b | sort | uniq -u | awk -F'\t' '{print $1}' | sort | uniq -d  #  (1)
这样的结果是,只能找出需要筛选的键值,比如aa,然后再在文件b中匹配出aa 00这行。
这样性能非常差。
在这里请教高手,有没有可能单纯在语句(1)出就能输出我期望的结果呢,请教了。

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
2 [报告]
发表于 2009-09-07 22:47 |只看该作者

回复 #1 zwylinux 的帖子

只用awk就可以了。

论坛徽章:
0
3 [报告]
发表于 2009-09-07 23:23 |只看该作者
原帖由 blackold 于 2009-9-7 22:47 发表
只用awk就可以了。

请问一下高手怎么实现,现在确实找不到高效一点的方法,多谢指教

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
4 [报告]
发表于 2009-09-07 23:38 |只看该作者
try:
  1. awk 'NR==FNR{a[$1]++;next}a[$1]' a b
复制代码

论坛徽章:
9
2015亚冠之阿尔纳斯尔
日期:2015-09-10 16:21:162015亚冠之塔什干火车头
日期:2015-07-01 16:23:022015年亚洲杯之巴勒斯坦
日期:2015-04-20 17:19:46子鼠
日期:2014-11-13 09:51:26未羊
日期:2014-08-28 18:13:36技术图书徽章
日期:2014-02-21 09:30:15酉鸡
日期:2014-01-14 11:12:49天蝎座
日期:2013-12-09 17:56:53平安夜徽章
日期:2015-12-26 00:06:30
5 [报告]
发表于 2009-09-08 08:52 |只看该作者
原帖由 blackold 于 2009-9-7 23:38 发表
try: awk 'NR==FNR{a[$1]++;next}a[$1]' a b

黑哥没测试吧?
改下:
  1. awk 'NR==FNR{a[$1]++;b[$1,$2]++;next}a[$1]&&!b[$1,$2]' a b
复制代码

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
6 [报告]
发表于 2009-09-08 09:02 |只看该作者

回复 #5 HH106 的帖子

谢谢HH106 提醒!

没仔细看题。

论坛徽章:
0
7 [报告]
发表于 2009-09-08 10:36 |只看该作者
记住这个

就有了所有shell问题答案

论坛徽章:
1
巨蟹座
日期:2014-06-04 13:33:30
8 [报告]
发表于 2009-09-08 12:41 |只看该作者
他,是我的偶像
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP