免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 2373 | 回复: 12
打印 上一主题 下一主题

请教一个shell及awk相关的问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2010-03-29 18:05 |只看该作者 |倒序浏览
本帖最后由 wangliang222002 于 2010-03-29 18:09 编辑

文件a格式如下,有二列数据用逗号分隔约1000w行
a,1
b,342
c,4342
d,434
e,2
f,2
...

文件b格式如下,只有文件b中的第一列部分数据,约10w行
a
c
d
...

现在想查出a文件中含b文件的部分。
我用shell脚本循环b文件,然后执行10w次grep对a文件的查找,输出到一个新文件就可以了
输出后的格式为
a,1
c,4342
d,434
...
但这种办法效率太低,有没有什么快的办法?

论坛徽章:
0
2 [报告]
发表于 2010-03-29 18:09 |只看该作者
输出后的格式为
a,1
c,4342
d,434
...

论坛徽章:
0
3 [报告]
发表于 2010-03-29 18:11 |只看该作者
本帖最后由 wtuter 于 2010-03-29 18:12 编辑

回复 1# wangliang222002


    没表达清楚

不过试试grep -Ff b a

论坛徽章:
0
4 [报告]
发表于 2010-03-29 18:39 |只看该作者
回复 3# wtuter


   


    谢谢,就是你这个意思。

不过还有个问题
文件a数据若为:
abc,123
a,123
z,34
...

文件b数据为
a
...
那么abc,123数据也会返回,我想b文件的数据对a文件的第一列完全匹配,只返回a,123该怎么弄呢?

论坛徽章:
0
5 [报告]
发表于 2010-03-29 18:46 |只看该作者
回复 4# wangliang222002


    grep -wFf b a

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
6 [报告]
发表于 2010-03-29 18:49 |只看该作者
回复 5# wtuter


应该是这个意思:
  1. awk -F, 'NR==FNR{a[$1]}NR>FNR&&($1 in a)' b a
复制代码

论坛徽章:
0
7 [报告]
发表于 2010-03-29 19:24 |只看该作者
应该是5楼的意思吧

论坛徽章:
0
8 [报告]
发表于 2010-03-29 19:26 |只看该作者
回复 7# ghp268


    tim的意思也对,不过tim没写全


awk 'NR==FNR{a[$1]}NR>FNR{if($1 in a)print $0}'  b a

论坛徽章:
0
9 [报告]
发表于 2010-03-29 21:50 |只看该作者
回复 8# wtuter


    FNR{a[$1]}
这些是什么意思能解释下你这句吗?刘德华

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
10 [报告]
发表于 2010-03-29 22:30 |只看该作者
你把刘德华的命令肢解了,应该这样看:
当NR==FNR的时候执行{a[$1]}
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP