免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4275 | 回复: 8
打印 上一主题 下一主题

awk文件关联问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2010-09-27 15:45 |只看该作者 |倒序浏览
我现在有两个文件
a文件:
A,B,A,111
B,B,A,222
C,C,A,333
....


b文件:
111,331
222,111
....

两个文件都很大

我现在想用awk做一下两个文件的关联查询,类似数据库的 a join b on a.111 = b.111
请问应该怎么做?数据量很大 两个文件都5G以上

谢谢!!!
dragon23452345 该用户已被删除
2 [报告]
发表于 2010-09-27 15:55 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
3 [报告]
发表于 2010-09-27 16:35 |只看该作者
这个awk应该怎么写啊?

论坛徽章:
0
4 [报告]
发表于 2010-09-27 17:10 |只看该作者
你还没说想怎么查呢

论坛徽章:
0
5 [报告]
发表于 2010-09-27 17:19 |只看该作者
你还没说想怎么查呢
where27 发表于 2010-09-27 17:10



    a文件:
A,B,A,111
B,B,A,222
C,C,A,333
....


b文件:
111,331
222,111
....



想得到 (b文件第一个域大于200的 与 a文件第4个域相关联 然后按格式输出):
222,A,B,A,111

论坛徽章:
0
6 [报告]
发表于 2010-09-27 17:24 |只看该作者
本帖最后由 where27 于 2010-09-27 17:29 编辑

回复 5# hoo7


    b文件第一个域大于200且第二个域与a文件第4个域相关联 然后按格式输出
应该是这个吧
  1. awk -F, 'NR==FNR{a[$4]=$0;next}$1>200&&($2 in a){print $1","a[$2]}' a b
复制代码
效率不知道。。。

论坛徽章:
0
7 [报告]
发表于 2010-09-27 17:36 |只看该作者
'NR==FNR{a[$4]=$0;next} 这一段怎么解释啊?
老表~

论坛徽章:
0
8 [报告]
发表于 2010-09-27 17:37 |只看该作者
我能想到是怎么回事,就是不知道该怎么理解 'NR==FNR 还有个next

论坛徽章:
0
9 [报告]
发表于 2010-09-27 18:17 |只看该作者
回复 7# hoo7


    就是当NR==FNR(读文件a的时候)的时候,只处理前面的a[$4]=$0,后面的就跳过了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP