复杂处理求救，列值匹配文件输出

tippoint

需求：
文件a.txt b.txt
当文件a的第二列中的值在文件b中，输出a的此行数据到另外的文件

实例数据：
a.txt

123  ABC  abc@163.com
234  CDE  cde@11.com
111 111   12312321


b.txt
abcd
ABC
CC
CDE


输出文件c.txt
123  ABC  abc@163.com
234  CDE  cde@11.com

因为a和b的数据比较大，求性能好的办法，a数据在40亿级，b在5万条左右

moperyblue

a.txt文件太大可以用split命令先按行数分割 成小文件

1. awk 'NR==FNR{a[$1]=1;next}a[$2]' b.txt a.txt

复制代码

liion631818

数据这么大按文本处理。。。

jcdiy0601

1. awk 'NR==FNR{a[$0]=$0;next}{if(a[$2])print }' 2 1

复制代码

文件那么大。。。慎用

tippoint

多谢，测试通过，还好我机器性能不错 分成小文件后再合并 性能能接受，不是实时计算，是一次性的输出。

moperyblue 发表于 2016-08-11 17:09
a.txt文件太大可以用split命令先按行数分割 成小文件