awk能处理多大文本文件？

danbaoyu

现急需解决此问题：
2个文件：
1.txt  5列 1.5G
2.txt  12列 2.6G
awk 'NR==FNR{a[$1" "$2" "$3]=$4" "$5}NR>FNR{if(a[$3" "$6" "$10]!=""&&a[$3" "$6" "$10]!=" ")print $1,$2,$3,a[$3" "$6" "$10]}' 1.txt 2.txt
运行后报错：there is not enough availiable memory
请问该如何解决？

sunzhiguolu

不是 awk 能处理多大文件，而是你的硬件能容纳多大文件。

danbaoyu

回复 2# sunzhiguolu

我机器内存8G啊，为什么1.txt小于0.4G就没有问题。是不是awk数组长度限制？有没有其他办法解决？

moperyblue

可用内存还有多少G?

moperyblue

先去掉文件2.txt的冗余列,再试试

1. awk '{print $1,$2,$3,$6,$10}' 2.txt > new_2.txt
   
2. awk 'NR==FNR{a[$1" "$2" "$3]=$4" "$5}NR>FNR{if(a[$3" "$4" "$5]!=""&&a[$3" "$4" "$5]!=" ")print $1,$2,$3,a[$3" "$4" "$5]}'  1.txt new_2.txt

复制代码

danbaoyu

可用内存够的。上面什么都没有跑。

danbaoyu

有没有其他什么办法？

moperyblue

先把2.txt文件用split命令按行平均分割为多个较小的文件 再 用1.txt文件分别与这些从2.txt文件分割出来的文件比较

sunzhiguolu

你的实际处理数据占用内存用量不是按照两个文件相加后的大小那么计算的。
8G 内存指的是总大小吧，要么增大内存数量 要么按照楼上的方式 分批处理。

danbaoyu

总共文件有1000多个，分割处理的话比较麻烦。