awk如何能处理1.5G和16G的大文件，读取时出现内存错误

x-dongzi

我手头有两个文本文件，一个1.5G左右，一个16G左右，
1.5G文件的例子：

1. 1234235963745
   
2. asdfasfsadfasds
   
3. 1111111111111

复制代码

16G文件的例子如下：

1. 1234235963745,1234
   
2. asdfasfsadfasds,4124
   
3. 1111111111111,m123
   
4. 1234235233745,1111
   
5. asdfas33dfasds,111231
   
6. 1111232111111,1231

复制代码

我是在16G文件中，找出其第一列与1.5G文件中相同的行，然后输出。
我的思路是将1.5G的文件读入awk中，然后再读第二个16G的文件，匹配到后就输出，可是现在发现awk在内容占用到2G多的时候就因为内存的原因报错了，当时已经读入了2亿6千万多行的数据，可是1.5G的文件的总行数大概在5亿多行。
想请教一下大家看看谁知道对于这种大文件有什么办法处理吗？

PS：在将1.5G的文件分割成小文件的方法我已经试了，是可以的，就是想问还有没有更好的处理办法。
PPS：不只局限于shell，别的什么语言程序都可以，只要能处理就可以，谢谢大家了。~~

dahaoshanhe

把文件分割成一些小的呢
或是找台大内存的机器

x-dongzi

回复 2# dahaoshanhe




分割的已经试过了，可以用。
内存的话，机器本身已经很大了，16G，就是awk自己用不了那么多。系统是32位的，不知道64位的会不会好点，但是手头没有64位的机器，也试不了。

lcz88990200

linux 32位的操作系统只支持最大文件2G
若需处理更大的文件，要安装64位的操作系统

jason680

回复 1# x-dongzi

does it have issue as below command:

awk '{a[$0]=1}' 1.5G.txt

   

dn833

1. grep -Ff 1.5G 16G

复制代码

这样试试看吧

x-dongzi

回复 4# lcz88990200


等我找台64位的AIX机器试试看。

x-dongzi

回复 5# jason680


    不行的，总是内存用到2094912k之后awk就hang在那里了。

lcz88990200

每天我要用C程序处理一批文件分析提取数据，每个文件有2-6Ｇ，
在linux 32位下＜２Ｇ都能正常处理，超过２G全都处理不了，
没办法，只好安装６４位系统，Ｃ程序不作任何改动，重新编译一下就能处理任意大小文件。
我安装６４位系统的主机内存２G。
听我的没错的。

x-dongzi

回复 9# lcz88990200


    谢谢，悲催了，木有64位的机器，等以后找找吧。不过现在倒是已经分割成小文件处理了。唉~~~~