awk如何能处理1.5G和16G的大文件，读取时出现内存错误

jason680

回复 1# x-dongzi


How about perl code as below:
Note: you can rename 1.5G_file.txt and 16G_file.txt on your system

$ cat 1.5G_file.txt
xxxxxx00
xxxxxx01
xxxxxx02

$ cat 16G_file.txt
xxxxxx00,00
xxxxxx02,02
xxxxxx08,08
xxxxxx09,09

$ perl -F, -lane '{$c++ if($ARGV!=$v);$v=$ARGV;if($c==1){$h{$F[0]}=1;next}if($h{$F[0]}==1){print $_}}' 1.5G_file.txt 16G_file.txt
xxxxxx00,00
xxxxxx02,02
   

aichinaunix

把两个文件导入到数据库里，一个文件一张表，用自己的pc机就可以搞定
在数据库里操作，就没有限制了

purpose_cu

自己写hash算法，小表做个hash表，大表每条值计算hash到hash表中查找，   这就是数据库中的hash join方式。

mihello

dn833 发表于 2012-10-15 15:25

1. grep -Ff 1.5G 16G

复制代码

这样试试看吧

这个可以用，应该算是最简单的方式。

张不凡

回复 14# mihello

和楼主的要求好像不大一样啊。


   

rdcwayx

楼主的awk 是什么版本啊？

老版本的awk 有类似的内存问题，楼主装个gawk 4试一下。

blackold

awk使用的内存最大值是可以设置的吧。