求救，linux下超过20G的文本文件的编辑统计

heavensend

有几个超过20G的文本文件，需要用sort -u来去掉重复的行,命令如下：
sort -u 1.log > 2.log
今天执行了超过8个小时，2.log依然没有任何数据写入。换了其他的方式：
cat 1.log | sort -u > 2.log
cat 1.log | sort | uniq > 2.log
均得不到数据，我用nohup来执行的，现在还没有结束。
我不太清楚sort的运行机制，我在2.log中得不到数据，是不是因为sort需要把所有文本都完全读入内存进行操作完之后才会往新文件中写入？这个我不太懂。
曾想过将文件切割之后再用sort -u，但是这样的结果不精确，分割的小文本互相之间还是会有重复行。

没招了，只好来CU求救。。。

还没休息的哥们帮帮忙，明晨8点我就要把结果统计出来了，给支支招吧，谢谢！

gamester88

太大了不能用sort,会超过内存限制的..

http://bbs.chinaunix.net/redirec ... 21&pid=10435075

chenyx

{:3_179:} 20G,太大了.

missuniverse110

split

heavensend

各位的思路是先split切割成小文本，然后再个个sort -u，然后在合并到一起再sort -u一次？
这样会不会效率太低了啊

Celinde

试试按首字母或者类似规则切分文件后逐个消除重复行再合并，

blueheavenljn

用C的代码不知道能不能处理...

laohuanggua

太牛了吧。

兰州wc -l可否？有上亿行了吧。导入数据库试试？

Simon1234

我个人觉得是因为这些命令是把数据读到内存去操作。
最好通过写个脚本来操作，一点一点儿的操作，应该是没有问题的。

mengyingchuxian

我觉得很难的。
无论在时间上还是在空间上。
从时间上来说，如果你有1000行文字，则第一行要和其后的999行比较……对于你的20G的文件来说，这个比较的次数是个天文数字。
从空间上来说，广是把你的文件整个读入内存都完成不了。
我不知道你判断两行相同的标准是什么，如果每行都有若干个field，然后只要id之类的field相同，则判断两行为重复，那么你可以试试借助数据库来完成。
如果是纯文本，而且重复的行会很多的话，我建议你分步完成。20G的文件分成40份，然后每两个文件合并成一个文件，再将得到的结果进行合并……直到最后得到一个文件。
如果重复的行并不多，那实在没有什么好办法。