1.84GB的文档只去重不排序，3个小时后死机了，请大神指导！

jason680

回复 10# bmne

这问题跟春运...
解决方法：
1.人少点
人多且要在春节返家...
平时人少是不堵塞的...

你数据少点 G级改M级

2.（铁公机）车次加多，路加大...
车次已加，路也加...
现实问题，有一定难处......

但你的配置是可以提高的...
资料太多1.8G，内存太少8G...
试试数据库...

bmne

回复 11# jason680


谢谢大神

大神一句话看来代码是没戏了


割吧，看来只能这样做了。






   

lyhabc

不排序怎么去重啊？？

bskay

8G内存,完全可以在内存里面搞
另外,不能过多访问磁盘,不能多次起新进程

用python或者perl搞比较合理,其他shell会多次起新进程,会很慢




cat<<EOF>aa.sh
import time
print(time.strftime('readfile %H:%M:%S'))
raw_lines = file('urfile').readlines()
print(time.strftime('procdata %H:%M:%S'))
un_keys = set()
unlines = []
for l in raw_lines:
    if l in un_keys:
        continue
    un_keys.add(l)
    unlines.append(l)
print(time.strftime('writefile %H:%M:%S'))
file('urfile.out','w').writelines(unlines)
EOF
python aa.sh



用上面脚本验了一下,把一个10210行文件重复到27552123行处理
readfile 16:26:36
procdata 16:26:40
writefile 16:26:52