请教对过亿文本文件过滤重复的问题

crskykkf

1.出现上亿(大小过G)的文本文件本来就是不正常的事情
2.如何在1G内存里完成这个任务


问题是这样的:一个文本文件.记录过亿(超过1亿的行数).如何在1G的内存里完成过滤重复.

大概的思路 分N份. 分别对这N份过滤重复. 然后 再循环 N^2 次.
  有更好的方法么


P.S.  因为一次读入会超过2G或者4G. 所以不能一次读入. 另外.
  千万级别我试过. 可以用set()的方法在 6s 内完成.

pywugw

给出一条记录来看下

check1234

思路这样看看可以不可以:做个指针,以及指针记录临时文件,然后读1M进行过滤;然后再读1M进行过滤.当然这个1M不是一定的,用二分法,找出一次读出的最佳文件大小.
当然,也可以考虑用多线程.

pywugw

1. #!/usr/bin/env python
   
2. import os
   
3. import glob
   
4. import shutil
   
5. import string
   
6. keyList = string.letters+string.digits+'_'
   
7. shutil.rmtree('.tmplogs')
   
8. os.mkdir('.tmplogs')
   
9. tmpFileList = {}
   
10. taskList = []
    
11. 
    
12. # part1
    
13. for f in keyList:
    
14.     tmpFileList[f] = open('.tmplogs/%s'%f,'a')
    
15. 
    
16. fd = open('all')
    
17. while True:
    
18.     lines = fd.readlines(1024)
    
19.     if not lines: break
    
20.     for line in lines:
    
21.         line = line.strip()
    
22.         k = line[0]
    
23.         try:
    
24.             if k in keyList:
    
25.                 tmpFileList[k].write('%s\n'%line)
    
26.             else:
    
27.                 tmpFileList['_'].write('%s\n'%line)
    
28.         except:
    
29.             continue
    
30. fd.close()
    
31. 
    
32. for f in keyList:
    
33.     tmpFileList[f].close()
    
34. 
    
35. # part2
    
36. taskList = glob.glob('.tmplogs/*')
    
37. logsFile = open('done.log','a')
    
38. for task in taskList:
    
39.     fd = open(task)
    
40.     tmpDict = {}
    
41.     while True:
    
42.         lines = fd.readlines(1024)
    
43.         if not lines: break
    
44.         for line in lines:
    
45.             line = line.strip()
    
46.             tmpDict[line] = None
    
47.     fd.close()
    
48. 
    
49.     for k in tmpDict:
    
50.         logsFile.write('%s\n'%k)
    
51.    
    
52. logsFile.close()

复制代码

我觉得主要看要过滤的原始数据是如何吧，如果是IP的话，算法上有很大改进的空间。（以上代码，仅供参考）

starfuck

滚

smallfish_xy

你可以尝试linux自带的uniq就可以完美解决...

help一下把。。。10G都不是问题，很快。

moatlzy

给个笨方法，呵呵，不过只能剔除重复行
import bsddb
def rmvrpt(srcfile):
    bdbf=bsddb.btopen(srcfile+'bdb')
    for ln in open(srcfile,'rb'):
        bdbf.setdefault(ln,'')
    fout=open(srcfile+'.res','wb')
    for i in bdbf:
        fout.write(i)
    bdbf.close()
    os.remove(srcfile+'bdb')
    return

wmjie

用数据库多简单？

小把戏

{:3_196:}不会是做短信分析吧