文本计算比较

Linux_manne

各文件 50w  测出来2.4 秒 请楼主帮忙验证 后续看看还有无优化

后续更新

1. def fequal(c):
   
2.     with open('result1','a') as f:
   
3.         f.writelines(c+"\n")
   
4. 
   
5. def fbigger(c):
   
6.     with open('result2','a') as f:
   
7.         f.writelines(c+"\n")
   
8. 
   
9. def fsmaller(c):
   
10.     with open('result3','a') as f:
    
11.         f.writelines(c+"\n")
    
12. 
    
13. 
    
14. def fonly(fname,c):
    
15.     with open(fname,'a') as f:
    
16.         f.writelines(c+"\n")
    
17. 
    
18. 
    
19. 
    
20. f1 = open('file1','r')
    
21. f2 = open('file2','r')
    
22. 
    
23. d1 = dict(line.split() for line in f1)
    
24. d2 = dict(line.split() for line in f2)
    
25. x = set(d1.keys())
    
26. y = set(d2.keys())
    
27. tmp1=''
    
28. tmp2=''
    
29. tmp3=''
    
30. tmp4=''
    
31. tmp5=''
    
32. for k in x-y:
    
33.         tmp1 += "%s only file1 %s\n" %(k,d1[k])
    
34. fonly('result4',tmp1)
    
35. 
    
36. 
    
37. for k in y-x:
    
38.         tmp2 += "%s only file2 %s\n" %(k,d2[k])
    
39. fonly('result5',tmp2)       
    
40.    
    
41. 
    
42. for k in x&y:
    
43.     if k in d2.keys():
    
44.         if d1[k] == d2[k]:
    
45. 
    
46.             tmp3 += "%s equal %s\n" %(d1[k],d2[k])
    
47.         if d1[k] > d2[k]:
    
48. 
    
49.                         tmp4 += "file1 bigger file2\n"
    
50.         if d1[k] < d2[k]:
    
51. 
    
52.                         tmp5 += "file2 bigger file1\n"
    
53. 
    
54. fequal(tmp3)
    
55. fbigger(tmp4)
    
56. fsmaller(tmp5)

复制代码

1.8秒

love_shift

1. #!/usr/bin/env python
   
2. #
   
3. #
   
4. from threading import Thread
   
5. 
   
6. class GetFileThread(Thread):
   
7.     def __init__(self, setList, method):
   
8.         self.setList = setList
   
9.         self.method = method
   
10.         super(GetFileThread, self).__init__()
    
11. 
    
12.     def run(self):
    
13.                 if self.method == "equal":
    
14.                         for key in self.setList:
    
15.                                 if d1[key] > d2[key]:
    
16.                                         r2.write('%d file1biggerfile2 %d\n' % (key,d1[key]))
    
17.                                 elif d1[key] < d2[key]:
    
18.                                         r3.write('%d file2biggerfile1 %d\n' % (key,d2[key]))
    
19.                                 else:
    
20.                                         r1.write('%d equal %d\n' % (key,d1[key]))                               
    
21.                 elif self.method == "inf1":
    
22.                         for key in self.setList:
    
23.                                 r4.write('%d onlyinfile1 %d\n' % (key,d1[key]))                       
    
24.                 elif self.method == "inf2":
    
25.                         for key in self.setList:
    
26.                                 r5.write('%d onlyinfile2 %d\n' % (key,d2[key]))
    
27.                                
    
28. r1 = open('result1','w+')
    
29. r2 = open('result2','w+')
    
30. r3 = open('result3','w+')
    
31. r4 = open('result4','w+')
    
32. r5 = open('result5','w+')
    
33.                                                
    
34. d1 = dict([(int(line.split()[0]),int(line.split()[1])) for line in open('t1','r')])
    
35. d2 = dict([(int(line.split()[0]),int(line.split()[1])) for line in open('t2','r')])
    
36. 
    
37. s1 = set(d1)
    
38. s2 = set(d2)
    
39. 
    
40. threads = []
    
41. t1 = GetFileThread(s1&s2,'equal')
    
42. threads.append(t1)
    
43. t1.start()
    
44. t2 = GetFileThread(s1-s2,'inf1')
    
45. threads.append(t2)
    
46. t2.start()
    
47. t3 = GetFileThread(s2-s1,'inf2')
    
48. threads.append(t3)
    
49. t3.start()
    
50. for t in threads:
    
51.         t.join()
    
52.        
    
53. r1.close()
    
54. r2.close()
    
55. r3.close()
    
56. r4.close()
    
57. r5.close()
    

复制代码

  加个线程，大文件时候看下是否有效果！

caoshanhu

我是来看看，学习的

Hadron74

这两个文件如果键值是排序好的，是一个归并排序的问题；如果没有排序好，应先排序，再归并，算法复杂度log(n)+log(m)+m+n.
用集合的运算时间复杂度太大了。

这里给出一个用Python的代码：

1. __author__ = 'luhongc'
   
2. # -*- coding: utf_8 -*-
   
3. 
   
4. 
   
5. file1 = """1221  2453
   
6. 1223  5687
   
7. 1243  7683
   
8. 1245  1000
   
9. """
   
10. 
    
11. file2 ="""1221 2453
    
12. 1223 2000
    
13. 1245 5612
    
14. 1265 8000
    
15. 1287 4321
    
16. """
    
17. 
    
18. #file1 = open("file1").read()  # 对外部文件的输入
    
19. #file2 = open("file2").read()
    
20. 
    
21. 
    
22. INfile1 = file1.strip().split('\n')
    
23. INfile2 = file2.strip().split('\n')
    
24. 
    
25. Key1 = [ [ int(i) for i in kv.split()]  for kv in INfile1]
    
26. Key2 = [ [ int(i) for i in kv.split()]   for kv in INfile2]
    
27. 
    
28. Key1.sort(key=lambda x: x[0])  # 队列按键排序，如果排序好文件，可以省略这步
    
29. Key2.sort(key=lambda x: x[0])
    
30. 
    
31. class DATA:
    
32.     def __init__(self,Key,KeyOther,fonly,othername):
    
33.         self.Key = Key                 # 本队列
    
34.         self.KeyOther = KeyOther       # 另一个队列
    
35.         self.fonly = fonly             # 另一个队列的输出文件句柄
    
36.         self.othername = othername     # 另一个队列的名字
    
37.         self.head = 0                  # 对列
    
38. 
    
39.     def get(self,other_header):
    
40.         try:
    
41.             t,v = self.Key[self.head]
    
42.             self.has_data = True   # 是否能 得到 一个 数据
    
43.             self.t = t             # 键
    
44.             self.v = v             # 值
    
45.         except:
    
46.             # 如果一个 序列 为空，则把另一个序列的 值 输出到 指定 文件 中
    
47.             for key,value in self.KeyOther[other_header:]:
    
48.                 self.fonly.write("%d onlyin%s %d\n" % (key,self.othername,value))
    
49.             self.has_data = False  # 返回 序列为空
    
50.             self.t = "NA"
    
51.             self.v = "NA"
    
52.         return self
    
53.     def pop(self):
    
54.         self.head += 1            # 弹出本队列最小元素
    
55.         return
    
56. 
    
57. with open("result1","w") as R1 , \
    
58.      open("result2","w") as R2 , \
    
59.      open("result3","w") as R3 , \
    
60.      open("result4","w") as R4 , \
    
61.      open("result5","w") as R5:
    
62. 
    
63. 
    
64.     D1 = DATA(Key1,Key2,R5,"file2")
    
65.     D2 = DATA(Key2,Key1,R4,"file1")
    
66.     D1.get(D2.head)
    
67.     D2.get(D1.head)
    
68. 
    
69.     while True:                      #归并算法，总选取两个队列中小的键进行处理
    
70.         if (D1.t > D2.t):
    
71.             R5.write("%d onlyin%s %d\n" % (D2.t,"file2",D2.v))
    
72.             D2.pop()
    
73.             D2.get(D1.head)
    
74.             if not D2.has_data:
    
75.                 break
    
76.         elif (D1.t < D2.t):
    
77.             R4.write("%d onlyin%s %d\n" % (D1.t,"file1",D1.v))
    
78.             D1.pop()
    
79.             D1.get(D2.head)
    
80.             if not D1.has_data:
    
81.                 break
    
82.         else:
    
83.             if ( D1.v > D2.v ):
    
84.                 R2.write("%d file1biggerfile2 %d\n" % (D1.t, D1.v-D2.v))
    
85.             elif (D1.v < D2.v):
    
86.                 R3.write("%d file2biggerfile1 %d\n" % (D1.t, D2.v-D1.v))
    
87.             else:
    
88.                 R1.write("%d equal %d\n" % (D1.t, D1.v ) )
    
89.             D1.pop()
    
90.             D2.pop()
    
91.             D1.get(D2.head)
    
92.             if not D1.has_data:
    
93.                 break
    
94.             D2.get(D1.head)
    
95.             if not D2.has_data:
    
96.                 break
    

复制代码

KoomIer

已开奖

回复 1# KoomIer


   

jcdiy0601

回复 15# KoomIer

是说参与的都有奖吗
   

ssfjhh

楼主，挺多参与者用的py3，也都很想看到结果如何，但是没有数据，你一句py3，no result，打击我们py3用户参与的积极性啊。

KoomIer

对
回复 16# jcdiy0601


   

KoomIer

这里我只能抱歉，而且我是新手，又没能力改3为2
如果有时间，你帮我改下

而且关键是算法思路

回复 17# ssfjhh


   

ssfjhh

1. python3 balabala.py

复制代码

这样不行么？