使用python 比较2个100G 左右文件， 要求得出2个文件有多少行是相同的？

bobile

使用python 比较2个100G 左右文件， 要求得出2个文件有多少行是相同的？ 文件中的每行就是一些字符串
请教大虾 使用python 怎么做

bobile

求指点一个方法

jeppeter

回复 1# bobile


    请问，你这个文件的内容是位置相关的吗？就是如果一个内容A出现在100行，与出现在1000行的意义是不同的。如果是，那最好用diff库。这个可以参考difflib
    如果你的是位置无关的，只是想找到不同的，那这么大，一定要进行排序，再用排序对比的方法。

ssfjhh

楼上说了我想说的，比如a文件中的第100行，与b文件中的第1000行相同，算不算相同呢？

bobile

回复 4# ssfjhh


    算相同的

bobile

jeppeter 发表于 2013-03-22 18:13
回复 1# bobile

我就是需要用排序，但是 我想把文件 拆分为 100M 左右的文件再来 排序

bobile

不知道 采用什么排序 方法好， 排序后 还需要对比 也是个麻烦的事情

ssfjhh

回复 6# bobile


    比对很简单，但是你拆分成100M的文件以后，如果b文件中100M以后的一行与a文件中100M以前的一行相同，怎么算？

bobile

是的，我觉得现在 就是 没有一个方法来处理 这个问题， 不知道 可不可以用hash

jeppeter

回复 8# ssfjhh


    这个排序方法，先是用局部的quicksort,再把排序好的小文件，进行合并排序。这样是可行的办法。我在50M的测试过，大概是几秒种解决问题。当然，我是用的RAMDISK上进行测试的。