python习题:去除文件中的重复行

redflowflag

                去除文件中的重复行，前提：文件已经经过排序
               
                #!/usr/bin/env python
#去除重复行
import sys
import os
def printUsage():
    print("Usage: python uniq.py sourcefile ")
def printFileNotExist():
    print(":( Sorry, File " , sys.argv[1], " does not exist!")
def uniqFile(filename):
    fp = open(filename,"r")
    preline = '';
    for line in fp:
        line.strip()
        if line == preline:
            continue
        print(line,end="")
        preline = line   
   
if __name__ == "__main__":
    if len(sys.argv) != 2:
        printUsage()
        exit()
    if not os.path.isfile(sys.argv[1]):
        printFileNotExist()
        exit()
    uniqFile(sys.argv[1])


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/23094/showart_2092498.html

wzlxx_

你这个只能去掉相邻的两行重复

scrit

他说了有个前提，文件经过排序了
不过想了解下，如果没经过排序呢
最近刚开始学习perl

wjsgsb

我这也有个方法，使用set

1. ＃ 打开文件
   
2. f = open('e:\\asd.txt')
   
3. 
   
4. ＃ 重复行只保留一条记录 并且打印
   
5. print '\n'.join(set([line.strip() for line in f]))

复制代码

飞翔的尘埃

LS正解

gonglq123

好NB啊
回复 4# wjsgsb


   

sageskr

小文件无所谓，可以直接读入多行，如果是超大型文件，你无法一次读入呢，所以建议还是要先排序。
考虑的要通用些。所以楼主的解还是对的。
只说思路，
可以把大型文件根据首字母进行拆分，如果文件仍然很大，按照第二个字母进行拆分。拆分到100MB以内，然后一次读入，用set。不晓得这样好不好。