如何用python去除文件内的重复行只返回其中的一行

tianting002

F:\test>type test.txt
abcd
abcd
abcd
abcd


用python 如何去除重复行，只返回其中一行abcd？

谢谢！

anonymous0502

1. a='''
   
2. abcd
   
3. abcd
   
4. abcd
   
5. abcd
   
6. '''
   
7. print '\n'.join(set(a.split('\n')))

复制代码

tianting002

anonymous0502 发表于 2012-04-30 10:45

按照你的写法可以，但是写在脚本里不行，帮我看下是哪里的原因？

#!/usr/bin/python
a=open("test.txt").readlines()

for x in a:
        print(''.join(set(x.split('\n'))))

输出
abcd
abcd
abcd
abcd

anonymous0502

有好多种做法，看你实际情况需要了：

1. print '\n'.join(set(open('2.txt').read().split('\n')))

复制代码

1. print ''.join(set([x for x in open('2.txt').readlines() if x.strip()!='']))

复制代码

可能你需要保留顺序
这有别人写的几种做法：http://www.codecho.com/fastest-way-to-uniqify-a-list-in-python/

tianting002

回复 4# anonymous0502


非常感谢anonymous0502！


   

luoyan_xy

tianting002 发表于 2012-04-30 11:09
按照你的写法可以，但是写在脚本里不行，帮我看下是哪里的原因？

#!/usr/bin/python

  readlines已经把文本所有的内容读出来了，不需要再for x in的循环了

ilikeqdi

readlines（）脚本里面还是尽量少用，要不当你的日志很大的时候就杯具了

x9x9

用uniq命令即可吧?