求助如何处理重复数据？？？？？？？

snow_gray

我从一个SPD文件里面读取数据，但里面有许多重复的数据了，比如：
X    Y    BIN     A1           A2
1   23    7      0.023    0.837
1   23    6      0.17      0.75
1   24    5      0.20      0.68

我就想只取后面那次的数据, 想得到这样的结果：

X    Y    BIN     A1           A2
1   23    6      0.17      0.75
1   24    5      0.20      0.68


我用python是一行一行分别把X，Y，BIN，A1，A2的数据读出来的
现在不知道，当把数据写进文件里时，如何覆盖重复的X，Y的值

请各位帮帮忙呀。。。。。。。。。。。。。。。。。。。。。。。。

我就是不知道每行把数据读出来后，当写入新文本时该如何去判断重复的X，Y了。。。。。

snow_gray

杂就没人理我呢。。。。。。。。
我是个初学者，还请各位多多指教了。。。。。。

donotblock

读出来以后先把重复行去掉，再写入文件

dabaosod011

可以用shell先处理一下
类似于  ：  cat  test.file | sort | uniq > result

donotblock

1. import re
   
2. f = open('testdata.txt')
   
3. header = f.readline()
   
4. content = f.readlines()
   
5. d = {}
   
6. for item in content:
   
7.   temp = re.split(r'\s+',item,2)
   
8.   d[(temp[0],temp[1])] = temp[2]
   
9. 
   
10. print(d)
    

复制代码

starzhestarzhe

把文件每一行放进list,然后set(list)

当然,文件不能太大,太大的话分多次

donotblock

把文件每一行放进list,然后set(list)

当然,文件不能太大,太大的话分多次
starzhestarzhe 发表于 2010-11-25 21:19

    它是部分重复，set无效

starzhestarzhe

回复 7# donotblock


    那就加一个字典变量,在字典变量里实现去重

snow_gray

恩，问题已经解决了，谢谢大家。。。。。。。。。。。。