【文本乱序去重的问题】

GoGo闯

现在有一段文本，如下：
“
空调 牌子 哪个 好
空调 牌子
牌子 空调
海尔 压缩空调 维修
海尔 空调 多少钱
多少钱 海尔 空调
”

其中2、3行和5、6行除了关键词顺序不一样剩下都一样，咋实现将这两个重复的删掉，随便留其中一个，如下：

“
空调 牌子 哪个 好
牌子 空调
海尔 压缩空调 维修
海尔 空调 多少钱
”

之前用过sort排序去重，但顺序就变了。。

ssfjhh

1. In [1]: s = '''
   
2.    ...: 空调 牌子 哪个 好
   
3.    ...: 空调 牌子
   
4.    ...: 牌子 空调
   
5.    ...: 海尔 压缩空调 维修
   
6.    ...: 海尔 空调 多少钱
   
7.    ...: 多少钱 海尔 空调
   
8.    ...: '''
   
9. 
   
10. In [2]: ss = [set(i.split()) for i in s.split('\n')]
    
11. 
    
12. In [3]: sss = set(str(i) for i in ss)
    
13. 
    
14. In [4]: ssss = [eval(i) for i in sss]
    
15. 
    
16. In [5]: ssss
    
17. Out[5]:
    
18. [{'哪个', '好', '牌子', '空调'},
    
19. {'压缩空调', '海尔', '维修'},
    
20. {'牌子', '空调'},
    
21. set(),
    
22. {'多少钱', '海尔', '空调'}]
    
23. 
    
24. In [6]:

复制代码

ssfjhh

1. In [1]: s = '''
   
2.    ...: 空调 牌子 哪个 好
   
3.    ...: 空调 牌子
   
4.    ...: 牌子 空调
   
5.    ...: 海尔 压缩空调 维修
   
6.    ...: 海尔 空调 多少钱
   
7.    ...: 多少钱 海尔 空调
   
8.    ...: '''
   
9. 
   
10. In [2]: ss = [set(i.split()) for i in s.split('\n')]
    
11. 
    
12. In [3]: ss
    
13. Out[3]:
    
14. [set(),
    
15. {'哪个', '好', '牌子', '空调'},
    
16. {'牌子', '空调'},
    
17. {'牌子', '空调'},
    
18. {'压缩空调', '海尔', '维修'},
    
19. {'多少钱', '海尔', '空调'},
    
20. {'多少钱', '海尔', '空调'},
    
21. set()]
    
22. 
    
23. In [4]: ss.remove(set())
    
24. 
    
25. In [5]: ss.remove(set())
    
26. 
    
27. In [6]: ss
    
28. Out[6]:
    
29. [{'哪个', '好', '牌子', '空调'},
    
30. {'牌子', '空调'},
    
31. {'牌子', '空调'},
    
32. {'压缩空调', '海尔', '维修'},
    
33. {'多少钱', '海尔', '空调'},
    
34. {'多少钱', '海尔', '空调'}]
    
35. 
    
36. In [7]: [ss[i] for i in range(len(ss)) if ss[i] not in ss[:i]]
    
37. Out[7]:
    
38. [{'哪个', '好', '牌子', '空调'},
    
39. {'牌子', '空调'},
    
40. {'压缩空调', '海尔', '维修'},
    
41. {'多少钱', '海尔', '空调'}]
    
42. 
    
43. In [8]:

复制代码