如何去掉重复的字符串

zs0723

一个具有几百万行URL字符串的文件，如果去掉里面重复的URL？

not_halt

菜单 -> 编辑 -> 代替
输入 URL
回车
OK

antigloss

1. 
   
2. #include <iostream>
   
3. #include <fstream>
   
4. #include <set>
   
5. #include <string>
   
6. #include <iterator>
   
7. #include <algorithm>
   
8. 
   
9. using namespace std;
   
10. 
    
11. int main()
    
12. {
    
13.     string      line;
    
14.     set<string> uniq_set;
    
15.     ifstream    infile("pathname");
    
16. 
    
17.     istream_iterator<string> inbeg(infile), inend;
    
18.     copy( inbeg, inend, inserter(uniq_set, uniq_set.begin()) );
    
19.    
    
20.     infile.close();
    
21.     ofstream outfile("pathname");
    
22.    
    
23.     copy( uniq_set.begin(), uniq_set.end(), ostream_iterator<string>(outfile, "\n") );
    
24. }
    

复制代码

[ 本帖最后由 antigloss 于 2007-9-19 21:39 编辑 ]

wucailiuxing

uniq -u

zs0723

几百万行的概念： 5*1000*1000*128

ivhb

unix下，
sort -u

aero

对每个URL串进行搜索？没想到更好的办法。

zs0723

文件中每一行为一个URL，将文件中重复的URL去掉

iceviewer

原帖由 ivhb 于 2007-9-19 22:06 发表
unix下，
sort -u

嗬嗬，c 的话，可以参考 sort 的src实现。

紫星河

这样行吗：
建一棵树（二叉树，b树...），把文件中的url读取后存入树中（重复的当然就不用再写入了），读完后重写文件，至于效率我就不清楚了...