求教： 大文本 中 按列去重

blackold

还要跑几天？完了。

可恶的

帮你接话：我心神不宁了……
PS：楼主的这个问题已经成经了……

liukaiyi

实在对不起了，让大家。。。



结果 没发说 ，很糟糕
我没等到 运行结束
机器 为2u2g 配置 的
文本 1千万条的 数量
反正一小时没解决



对于速度方面  公司 打算 使用 hadoop 来处理 文本，所谓的云计算 。。。
http://hadoop.apache.org/core/


找 hadoop 资料中

[ 本帖最后由 liukaiyi 于 2009-7-17 16:23 编辑 ]

blackold

没那么夸张吧，10G就要云计算了。

可能考虑将文件分割也小文件，排序去重，再合并去重。

7717060

可以先把文件分成几10份排重，然后在一点点合并排重

kwokcn

1个小时没完？多少数据？

1. 
   
2. [root]# time awk -F, '!a[$1]++' * > /dev/null
   
3. 
   
4. real    2m10.550s
   
5. user    0m49.349s
   
6. sys     0m12.456s
   
7. 
   
8. [root]# du -sh
   
9. 5.9G    .
   
10. 
    
11. [root]# cat * | wc -l
    
12. 11791460
    

复制代码

windaoo

我想问一下楼主，你的数据就是"name pass"这种固定的格式吗？
两个字段分别有长度上限么

我觉得如果经常要算，可以考虑用 C 写一个程序来做这件事，也许可以得到非常小的内存占用和很快的速度

mapleaigh

只需要按列去重？要不要排序一下？

sort应该可以做到，不过速度我就不知道了……

[ 本帖最后由 mapleaigh 于 2009-7-18 21:56 编辑 ]

皇家救星

机器好一点(100G内存) 1kw条数据应该是几分钟的事情