求教： 大文本 中 按列去重

liukaiyi

问题描述：
   一个比较大的文本A，按照列去重重复行

A 内容为 :
  name1 pass1
  name2 pass2
  name1 pass3
  name4 pass4
  ......


通过一个shell 脚本,能得到
  name1 pass1
  name2 pass2
  name3 pass4




我这一般都是有 py 或 perl 的 map 来解决。
逻辑是 -- 伪代码
for line readline( file )
     key,value=line.split('\t')[0],line
     if  not  map has_key key:
         push key , value
     else :
         continue

最后    foreach key,value map : print value

但遇到的问题是 当文本够大 ，这 map 会很占内存.  而是要 bsddb 这种内存数据库，当 内存太多 就写入 文本什么的。有感觉速度不敢恭维（这 io 大文件读写入库太郁闷了）


这一直以来都没什么好办法解决，求大虾 给个方

[ 本帖最后由 liukaiyi 于 2009-7-14 14:16 编辑 ]

liukaiyi

自己顶 ， 大家 帮个忙 啊～

kwokcn

是说name重复的就只展示第一个？

1. 
   
2. awk '!a[$1]++' URFILE
   

复制代码

blackold

1. awk '!a[$1]++' urfile

复制代码

文件有多大？要求要多快？

liukaiyi

恩 目前是这样的
当然可以 选择 更好
比如 ： 使用最后一个 什么的


awk '!a[$1]++' URFILE 能说明下吗？

kwokcn

使用最后一个就必须得往内存里丢更多东西了。
name第一次出现的时候a[$1]为空，!a[$1]就为真，执行默认的print，a[$1]自加为1，第二次直到第N次出现，!a[$1]均为假，无操作。
CU常见用法，可默念几遍加深记忆。

blackold

直接排序呢？没有测试过。

1. sort -uk 1,1 urfile

复制代码

LZ可以测试一下，我没有大文件。

liukaiyi

原帖由 blackold 于 2009-7-14 14:19 发表
awk '!a[$1]++' urfile

文件有多大？要求要多快？

上 10G 的样子 ， 全是日志  。
速度嘛   大概给的时间 是 小1 小时

blackold

应该没有问题。

liukaiyi

谢谢大家 这方法我会 都尝试下  ，运行后 时间对比
可能 过几天 给大家 了参考了

[ 本帖最后由 liukaiyi 于 2009-7-14 14:30 编辑 ]