awk 去重复汇总

sundful

有个txt里有一些手机号：

1. 13912345678
   
2. 15012345678
   
3. 15012345678
   
4. 15912345678
   
5. 15112345678
   
6. 13912345678
   
7. 15812345678
   
8. 13912345678
   
9. 15812345678
   

复制代码

想用awk对这些手机号滤重以后做个汇总，最后输出个总数即可
请大侠指点！

BangBull

1. 
   
2. #!/usr/bin/python
   
3. 
   
4. with open('/root/urfile') as f:
   
5.         aDict = {}           
   
6.         for i in f:     
   
7.                 i = i.strip()
   
8.                 aDict[i] = aDict.get(i,0) + 1
   
9. 
   
10. for key in aDict:
    
11.         print key,': ',aDict[key]
    
12. 
    
13. 打印如下:
    
14. 15912345678 :  1
    
15. 15012345678 :  2
    
16. 13912345678 :  3
    
17. 15112345678 :  1
    
18. 15812345678 :  2
    
19. 
    

复制代码

waker

回复  cjaizss


    这个老大已经发这些手机号发了五次都有了。。。
mpstat 发表于 2011-08-23 16:25

    有五次就有六次

cjaizss

晕，楼主不应该把手机号贴出来的。总是不太好
ilwmin 发表于 2011-08-23 16:26

    说的有道理,我把它擦了吧

ilwmin

回复  cjaizss


    这个老大已经发这些手机号发了五次都有了。。。
mpstat 发表于 2011-08-23 16:25

晕，楼主不应该把手机号贴出来的。总是不太好

mpstat

回复 6# cjaizss


    这个老大已经发这些手机号发了五次都有了。。。

ilwmin

1. awk '{a[$0]++}END{for(i in a) {printf ("%s\n",i)}{print "total:"NR}}'

复制代码

chhuma

AWK程序文件内容(test.awk)：
BEGIN {
  user_count = 0
}

{
  if ( !a[$1] ) {
    user_count++
  }
}


END {
  print user_count
}


运行程序：
awk -f test.awk data.txt

cjaizss

这是shell最简单的应用了,这样的内容已经问了无数次了.
哎,为什么就不肯花时间学学呢.

java_html

回复 3# lvyuancyx


    第一个awk只是统计了个数，未计算总数。
   第二个语句，没有试出结果。