大文本如何统计每行字符出现的次数

vkqo

一个大文本

每行一个字符串，统计不同的字符串出现的次数，然后把生成次数的结果排序生成一个文本

比如a.txt
wangbo
ohpho
wou
abc
asdjfklj
urowre
jojfan
asjdouw
12308s
ja134
9348022
2980024
jbouwf
mingwou
ajluouw
o9274
cba
abc
982344
9999
9999
2308
5644
9999
wangbo
litao
litao

统计后生成个次数文件
9999:3
wangbo:2
litao:2
...

vkqo

回复 16# rdcwayx


    en,搞定了，谢谢版主

rdcwayx

回复 13# vkqo

装个cygwin 吧，用不了半小时。Unix命令就啥都有了。
   

pitonas

1. perl6 -e 'lines.bag.pairs.sort(-*.value).map(*.fmt.say)' data

复制代码

1. 9999        3
   
2. wangbo        2
   
3. abc        2
   
4. litao        2
   
5. ohpho        1
   
6. wou        1
   
7. asdjfklj        1
   
8. urowre        1
   
9. jojfan        1
   
10. asjdouw        1
    
11. 12308s        1
    
12. ja134        1
    
13. 9348022        1
    
14. 2980024        1
    
15. jbouwf        1
    
16. mingwou        1
    
17. ajluouw        1
    
18. o9274        1
    
19. cba        1
    
20. 982344        1
    
21. 2308        1
    
22. 5644        1
    

复制代码

liion631818

回复 9# vkqo

1. 
   
2. awk '{line[$1]++}END{
   
3.         len=asorti(line, bak);
   
4.         for(i=1;i<=len;i++)
   
5.         {
   
6.                 max = line[bak[i]]
   
7.                 tmp = i
   
8.                 for(j=1;j<=len;j++)
   
9.                 {
   
10.                         if(line[bak[j]]>max)
    
11.                         {
    
12.                                 max = line[bak[j]]
    
13.                                 tmp = j
    
14.                         }
    
15.                 }
    
16.                 if(line[bak[tmp]])print bak[tmp]"---"line[bak[tmp]]
    
17.                 line[bak[tmp]] = 0
    
18.         }
    
19. }' 1.txt
    

复制代码

大数据不知道好不好用了，参考下
http://bbs2.chinaunix.net/viewthread.php?tid=1422856&extra=&page=1

vkqo

哥们，我的是win32系统

vkqo

统计的问题已经解决了，就剩下按照次数排序了，
win32下的sort非常恶心不能分列排序

kernel69

1. perl -lane '++$h{$F[0]}; END{for $k(sort keys %h){print "$k\t$h{$k}"}}' filename

复制代码

回复 1# vkqo


   

reyleon

文本多大？？？

vkqo

用sort -rk 2 就
提示输入文件指定了两次。

我郁闷