2G 文件找出出现次数最多的前10个

qqjue

上次发贴只是带着对bash有疑惑有"不满".解决不了我想要解决的问题.所以总有点抵触,为此不想在BASH上下功夫,看了几天perl,最后觉得这样有点偏了,我是学linux的.不是学编程的.虽然学了perl会对日常维护有帮助,但就整个shell,我们也只学了5天而已,这不是重点,只是基础的一小部分.我们学习的进度很快,常用命令,shell,dhcp,httpd,namd,samba,vsftpd,troubleshooting,U盘LINUX,无人值守安装,无盘linux,智能DNS....今天放假,没去上课,有时间刚好解决了以前一直困绕着我的一个问题. 就是一个2G的文件,找出里面出现次数最多的前10个单词.
  如果是找英文单词, 先用

1. sed -i 's/[^a-Z]/ /g' filename

复制代码

如果处理的中文 先用

1. export LANG=zh_CN.UTF8 sed -i 's/./& /g' filename

复制代码

然后用awk 处理 代码如下

1. BEGIN{
   
2. top=15
   
3. }
   
4. 
   
5. { for (i=1;i<=NF;i++) statistic[$i]++}
   
6. END{
   
7. for (i=1;i<=top;i++) {max[i]=0;words[i]=""}
   
8. for (word in statistic)
   
9.         {
   
10.         for (i=1;i<=top;i++)
    
11.         { if (statistic[word]>max[i])
    
12.                 {
    
13.                   for(j=top;j>i;j--)
    
14.                      {max[j]=max[j-1];
    
15.                       words[j]=words[j-1];
    
16.                       }
    
17.                    max[i]=statistic[word];
    
18.                    words[i]=word;
    
19.                    break
    
20.                   }
    
21.         }
    
22.         }
    
23. for(i=1;i<=top;i++) print i"---->"words[i]":"max[i]
    
24. }

复制代码

处理 250M文件 用时20秒. 2G的估计5分钟左右就能搞定.shell 只是linux中的一部分,虽然它很重要,但也没必要在这个上面浪费太多精力.还有很多东西可以去钻研.高级路由,SQL,系统调优,最后的难点是集群!!

Shell_HAT

我怀疑5分钟左右搞不定2G的数据，能否劳驾楼主测试一下？

iori809

回复 1# qqjue


    这个我记得以前有本书里介绍过~忘了怎么写了，不过效率不错~
LZ一看就是想全方面发展的~加油吧

expert1

xuledw

上次发贴只是带着对bash有疑惑有"不满".解决不了我想要解决的问题.所以总有点抵触,为此不想在BASH上下功夫, ...
qqjue 发表于 2010-06-15 00:01

楼主自信满满那
用的了这么复杂么

Shell_HAT

回复 5# xuledw


你给个简单的让大家学一下吧^_^

ywlscpl

讨论两个问题：
1、中文单词的问题，“我爱吃苹果皮”，这一句是6个单词，还是5个单词，还是4个？
2、单词分行怎么判断？

1. How ol
   
2. d are you

复制代码

书写不规范？old后无空格

1. How old
   
2. are you

复制代码

flw

丑陋的 awk 脚本，
如果换做是 Perl，直接就有现成的了吧。
http://search.cpan.org/~gavinc/List-MRU-0.04/MRU.pm

my $mru = new List::MRU( max => 20 );
foreach my $word ( ...... ){
    $mru->add( $word );
}

foreach my $item ( $mru->list ) {
    print "$item\n";
}

flw

我是学linux的.不是学编程的

lydtc139

谁说最难的是集群？LZ学了就知道了。。。。。。