求助--百度的一道shell题

greendays

你处理之后的数据做如下处理即可满足题目要求。
awk '{a[$1]++}END{for (i in a)print a[i]"\t"i}' urfile | sort -nr

[[i] 本帖最后由 greendays 于 2009-10-11 15:43 编辑 [/i]]

greendays

[jesse@localhost 1d]$ cat urfile
[url]http://www.baidu.com/index.html[/url]
[url]http://www.baidu.com/1.html[/url]
[url]http://post.baidu.com/index.html[/url]
[url]http://mp3.baidu.com/index.html[/url]
[url]http://www.baidu.com/3.html[/url]
[url]http://post.baidu.com/2.html[/url]
[jesse@localhost 1d]$ awk -F/ '{a[$3]++}END{for (i in a)print a[i]"\t"i}' urfile | sort -nr
3        www.baidu.com
2        post.baidu.com
1        mp3.baidu.com

[[i] 本帖最后由 greendays 于 2009-10-11 15:52 编辑 [/i]]

zhaobin81

awk -F'/' '{a[$3]++}END{for(i in a)print a,i|"sort -k1nr"}' file

aad

原帖由 cdleo 于 2006-12-28 16:43 发表
awk -F '/' '{print $3}' test | sort -r |  uniq -c

偶喜欢这个。

用awk输出列名也比较容易

$ awk -F '/' '{print $3}' baidu.txt | sort -r | uniq -c | awk 'BEGIN {print "times\tdomain"} {print $1"\t"$2}'
times   domain
3       www.baidu.com
2       post.baidu.com
1       mp3.baidu.com

[ 本帖最后由 aad 于 2009-10-12 09:23 编辑 ]

cxfcxf

1. 
   
2. #!/usr/bin/perl
   
3. 
   
4. use strict;
   
5. use warnings;
   
6. my %hash;
   
7. 
   
8. foreach (<DATA>) {
   
9.    $hash{$1} += 1 if (/http:\/\/(.*)?\/.*/);
   
10. }
    
11. 
    
12. foreach (sort {$hash{$b} <=> $hash{$a}} keys %hash) {
    
13.     print "$hash{$_}\ $_\n";
    
14. }
    
15. 
    
16. 
    
17. __DATA__
    
18. [url]http://www.baidu.com/index.html[/url]
    
19. [url]http://www.baidu.com/1.html[/url]
    
20. [url]http://post.baidu.com/index.html[/url]
    
21. [url]http://mp3.baidu.com/index.html[/url]
    
22. [url]http://www.baidu.com/3.html[/url]
    
23. [url]http://post.baidu.com/2.html[/url]
    

复制代码

给你个perl的- -

[ 本帖最后由 cxfcxf 于 2009-10-12 11:34 编辑 ]

yhywl

我觉得匹配后的结果 使用 | sort -r |  uniq -c 会不会有问题
因为sort 的作用是排序，并不统计相同的次数。
所以，应该是 |sort | uniq -c | sort -r

你把 post.baidu.com或mp3.baidu.com多复制几个就知道了

linuxboy823

[root@cestos5 shell]# sed -e 's/.*\/\///' -e 's/\/.*//' urfile|sort |uniq -c|sort -r
      3 www.baidu.com
      2 post.baidu.com
      1 mp3.baidu.com

zhaobin81

这个不行 改了一下
1 #!/usr/bin/perl
      2
      3 use strict;
      4 use warnings;
      5 my %hash;
      6
      7 foreach (<DATA>) {
      8    $hash{$1} += 1 if (/http:\/\/([^\/]+)\/.*/);
      9 }
     10
     11 foreach (sort keys %hash) {
     12     print "$hash{$_} $_\n";
     13 }
     14
     15
     16 __DATA__
     17 http://www.baidu.com/index.html
     18 http://www.baidu.com/1.html
     19 http://post.baidu.com/index.html
     20 http://mp3.baidu.com/index.html
     21 http://www.baidu.com/3.html
     22 http://post.baidu.com/2.html

[ 本帖最后由 zhaobin81 于 2009-10-12 11:05 编辑 ]

cxfcxf

原帖由 zhaobin81 于 2009-10-12 11:03 发表
这个不行 改了一下
1 #!/usr/bin/perl
      2
      3 use strict;
      4 use warnings;
      5 my %hash;
      6
      7 foreach () {
      8    $hash{$1} += 1 if (/http:\/\/([^\/]+)\/.* ...

我改掉了 你这个也是不行的 我没看他要顺序....

luyi1983

练练
gawk '{ vName= gensub(/http:\/\/(.+)\/.*/,"\\1", $0); a[vName]++}END{ for (i in a){print i,a | "sort -k2nr"} }' urfile