正则

nogroup

如下文本：
http://item.taobao.com/auction/i ... 65f434bb73f9b.jhtml
http://home.sohu.com/jiaohu108/photo/group/119604/index/4/396
http://home.kaixin.com/?u=shangz ... n198717%26_sid%3D24
http://bbs.caca.com/jiaohu108/photo/group/119604/index/4/396
http://bbs.tianya.com/louhaixia8/photo/group/121844/index/7/179
http://blog.ifeng.com/article/2556862.html
http://blog.sina.com/zhenwani/photo/item/100111621.html
http://bbs.sina.com/abc/photo/item/100111621.html
http://taobao.com/auction/item_d ... 4668cc205d1bfcf.htm
http://item.taobao.com/auction/i ... 533c.jhtml?cm_cat=0
http://shop.taobao.com/auction/i ... 6e02.jhtml?cm_cat=0

用正则得到对应的域名，及出现的次数
如下：
taobao.com  4
sohu.com 1
kaixin.com 1
caca.com 1
tianya.com 1
ifeng.com 1
sina.com 2

net_robber

会分类不会统计

问外壳他们吧

liaosnet

只针对给出的文本..

1. 
   
2. awk -F'/' '{n=split($3,a,".");b[a[n-1]"."a[n]]++}END{for (i in b) print i,b[i]}'
   

复制代码

我是DBA

如果有.com.cn这种域名就搞不定。哈

nogroup

非常不错。
如果能再改进一点，把xxx.com.cn这一类也能处理，就是完美了

liaosnet

加判断... 本来这个就不是很通用的.还得考虑aa.cn这类的?

1. 
   
2. awk -F'/' '{
   
3.                   n=split($3,a,".");
   
4.                   if ( a[n-1]"."a[n]=="com.cn"){
   
5.                       b[a[n-2]"."a[n-1]"."a[n]]++
   
6.                   }else{
   
7.                       b[a[n-1]"."a[n]]++
   
8.                   }
   
9.                 }
   
10.                 END{for (i in b) print i,b[i]}'
    

复制代码

nogroup

这样吧，我的文本内容中不会出现xx.xx.com.cn这样的域名，
只会有
xx.com
xx.org
xx.com.cn
xx.com
也即只会有顶级域名和一级域名，不会有二级域名。
如何处理呢?

liaosnet

来个特例判断呗~

ywlscpl

[root@Mylinux tmp]# awk -F '(http://)|/' 'gsub(/\./,"&",$2)==1{v=$2}gsub(/\./,"&",$2)==2{split($2,M,".");v=M[2]"."M[3]}{a[v]++}END{for (j in a) print j,a[j]}' file
sina.com 2
sohu.com 1
kaixin.com 1
taobao.com 4
tianya.com 1
caca.com 1
ifeng.com 1

kwokcn

sed的，不过统计出来的格式与LZ要求的略有出入。

1. 
   
2. [root@bj_manager test]# sed -r 's/http:\/\/([^/]*\.)?([^/]*\.)(com|org)([^/]*)\/.*/\2\3\4/' test.txt | sort | uniq -c
   
3.       1 caca.com
   
4.       1 ifeng.com
   
5.       1 kaixin.com
   
6.       2 sina.com
   
7.       1 sohu.com
   
8.       4 taobao.com
   
9.       1 tianya.com
   
10. [root@bj_manager test]#
    

复制代码