求助：用awk统计站点出现次数

springwind426

1. 
   
2. 如果不确定域名是多长的话，用循环判断，大概还是可以的
   
3. 
   
4. awk 'NR==FNR{gsub(/[.]/,"\\.");a[$0"$"]=0}
   
5. NR>FNR{for(i in a)if($0~i){a[i]++;break}}
   
6. END{for(i in a){v=a[i];gsub(/\\\./,".",i);sub(/\$/,"",i);print i "\t" v }}' domain.txt  sites.txt
   
7. 
   
8. 思路就是在读取domain.txt的时候，记录每个域名，并把域名中的.转换成 \. 并在后面加一个$
   
9. 在读取sites.txt的时候，依次把domain.txt中的域名与当前行比较，从尾部比较，有的话，就把相应的域名的计数加1
   
10. 
    
11. 最后，再遍历域名，做一番转换，并显示结果，如果在sites.txt中没有出现，就显示为0
    

复制代码

where27

回复 21# springwind426


    你这个好像不能解决5楼的问题。。出现类似www.abcbaidu.com也会算进去，怎么优化呢

iori809

回复 1# aximofu


    能否给出你的原始数据啊？比如弄个压缩包放到上面~
这个还挺有意思的~情况很多是吗

iori809

回复 24# 99超人


    果然是超人啊~啥都会

aximofu

回复  aximofu


    能否给出你的原始数据啊？比如弄个压缩包放到上面~
这个还挺有意思的~情况很多是 ...
iori809 发表于 2010-05-18 15:31

    不好意思，原始数据太大了，有好几百m，没法传上来，只能说我再把各种可能出现的情况都列一下
domain.txt:
sohu.com
sina.com.cn
sina.com
baidu.com
tsinghua.edu.cn
google.fr
263.net
基本上domain就这几种形式,既有直接以国家后缀结尾的，也有以.com，.net等结尾的，也有以.com.cn这样结尾的

sites.txt:
www.sina.com.cn
dl.sina.com.cn
blog.sohu.com
mail.263.net
google.cn
www.pl.gansu.gov.cn
.....
而且因为domain就有1千多万条记录，像之前那位用for $DOMAIN in `cat domain.txt`这种将数据整体读入内存的方式是不可取的

BangBull

1. 
   
2. [root@node1 ~]# awk -F. 'NR==FNR{a[$2]++}NR>FNR{if($1 in a) print $1,a[$1] }' site.txt domain.txt
   
3. sina 2
   
4. baidu 2
   
5. sohu 2
   
6. google 1
   

复制代码

aximofu

没办法，用perl写了个，perl可以支持这种精确的匹配写法
99超人 发表于 2010-05-18 15:31

    谢谢您的帮助，可惜我不会用perl，无法领略您的思路了

iori809

回复 27# aximofu


    辛苦了呵呵~