求助：用awk统计站点出现次数

springwind426

1. 
   
2. awk -F'.' 'NR==FNR{a[$(NF-1) "." $NF]++}NR!=FNR&&($0 in a){print $0 "\t" a[$0]}' sites.txt domain.txt
   
3. 
   
4. 分析发现，只需要提取域名的最后两个域，如果domain.txt 中的域名不是2个字段，这段代码不适用
   
5. 
   

复制代码

where27

回复 5# 99超人

1. awk -F. 'NR==FNR{a[$0]=0;next}{t=$(NF-1)"."$NF;if(t in a)a[t]++}END{for(i in a)print i,a[i]}' domain.txt sites.txt

复制代码

试试这个

where27

回复 11# springwind426


    呵呵，额也是这么想的，要不是两个字段的话，还真不好办

changying0521

#!/bin/sh
for i  in `cat domain.txt`
do
NO=`grep $i sites.txt|wc -l`
echo $i : $NO >> file
done
可以实现

expert1

精确匹配sina.sohu等应该可以了吧？
awk 'NR==FNR{a[$0]}NR>FNR{for(i in a){if($0~i)a[i]++}}END{for(i in a){print i,a[i]}}' domain sites

这个应该可以了。

PS：这样的环境能用FS吗？
awk 'NR==FNR{a[$0]}NR>FNR{FS="."}{for(i in a){if(match($2,i)==1)a[i]++}}END{for(i in a){print i,a[i]}}' domain sites
结果为空，晕倒！！！

aximofu

#!/bin/sh
for i  in `cat domain.txt`
do
NO=`grep $i sites.txt|wc -l`
echo $i : $NO >> file
don ...
changying0521 发表于 2010-05-18 14:40

   用for的方式挺省力，但是有个问题，我的domain.txt可能有1kw条，一次性读入机器可能吃不消，想着awk可以逐行处理，可能好点

aximofu

回复  where27


   这个也有局限性，domain里面都是2段的域名，如果有3段如sohu.com.cn就出错了
如果 ...
99超人 发表于 2010-05-18 14:41

    是的，我之前在提取域名的时候就遇到这个问题，有可能碰到www.abc.com.cn,def.ab.cn,甚至就一个域名gh.org，统一都按两端域名的话会出问题，我是倒过来取的，而且还要分有无cn这种国家后缀的域名考虑

aximofu

字符少了不让发
bbgg1983 发表于 2010-05-18 14:23

    谢谢，您的方法不错。想问一下，read的话是每读取一行处理一行吗？还是一次性的全部读取到内存中再做处理

aximofu

if($0~i) 这段正则如何改的匹配更精准
比如 sites.txt 有一条  xx.abcbaidu.com
这样就会错，要改成$0~.i ...
99超人 发表于 2010-05-18 14:16

$0 ~/\.abc.com$/


您是想要这个表示吗