求助：用awk统计站点出现次数

yuloveban

回复 1# aximofu


    awk '/sina.com/' | wc -l

aximofu

这个不行吗？
blackold 发表于 2010-05-19 10:10

谢谢黑哥，您的方法跟7L bbgg1983的方法差不多。
只是有一个小小的疑问
read的处理方式，是每从domain.txt中读取一个输入，处理一个吗

aximofu

回复  aximofu


    awk '/sina.com/' | wc -l
yuloveban 发表于 2010-05-19 12:10

    您这个操作之前就说过了，是针对单个域名的处理，大批量处理的话这样做不成

springwind426

这个不行吗？
blackold 发表于 2010-05-19 10:10

    看这个代码，似乎 domain.txt 文件只有几行

而LZ的domain.txt 和 site.txt 都是有1千多万行的

blackold

回复 64# springwind426


    两个都是千万行？那速度肯定没有那么快了。

blackold

回复 62# aximofu


    对啊，逐行处理。

aximofu

哦。谢谢解惑。
确实是很慢，我用7L的脚本在后台跑，大约十来分钟处理了5000条domain记录

blackold

回复 67# aximofu


    这与sites.txt的行数有关。

iori809

这个帖子火了~

lucash

回复 16# expert1

1. 
   
2. awk 'NR==FNR{a[$0];next}{for(i in a){x=length(i);y=length($0);if(substr($0,y-x) ~ i) c[i]++}}END{for(j in c) print j,c[j]}' a b
   
3.    

复制代码

1. 
   
2. =====# cat a
   
3. sohu.com
   
4. sina.com.cn
   
5. sina.com
   
6. baidu.com
   
7. tsinghua.edu.cn
   
8. google.fr
   
9. 263.net
   
10. 
    
11. =====# cat b
    
12. www.sina.com.cn
    
13. dl.sina.com.cn
    
14. blog.sohu.com
    
15. mail.263.net
    
16. www.51sohu.com
    
17. lb.sohu.com.cn
    
18. www.19263.net
    
19. google.cn
    
20. www.pl.gansu.gov.cn
    
21. 
    

复制代码