求助：用awk统计站点出现次数

iori809

回复 50# aximofu


    最后把结果跟大家说说啊~看看Perl到底有多厉害~

aximofu

哈哈。用perl也是报错Out of memory!

看来只能split了

springwind426

1. 
   
2. 1kw的domain列表？
   
3. 
   
4. 那 sites.txt 有多少行？
   
5. 
   
6. 还有，最后的结果，会有多少行的唯一domain？
   

复制代码

aximofu

domain都是没有重复的，sites.txt也有1200w条

blackold

回复 54# aximofu


   一定要awk吗？

iori809

回复 55# blackold


    黑哥这个用Perl能搞定吗？ 1千万行？

blackold

回复 56# iori809


    这还搞不定，还用shell干吗？

iori809

回复 57# blackold


    哈哈~看来PERL就是用来干这个的~昨天“超人99”写了一个PERL的。
那哥们试了以后也说内存溢出~
黑哥来个犀利点的HOHO~~~~~~

blackold

这个不行吗？

$ wc -l sites.txt
17281532 sites.txt

$ while read line;do echo $line: $(grep -Ec "${line//./\.}\$" sites.txt);done<domain.txt
sina.com: 4937581
baidu.com: 4937580
sohu.com: 4937580
google.com: 0

iori809

黑哥你那也有这样的数据吗？
无语了。。。。。。。