截取网址

方兆国儿

文本内容如下，约近9000多行，统计后发现格式只有下面这几种：
截取后格式为：.chinaunix.net
保留两个点及之间内容   

目前我的做法是：

1. 插入代码好几次都没有保存上？CU又怎么了？

复制代码

1. 
   

复制代码

1. cat a.txt |sort |uniq|egrep -i 'get|post|connect'|cut -d'"' -f2|cut -d' ' -f2|sort|uniq>out.txt
   
2. cat out.txt|grep -i '^http'>http.txt
   
3. cat out.txt|grep -iv '^http'>nohttp.txt
   
4. 
   
5. 
   
6. cat http.txt|cut -d'/' -f3|sort|uniq|awk -F'.' '{print "."$(NF-1)"."$NF}'|sort|uniq>out1.txt
   
7. cat nohttp.txt|cut -d':' -f1|awk -F'.' '{print "."$(NF-1)"."$NF}'>out2.txt
   
8. 
   
9. cat out1.txt out2.txt >ooxx.txt
   
10. cat ooxx.txt|sort|uniq>result.txt
    

复制代码

我觉得自己写的代码太傻了，请高人指点迷津，能否用sed 直接匹配截取出来，感激涕零！

详情见36楼：http://bbs.chinaunix.net/thread-4256923-4-1.html
最终结果：如下。

1. #cat domainExtraction.awk

复制代码

1. #!/usr/bin/awk -f
   
2. # Run as gawk
   
3. # ./domainExtraction.awk inputFiles
   
4. #
   
5. BEGIN {
   
6.     FS="";
   
7.     print "START";
   
8. }
   
9. {
   
10.     match($0,/.*"(GET|POST|CONNECT) (https?:\/\/)?[^/]*((\.[^/:]*){2})/,a);
    
11.     if(!b[a[3]]++){
    
12.         print a[3];
    
13.     }
    
14. }
    
15. END {
    
16.     print "DONE";
    
17. }
    

复制代码

在此，一并感谢下列CUer的帮助与鼓励，排名不分先后：
回复 4# yinyuemi
回复 5# moperyblue
回复 6# sunzhiguolu
回复 56# sditmaner
回复 2# 王楠w_n

于是，我现在陷入艰难的抉择中，究竟选择谁为最终答案？
回复 62# moperyblue
给出了awk的解决方案，而且花费自己的时间和耐心；

回复 64# sunzhiguolu
给出了perl的解决方案，同时帮助我重新认识了regex，意义重大。

选择这个答案之前，我得到了如下回复：


最后，再次感谢大家的帮助。

moperyblue

1. awk '{match($0,/.*"(GET|POST|CONNECT) (https?:\/\/)?[^/]*((\.[^/:]*){2})/,a)}!b[a[3]]++{print a[3]}' cu.txt

复制代码

?

王楠w_n

楼主问题比较急，大家帮忙解决下，多谢

yinyuemi

输出是什么？

yinyuemi

回复 1# 方兆国儿

1. awk 'match($0,/.*"(GET|POST|CONNECT) ([^ ]+)/,a){match(a[2],/.*(\.[^.]+\.(net|com))/,b);if(!c[b[1]]++)print b[1]}' file

复制代码

moperyblue

1. awk '$(NF-2)~/get|post|connect/{match($(NF-1),/(http:\/\/)?[^/]*((\.[^/]*){2})[/:].*/,a)}!b[a[2]]++{print a[2]}' IGNORECASE=1 a.txt

复制代码

sunzhiguolu

1. perl -ne '{$h{"$1\n"}++ if(/((?>\.\w+){2})(?=:|\/)/)}END{print keys %h}' f

复制代码

sunzhiguolu

1. grep -Po '(\.\w+){2}(?=:|\/)' f|sort -u

复制代码

方兆国儿

回复 4# yinyuemi

首先，感谢您的回复。
然后，执行后结果存在问题。


第一：只抓 .net .com 是不可以的，因为包括了全球所有domain
第二：如图中问题，因为并非是每一行只有3个点，有的是4个、5个、6个也有的，甚至更多
第三：是我自己的问题，强调一下要用gawk


最后，多谢了。
截图出处，附件148页： Effective_awk_Programming_3rd.pdf (3.33 MB, 下载次数: 31)

2016-12-05 22:17 上传

点击文件名下载附件

btw，if(!c[b[1]]++)  仁兄能否解释一下，不太明白。

方兆国儿

回复 5# moperyblue

同时，也感谢您的回复。
测试结果显示，
数据存在缺漏（计算结果显示，与我计算的相差80多行）及错误（比如空行）
缺漏：看到您仅仅匹配http，以至于丢掉了非http开头的domain，以至于此。

最后，多谢您的指教。