截取网址

方兆国儿

1. 重复内容。。请删除

复制代码

方兆国儿

提交审核也就算了，编辑也审核，CU 真得变了。审核通过了，内容还是错的。
回复 2# 王楠w_n

yinyuemi

回复 1# 方兆国儿

1. awk 'match($0,/.*"(GET|POST|CONNECT) ([^ ]+)/,a){match(a[2],/([^/][^/.]+\.[^/.]+)[/:]/,b);if(!c[b[1]]++)print b[1]}' cu.txt
   
2. .icloud.com
   
3. .ipip.net
   
4. .qq.com
   
5. .symcd.com
   
6. .chinaunix.net
   
7. .mukewang.com
   
8. .imooc.com
   
9. .comodoca.com
   
10. .jobbole.com
    
11. .img168.net
    
12. .letsencrypt.org
    
13. .wooyun.org
    
14. .qbox.me
    
15. .bell.ca
    
16. .typora.io
    
17. .iperf.fr
    
18. 
    

复制代码

方兆国儿

回复 40# yinyuemi

烦请仁兄讲解，不太理解此处if(!c[b[1]]++)  多谢。

yinyuemi

方兆国儿 发表于 2016-12-06 13:04
回复 40# yinyuemi

烦请仁兄讲解，不太理解此处if(!c]++)  多谢。

awk 去重复的用法
http://bbs.chinaunix.net/thread-2309494-1-1.html

方兆国儿

回复 42# yinyuemi

看了仁兄对去重复的解释，有点绕。
小弟不才，也来解释一下，如有不周之初，请斧正，多谢。

AWK去重复原理：

第一：awk的基本命令格式 awk 'pattern{action}' 省略action时，默认action是{print}

第二：pattern 条件为真时，执行 {action}。

第三：例如，!array[input]++
首先，new 一个数组，此时arrary为假
然后，给arrary赋值，此时arrary为真
最后，取反

结果，当input被赋值后，再次被读入时，arrary返回真；取反后，返回假，action不执行。


btw，请教仁兄
() [/:]
此两部分的关系，是否后者作为备选方案进行匹配？
处理此文件之初，我便思考能否同时以双FS 进行同时处理，想必是不支持双FS吧？

match(a[2],/([^/][^/.]+\.[^/.]+)[/:]/,b)

方兆国儿

回复 40# yinyuemi

回复 42# yinyuemi

看了仁兄对去重复的解释，有点绕。
小弟不才，也来解释一下，如有不周之初，请斧正，多谢。

AWK去重复原理：

第一：awk的基本命令格式 awk 'pattern{action}' 省略action时，默认action是{print}

第二：pattern 条件为真时，执行 {action}。

第三：例如，!array[input]++
首先，new 一个数组，此时arrary为假
然后，给arrary赋值，此时arrary为真
最后，取反

结果，当input被赋值后，再次被读入时，arrary返回真；取反后，返回假，action不执行。


btw，请教仁兄
() [/:]
此两部分的关系，是否后者作为备选方案进行匹配？
处理此文件之初，我便思考能否同时以双FS 进行同时处理，想必是不支持双FS吧？

match(a[2],/([^/][^/.]+\.[^/.]+)[/:]/,b)

方兆国儿

回复 45# moperyblue

awk '{match($0,/.*"(GET|POST|CONNECT) (https?:\/\/)?[^/]*((\.[^/:]*){2})/,a)}!b[a[3]]++{print a[3]}' cu.txt
.icloud.com
.ipip.net
.qq.com
.symcd.com
.chinaunix.net
.mukewang.com
.imooc.com
.comodoca.com
.jobbole.com
.img168.net
.letsencrypt.org
.wooyun.org
.qbox.me
.bell.ca
.typora.io
.iperf.fr

看了仁兄的代码，思路清晰，非常感谢。

方兆国儿

回复 45# moperyblue

awk '{match($0,/.*"(GET|POST|CONNECT) (https?:\/\/)?[^/]*((\.[^/:]*){2})/,a)}!b[a[3]]++{print a[3]}' cu.txt
.icloud.com
.ipip.net
.qq.com
.symcd.com
.chinaunix.net
.mukewang.com
.imooc.com
.comodoca.com
.jobbole.com
.img168.net
.letsencrypt.org
.wooyun.org
.qbox.me
.bell.ca
.typora.io
.iperf.fr

看了仁兄的代码，思路清晰，非常感谢。

方兆国儿

回复 45# moperyblue

1. <div> awk '{match($0,/.*"(GET|POST|CONNECT) (https?:\/\/)?[^/]*((\.[^/:]*){2})/,a)}!b[a[3]]++{print a[3]}' cu.txt</div><div>.icloud.com</div><div>.ipip.net</div><div>.qq.com</div><div>.symcd.com</div><div>.chinaunix.net</div><div>.mukewang.com</div><div>.imooc.com</div><div>.comodoca.com</div><div>.jobbole.com</div><div>.img168.net</div><div>.letsencrypt.org</div><div>.wooyun.org</div><div>.qbox.me</div><div>.bell.ca</div><div>.typora.io</div><div>.iperf.fr</div>

复制代码

看了仁兄的代码，思路清晰，非常感谢。