- 论坛徽章:
- 5
|
你可以试下这个
例子,在不同目录不同文件中包含的域名
1www.baidu.com
1music.baidu.com
1toc.wangyi.com
2www.chinaunix.net
2weibo.chinaunix.com
3www.t1.com.cn
3www.t1.net.cn
3web.t2.net.cn
3web.t2.com.cn
www.t3.com.net
#find . -type f |xargs awk -F '.' '/http:\/\//{if ( $(NF-1) != "net" && $(NF-1) != "com" ){print $(NF-1),".",$NF}else{print $(NF-2),".",$(NF-1),".",$NF}}' |sed -e 's/ //g'
结果:
baidu.com
baidu.com
wangyi.com
chinaunix.net
chinaunix.com
t1.com.cn
t1.net.cn
t2.net.cn
t2.com.cn
t3.com.net
说明:
1、至于重复你可以自行叫sort+uniq去除
2、其中的if语句是要过滤出二级域名,具体还有那些二级郁闷在if判断中添加 && $(NF-1) != "com"(com为其他的一些二级域名,我不详细列出了) |
|