如何使用shell批量 host IP？

cmisaka

有一个文件夹里面全部是ip地址我需要在大批量的文件IP中找出为百度spider的IP地址。

cmisaka

求助啊~~~~

bikong0411

1. xargs -I {} host {}< urfile|grep baiduspider |awk -vFS='-' -vOFS='.' '{gsub(/\..*$/,"",$6);print $3 OFS $4 OFS $5 OFS $6}'

复制代码

qjpoo

楼上的牛比

qjpoo

这是我模拟的，不知道对不对
[root@centos ~]# cat 123.log
1.2.3.4.in ******** baiduspider-4-3-2-1.crawl.baidu.com
[root@centos ~]# cat 123.log | grep "baiduspider"
1.2.3.4.in ******** baiduspider-4-3-2-1.crawl.baidu.com
[root@centos ~]# cat 123.log | grep "baiduspider" | awk -F "." {print $5}
[root@centos ~]# cat 123.log | grep "baiduspider" | awk -F "." '{print $5}'
in ******** baiduspider-4-3-2-1
[root@centos ~]# cat 123.log | grep "baiduspider" | awk -F "." '{print $5}' | sed 's#^.*r-\(.*\)#\1#'
4-3-2-1
[root@centos ~]# cat 123.log | grep "baiduspider" | awk -F "." '{print $5}' | sed 's#^.*r-\(.*\)#\1#' | tr "-" "."
4.3.2.1

响亮的名字

gzip -dc log.gz|grep -i 'baiduspider'|awk {print $1}'|sort|uniq >baidu_IP.txt
nslookup <baidu_IP.txt|awk '$0~/baidu/'|awk -F"-" 'BEGIN{OFS="."}{print $2,$3,$4,$5}'|awk -F"." 'BEGIN{OFS="."}{print $1,$2,$3,$4}' >real_baidu_IP.txt
diff -w real_baidu_IP.txt baidu_IP.txt | grep \^\>|tr -d '> ' >bad_baidu_IP.txt

其中第一行是打开压缩日志文件，找出所有包含baiduspider（不区分大小写）的行，然后用awk输出第一个域（假设IP字段在第一个域）到文件baidu_IP.txt
第二行是批量nslookup查询baidu_IP.txt，并找到结果包含baidu的行，通过格式转换成IP的格式，这些IP都是真正的百度蜘蛛IP，输出到文件real_baidu_IP.txt
第三行通过对比上面两个文件，找出伪装的百度蜘蛛IP到文件bad_baidu_IP.txt

剩下的你想怎么办，就看你自己啦。