如何用shell抓取squid代理服务器后的webserver网页

drinkey

比较http://www.sohu.com/ 这个页面在同一时间的大小，该域名有多个IP，如果发现这个页面的大小不一样的时候，输出一个错误的符号。脚本实现

晕啊，这个问题没什么思路了

开始想得，获得www.sohu.com这个域名的所有主机IP，然后分别获得每个主机上的页面就可以了，实践表明，这个思路貌似不可取。www.sohu.com的web应用使用了squid反向代理，根本没有办法获得squid代理服务器后的webserver的页面。

怎末搞呢？？？各位有没有什么思路说一下哈，先谢谢了

[ 本帖最后由 drinkey 于 2008-6-1 18:56 编辑 ]

drinkey

没人理啊。。。郁闷，很急啊

walkerxk

给个思路：先用host www.sohu.com获得IP列表，然后修改你的/etc/hosts文件为222.73.123.8 www.sohu.com，然后抓取文件，然后再改/etc/hosts文件为222.73.123.17 www.sohu.com直到IP列表结束。

drinkey

恩，呵呵，太感谢了，茅塞顿开

谢谢你了！！

springwind426

获取某个域名的所有主机记录：

1. 
   
2. dig 域名 | awk '$4=="A" && NF==5{print $NF}'
   

复制代码

例如：
dig www.sohu.com | awk '$4=="A" && NF==5{print $NF}'
222.28.152.144
222.28.152.146
222.28.152.149
222.28.152.157
222.28.152.158
222.28.152.133
222.28.152.134
222.28.152.135
222.28.152.136
222.28.152.141