免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3246 | 回复: 7
打印 上一主题 下一主题

问个网络dns 问题,如何列出网站的所有ip [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-06-02 09:56 |只看该作者 |倒序浏览
比如 www.360buy.com

我在家里用dns 解析 无论如何只能解析到 xxx.104, xxx.33
2个ip

在公司 可以60.29.252.35, 60.29.252.33

主要原因是 因为爬虫要去抓取数据,流量一大就被屏蔽了。 我努力控制了抓取的频度,但是按照这个频度 时间太长 要60 个小时左右。

所以我希望把流量分摊到所有的服务器上。那么就需要知道所有的www.360buy.com 的ip

但是dns 如何解析出所有的ip呢

论坛徽章:
0
2 [报告]
发表于 2011-06-02 11:02 |只看该作者
gethostbyname_r()?

论坛徽章:
0
3 [报告]
发表于 2011-06-02 11:12 |只看该作者
我每天把它所有商品爬一次, 从没发现被屏蔽过....

论坛徽章:
0
4 [报告]
发表于 2011-06-02 13:04 |只看该作者
我这里大概3000 次请求以后 就没有相应了。 抓包后 发现 有请求 没有任何回复

论坛徽章:
2
技术图书徽章
日期:2013-09-04 15:21:51酉鸡
日期:2013-11-01 21:20:20
5 [报告]
发表于 2011-06-02 13:56 |只看该作者
DNS均衡时,bind会根据请求方的IP归属地,返回不同的解析地址,因此除非你能将程序分布到不同的区域上去,否则只能拿到某个区域的IP地址。

论坛徽章:
0
6 [报告]
发表于 2011-06-02 16:27 |只看该作者
这个我知道, 所以才问有没有不用分布到不同区域的办法呀

论坛徽章:
1
2015年辞旧岁徽章
日期:2015-03-03 16:54:15
7 [报告]
发表于 2011-06-03 14:13 |只看该作者
回复 6# newmax123


    用代理服务器进行domain name 解析

论坛徽章:
0
8 [报告]
发表于 2011-06-05 10:35 |只看该作者
把“所有”改成“尽可能多的”,你的问题就有解了。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP