免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4483 | 回复: 2
打印 上一主题 下一主题

求助:如何配置一个IP池 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-11-20 11:06 |只看该作者 |倒序浏览
本帖最后由 panghaoyu 于 2013-11-20 11:09 编辑

一台服务器 :Server-A (Linux solaris windows 都可以)

上面安装了 一个网络数据采集器(网络爬虫),从特定的几个网站抓取数据,

问题是 目标网站 都对 爬虫IP 地址设定了 拦截策略,每个IP在一天之内能 爬到 的数据是有限的,

我想 在爬虫服务器 上 ,是否可以设置一个 IP 池(我有很多可用的公网IP),由操作系统自动的 切换并重设 服务器IP地址

有什么样的软件和服务可以实现这个功能

论坛徽章:
2
技术图书徽章
日期:2013-10-31 10:04:19技术图书徽章
日期:2013-11-06 09:37:21
2 [报告]
发表于 2013-11-20 11:49 |只看该作者
写个脚本,放到定时任务里执行。

论坛徽章:
0
3 [报告]
发表于 2013-11-20 11:58 |只看该作者
非常 感谢 love5783,

我也想过这种方法。就是觉得可能有更好的
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP