免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Perl › 重定向循环
最近访问板块 发新帖
查看: 1621 | 回复: 3
打印 上一主题 下一主题

重定向循环 [复制链接]

summerfall0

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2012-12-08 15:38 |只看该作者 |倒序浏览
  1. use LWP::UserAgent;

  3. my $url = "http://detail.tmall.com/item.htm?id=21408428655";
  4. print LWP::UserAgent->new->get($url)->content;
复制代码
-----------------------------
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html>
<head><title>302 Found</title></head>
<body bgcolor="white">
<h1>302 Found</h1>
<p>The requested resource resides temporarily under a different URI.</p>
<hr/>Powered by Tengine
</body>
</html>
-------------------
用LWP抓天猫商品的网页显示302  用wget提示 Redirection cycle detected
有什么办法吗  求
zhlong8

论坛徽章:
46
15-16赛季CBA联赛之四川 日期:2018-03-27 11:59:132015年亚洲杯之沙特阿拉伯 日期:2015-04-11 17:31:45天蝎座 日期:2015-03-25 16:56:49双鱼座 日期:2015-03-25 16:56:30摩羯座 日期:2015-03-25 16:56:09巳蛇 日期:2015-03-25 16:55:30卯兔 日期:2015-03-25 16:54:29子鼠 日期:2015-03-25 16:53:59申猴 日期:2015-03-25 16:53:29寅虎 日期:2015-03-25 16:52:29羊年新春福章 日期:2015-03-25 16:51:212015亚冠之布里斯班狮吼 日期:2015-07-13 10:44:56
2楼 [报告]
发表于 2012-12-08 17:38 |只看该作者
你的机器人露出了马腿，找个 firebug 什么的研究下。一般的网站设下 agent 就可以了，不过这个不行我也不会了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zhlong8

论坛徽章:
46
15-16赛季CBA联赛之四川 日期:2018-03-27 11:59:132015年亚洲杯之沙特阿拉伯 日期:2015-04-11 17:31:45天蝎座 日期:2015-03-25 16:56:49双鱼座 日期:2015-03-25 16:56:30摩羯座 日期:2015-03-25 16:56:09巳蛇 日期:2015-03-25 16:55:30卯兔 日期:2015-03-25 16:54:29子鼠 日期:2015-03-25 16:53:59申猴 日期:2015-03-25 16:53:29寅虎 日期:2015-03-25 16:52:29羊年新春福章 日期:2015-03-25 16:51:212015亚冠之布里斯班狮吼 日期:2015-07-13 10:44:56
3楼 [报告]
发表于 2012-12-08 18:01 |只看该作者
把 chrome 的 header 全复制上貌似就可以了，返回的内容是zip格式的需要解压
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
summerfall0

论坛徽章:
0
4楼 [报告]
发表于 2012-12-08 20:56 |只看该作者
刚才试了 只要在header中加入cookie 中的t  cookie2 _tb_token 三项就可以了

返回压缩格式是因为加入了Accept-Encoding: gzip, deflate 去掉就不是压缩的了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP