
平台论坛博客文库

› 论坛 › 程序设计 › Perl › [已解决]有熟悉AnyEvent::HTTP的朋友帮忙看一眼，503 Se ...

12 / 2 页下一页

[已解决]有熟悉AnyEvent::HTTP的朋友帮忙看一眼，503 Service Unavailable [复制链接]

版主

论坛徽章:: 1

电梯直达

1楼 [收藏(0)] [报告]

发表于 2012-04-25 18:42 |只看该作者 |倒序浏览

本帖最后由 py 于 2012-04-29 21:52 编辑

今天突然想试试on_header，on_body等功能，结果发现设置了on_header以后，频繁出现503.
如果我只是使用简单的形式，http_get 'http://www.amazon.cn/', sub {}就很少出问题，但加上了on_header就容易出现503

on_header中我也没有复杂的代码，只是检测一下Status，然后决定callback的返回值

另外我感觉www.amazon.cn好像也挺敏感的，今天下午有一段时间我试20次都不能成功访问一次，wget和curl出现同样问题，但lynx就工作正常。

我开始怀疑是没设置“User-Agent”出的问题，后来设置了$AnyEvent::HTTP::USERAGENT = 'Mozilla/5.0 (Windows NT 6.1; rv:11.0) Gecko/20100101 Firefox/11.0'也没用

而且wget也持续不能拿到www.amazon.cn的内容。

我的问题：
1. 同一个IP，我用firefox/IE/lynx这种浏览器访问www.amazon.cn 100%成功，但用AnyEvent::HTTP就有很大几率得到503.
即使是我设置了很多HTTP头信息也没用。这是为什么？我要怎么做才能让AnyEvent::HTTP的行为和浏览器一样？

2. 我能理解on_header的作用，但是on_body在什么情况下用呢？为什么不直接用completion callback？

朋友

文库|博客

兰花仙子

版主

论坛徽章:: 0

2楼 [报告]

发表于 2012-04-25 19:04 |只看该作者

有些网站用JS来检查浏览器，此时你需要google的V8引擎来忽悠它们。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

bikong0411

小富即安

论坛徽章:: 13

3楼 [报告]

发表于 2012-04-25 19:25 |只看该作者

等答案

版主

论坛徽章:: 1

4楼 [报告]

发表于 2012-04-25 20:23 |只看该作者

兰花仙子发表于 2012-04-25 19:04
有些网站用JS来检查浏览器，此时你需要google的V8引擎来忽悠它们。

可我在终端下用lynx怎么访问页面都没问题啊，我还设置了AnyEvent::HTTP接受cookie，但也不管用。
我甚至用firefox访问出问题的页面然后抓包，按照firefox浏览器的HTTP请求包头来设置AnyEvent::HTTP的包头，也不好使。我对HTTP协议不是很熟，是不是我还忽略了什么重要的环节？

ttcn_cu

富足长乐

论坛徽章:: 1

5楼 [报告]

发表于 2012-04-25 21:45 |只看该作者

你不能用wireshark抓个包嘛

版主

论坛徽章:: 1

6楼 [报告]

发表于 2012-04-25 21:48 |只看该作者

回复 5# ttcn_cu

见4楼的帖子

我抓过包了。

flw

版主

论坛徽章:: 1

7楼 [报告]

发表于 2012-04-25 21:55 |只看该作者

抓包，逐字节比对。

ttcn_cu

富足长乐

论坛徽章:: 1

8楼 [报告]

发表于 2012-04-25 22:56 |只看该作者

本帖最后由 ttcn_cu 于 2012-04-25 23:03 编辑

刚才测的不太严谨，用了200做过滤，再试了一次，发现有一次503出现，看来是亚马逊自己的问题

刚才用平板上网，没怎么看清。。。

503不大像是JS搞的鬼，要启动js至少要200以后

503是不是网络问题，或者你试的时候是高峰？？我现在实验好多次wget一直是好的，你不在国内，最好实验当地的网站先。

[root@192 ~]# date
Wed Apr 25 22:54:49 CST 2012
[root@192 ~]# while : ; do wget www.amazon.cn -O- 2>&1 | egrep -i 'response|<TITLE>';done
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 503 Service Temporarily Unavailable
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
HTTP request sent, awaiting response... 200 OK
<title>亚马逊 Z.cn：网上购物：图书，手机，数码，家电，化妆品，钟表，首饰，日用百货等在线销售</title>
^C
[root@192 ~]# date
Wed Apr 25 23:00:47 CST 2012
[root@192 ~]#