86279057 发表于 2013-10-02 20:46

如何获取自动跳转（302）的页面？

爬虫请求的URL时页面自动跳转（302），我想获得跳转后的页面，请问，用什么方法可以实现？

bikong0411 发表于 2013-10-03 19:59

我记得python urllib2会自动fllow的, 你也可以根据response的header里面的location

laike9m 发表于 2013-10-08 12:04

Httplib2会自动把最终那个页面给你

alexkh 发表于 2013-10-08 17:30

也可以使用requests。def get_final_url(hi_url):
    r = requests.get(hi_url)
    return r.url一般都会自动跳转到最终URL，所以使用r.url就可以获取到最终URL了。
当然，如果你不想看到跳转，可以使用r = requests.get(hi_url, allow_redirects=False)就可以了。

如果你想获得返回码，还可以这样：
r = requests.get(hi_url, allow_redirects=False)
return r.status_code

ppjer 发表于 2014-06-27 14:20

alexkh 发表于 2013-10-08 17:30 static/image/common/back.gif
也可以使用requests。一般都会自动跳转到最终URL，所以使用r.url就可以获取到最终URL了。
当然，如果你不想 ...
我这个方法不行啊，已经测试过了！
页: [1]
查看完整版本: 如何获取自动跳转（302）的页面？