GAE Python 抓取的页面被重定向，请教怎么办？

wanyouxi

想抓取国泰航空的机票数据，但是点了搜索之后在机票数据出来之前会等几秒钟，用httpfox分析，被转向又POST了一次，请教一下如何抓取最后的页面呢？

网址如下：

http://www.cathaypacific.com/wds ... amp;destination=PER

crifan

用工具去分析对应的内部跳转流程，
包括具体访问了哪些url，对应的get或post的数据都是啥
然后自己再用代码把逻辑实现出来即可。

相关内容，不了解的可以参考：
【整理】关于抓取网页，分析网页内容，模拟登陆网站的逻辑/流程和注意事项


【教程】手把手教你如何利用工具(IE9的F12)去分析模拟登陆网站(百度首页)的内部逻辑过程


【教程】模拟登陆网站 之 Python版（内含两种版本的完整的可运行的代码）

wanyouxi

还是不行啊，感觉网页被java重定向了，而且POST的参数很多，也看不懂，感觉跟要查询的数据没什么关系，cookie也是，像一串串的乱码

crifan

就一句话：
自己用工具调试出过程，
然后自己分析数据是如何得到的
然后用代码模拟出来对应的流程。

其中，你这里：
“感觉网页被java重定向了”
那就用工具去分析出，具体访问了哪些url
提交了哪些参数了
以及这些参数如何得到的。
总之，还是要靠你自己分析
分析出来了。
再去用代码写出来，模拟出来。

其中，下面这些，也有对你有帮助：
【整理】网页抓取，模拟登陆，抓取动态网页内容等过程中，所涉及的Headers信息，Cookie信息，POST数据的处理逻辑