如何才能获取指定网页,use LWP::UserAgent; use HTTP::Cookies;

finallyvin

各位，大家好。有一网页，由于工作需要经常打开查询，所以用perl编写自动获取。
遇到以下问题无法解决，请哪位帮忙看看是哪里的问题？
大概情况：
使用了以下模块：
use LWP::UserAgent;
use HTTP::Cookies;

首先用post登陆系统，可以获取登陆后的框架页面，但是目标页面时，就无法成功500。
用wireshark捕获到的数据，显示代码都按计划的发送和获取了数据。

发现以下问题：用代码自动获取的JSSIONID不成功，如果把正常浏览器下得到的JSSIONID代替，就可以成功200 ok。但是重启后代码又无效了。
Cookie: kiwayid=9a5f05e97b17e412c6b75e082263a9fe; JSESSIONID=eayeox9fn2wKgJBB9I(wKgJBB9I); browserid=i480993; browserid=i485341; JSESSIONID=8tjttrd9q2wKgJBx9I(wKgJBx9I); kiwayid=8cc44ab7959c3c2b4d0ffb07e7fe4698（蓝色为代码获取的,红色为复制浏览器的）。

q1208c

设置一下 UserAgent 看看呢 ?

finallyvin

UserAgent改为跟浏览器的一样也不行。
UserAgent：
$ua->agent('Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1');

必须在post($url,
[
       ....各个提交项。
],
    添加上:        'Cookie'=>'kiwayid=9a5f05e97b17e412c6b75e082263a9fe; JSESSIONID=eayeox9fn2wKgJBB9I(wKgJBB9I); browserid=i480993',
);
蓝色为浏览器上得到的cookies。

q1208c

用你get回来的不行?

finallyvin

因为要提交数据，所以用post.
也试过了用get,同样不行啊。

finallyvin

我是想知道，为什么用浏览器的cookie就可以获取页面，用代码自已经得到的cookies就不行？

lwp提交的数据跟HTTPWATCH捕获到的数据是完全一样的。

stanley_tam

这样行不行{:3_193:}

1. #!perl
   
2. use strict;
   
3. use warnings;
   
4. use LWP;
   
5. use LWP::ConnCache;
   
6. use HTTP::Cookies;
   
7. 
   
8. my $browser = LWP::UserAgent->new(ssl_opts => { verify_hostname => 0 );
   
9. $browser->timeout(30);
   
10. $browser->conn_cache(LWP::ConnCache->new());
    
11. $browser->cookie_jar(HTTP::Cookies->new());
    
12. 
    
13. my $login_form = {
    
14.   user => 'user',
    
15.   pass => 'pass',
    
16. };
    
17. 
    
18. # login
    
19. $browser->post('http://server/login/', $login_form);
    
20. 
    
21. # get target page
    
22. my $resp = $browser->get('http://server/target_page/');
    
23. 
    
24. # do somthing useful
    
25. 
    
26. __END__

复制代码

finallyvin

还是返回500,估计Cookie要符合什么条件才行，还没有找到原因。

q1208c

我觉得楼主的顺序有问题.

一般的情况下, 应该是先 get 一个 login form, 然后, 才会是 post login 请求. 你上来直接就 post请求, 怕是根本没有生成 session.

finallyvin

我的流程是这样的：
get http://xxx/login.js (目的是生成cookie:browserid; JSESSIONID; kiwayid)200
            |
get http://xxx/ip.js (目的是取得登陆需要的本地外网IP)200
            |
post http://xxx/loginSuccess.js (登陆系统,200){cookiet自动更改}
　　　　|
            |            正确获取登陆后的信息
            |
get http://xxx/target.js  500