请教关于perl抓取网页时需要身份验证的问题

angeler

我在用perl抓取一个网页。而这个网页需要身份验证，会自动跳转到验证身份页面。每次都得输入用户名和密码。我想请问一下如何免除每次都需要输入用户名和密码这一步骤。
  谢谢~~

福瑞哈哥

原帖由 angeler 于 2007-4-16 11:41 发表
我在用perl抓取一个网页。而这个网页需要身份验证，会自动跳转到验证身份页面。每次都得输入用户名和密码。我想请问一下如何免除每次都需要输入用户名和密码这一步骤。
  谢谢~~

分析它的HTTP包头，加上相应的Session或者其他的什么东西。

angeler

原帖由 福瑞哈哥 于 2007-4-16 11:43 发表


分析它的HTTP包头，加上相应的Session或者其他的什么东西。

谢谢，你能不能说的具体一点，我不太明白

福瑞哈哥

原帖由 angeler 于 2007-4-16 11:48 发表



谢谢，你能不能说的具体一点，我不太明白

找一个sniffer工具分析一下，在正常情况下服务器和你的浏览器是如何通讯的，然后模拟浏览器就可以了。

royalzhang

用LWP模拟一个浏览器，下面是我曾经写的一个脚本，供参考：

1. 
   
2. #!/usr/bin/perl -w
   
3. use strict;
   
4. use LWP::Simple;
   
5. use LWP;
   
6. use HTML::Parse;
   
7. use HTTP::Cookies;
   
8. use Term::ReadKey;
   
9. 
   
10. print "Please enter your username:";
    
11. chop( my $user = <stdin> );
    
12. print "Please enter your Password: (do not display)\n";
    
13. ReadMode 2;
    
14. chop( my $password = <stdin> );
    
15. ReadMode 0;
    
16. my $browser = LWP::UserAgent->new();
    
17. $browser->cookie_jar( {} );    # turn on cookies
    
18. $browser->agent('Mozilla/4.0 (compatible; MSIE 5.12; Mac_PowerPC)')
    
19.   ;                            # simulate popular browser
    
20. my $login_url      = 'http://www.gene-regulation.com/login';
    
21. my $first_response = $browser->get($login_url);
    
22. 
    
23. die "$login_url error: ", $first_response->status_line
    
24.   unless $first_response->is_success;
    
25. die "Weird content type at $login_url -- ", $first_response->content_type
    
26.   unless $first_response->content_type eq 'text/html';
    
27. 
    
28. my $login_response = $browser->post(
    
29.     $login_url,
    
30.     [
    
31.         'user'        => $user,
    
32.         'password'    => $password,
    
33.         'request_uri' => '/index.html',
    
34.     ],
    
35. );
    
36. die "$login_url error: ", $login_response->status_line
    
37.   unless $login_response->is_success;
    
38. die "Weird content type at $login_url -- ", $login_response->content_type
    
39.   unless $login_response->content_type eq 'text/html';
    
40. 
    
41. if ( $login_response->content =~ /try again/i ) {
    
42.     print "Wrong username or password!\n";
    
43.     exit 1;
    
44. }
    
45. else { print "login OK!\n"; }
    
46. 
    
47. open MYFILE, ">>transfac70.html";
    
48. 
    
49. my $url       = make_url($_);
    
50. my $response2 = $browser->get($url);
    
51. my $content_wanted;
    
52. 
    
53. if ( $response2->content =~
    
54.     /(<pre>.*<\/pre>)/is )    # retain the content between <pre> and </pre>
    
55. {
    
56.     $content_wanted = $1;
    
57. }
    
58. else { next; }
    
59. $content_wanted =~ s/<H3.*<\/H3>//sg;    # remove the title
    
60. print MYFILE $content_wanted;
    
61. 
    
62. sub make_url {
    
63.     my $base_url =
    
64. 'http://www.gene-regulation.com/cgi-bin/pub/databases/transfac/getTF.cgi?AC=';
    
65. 
    
66.     if ( $_[0] < 10 ) { return $base_url . 'M0000' . $_[0]; }
    
67.     elsif ( $_[0] >= 10 && $_[0] < 100 ) { return $base_url . 'M000' . $_[0]; }
    
68.     else                                 { return $base_url . 'M00' . $_[0]; }
    
69. }
    
70. 
    

复制代码

happipuppy

royalzhang, 你是我的救星啊。
一个晚上都在琢磨怎么从 TRANSFAC 下东西，这儿有现成的。谢了！

kelvin_ke

回复 5# royalzhang

good,学习了。