哪位朋友看过perl & LWP?

hztj2005

我正在看perl & LWP，p26的例子alta_count.pl中使用的http://www.altavista.com已经不可使用，如果改为百度该如何修改？

1. #!/usr/bin/perl
   
2. 
   
3. # Example code from Chapter 2 of /Perl and LWP/ by Sean M. Burke
   
4. # http://www.oreilly.com/catalog/perllwp/
   
5. # sburke@cpan.org
   
6. 
   
7. require 5;
   
8. use strict;
   
9. use warnings;
   
10. 
    
11. use URI::Escape;
    
12. foreach my $word (@ARGV) {
    
13.   next unless length $word; # sanity-checking
    
14.   my $url = 'http://www.altavista.com/sites/search/web?q=%22'
    
15.     . uri_escape($word) . '%22&kl=XX';#此处如何修改？
    
16.   
    
17.   my ($content, $status, $is_success) = do_GET($url);
    
18.   if (!$is_success) {
    
19.     print "Sorry, failed: $status\n";
    
20.   } elsif ($content =~ m/>We found ([0-9,]+) results?/) { # like "1,952"
    
21.     print "$word: $1 matches\n";
    
22.   } else {
    
23.     print "$word: Page not processable, at $url\n";
    
24.   }
    
25.   sleep 2; # Be nice to Altavista's servers!!!
    
26. }
    
27. 
    
28. # And then my favorite do_GET routine:
    
29. use LWP; # loads lots of necessary classes.
    
30. my $browser;
    
31. sub do_GET {
    
32.   $browser = LWP::UserAgent->new unless $browser;
    
33.   my $resp = $browser->get(@_);
    
34.   return ($resp->content, $resp->status_line, $resp->is_success, $resp)
    
35.     if wantarray;
    
36.   return unless $resp->is_success;
    
37.   return $resp->content;
    
38. }
    
39. __END__
    
40. 
    
41. 
    
42. Output:
    
43. 
    
44. C:\book\code\ch02>perl alta_count.pl asafetida asafoetida
    
45. asafetida: 2,024 matches
    
46. asafoetida: 5,630 matches
    
47. 
    

复制代码

fcl21721

require 5;
use strict;
use warnings;
use utf8;

use URI::Escape;
use Encode;
foreach my $word (@ARGV) {
  next unless length $word; # sanity-checking
        my $url = "http:". "//". "www.". "sogou". ".com". "/sohu?query="
    . uri_escape($word) . '';
  
  my ($content, $status, $is_success) = do_GET($url);
  $content= decode( 'utf8', $content);
  
  if (!$is_success) {
    print "Sorry, failed: $status\n";
  } elsif ($content =~ m{找到约<resnum id="scd_num">(.+)</resnum>条}) { # like "1,952"
    print "$word: $1 matches\n";
  } else {
    print "$word: Page not processable, at $url\n";
  }
  sleep 2; # Be nice to Altavista's servers!!!
}

# And then my favorite do_GET routine:
use LWP; # loads lots of necessary classes.
my $browser;
sub do_GET {
  $browser = LWP::UserAgent->new unless $browser;
  my $resp = $browser->get(@_);
  return ($resp->content, $resp->status_line, $resp->is_success, $resp)
    if wantarray;
  return unless $resp->is_success;
  return $resp->content;
}

C:\Users\Administrator\Desktop\perl\perl\network>perl alta_count.pl clinton trump
clinton: 150,584 matches
trump: 488,868 matches

hztj2005

fcl21721 发表于 2016-09-27 13:35
my $url = "http:". "//". "www.". "sogou". ".com". "/sohu?query="
     . uri_escape($word) . '';

请教这个语句是否必须通过抓包才能发现？那么通常用哪个工具抓包呢？
谢谢！

fcl21721

不是啊，我修改的两个地方
1. 那个url，因为原来的url好像已经不用了，现在变成yahoo的了，我改成了搜狗，这个网站好像不能贴url，所以我就让他拼接了。（这个不难的，从ie的地址栏就能看出他的搜索关键字是哪个。另外加了一个转码）
2. 那个正则我也改过了。

抓包用winshark。我也不是很懂，网上有一些视频教程，你可以看看。

hztj2005

fcl21721 发表于 2016-09-27 20:30
不是啊，我修改的两个地方
1. 那个url，因为原来的url好像已经不用了，现在变成yahoo的了，我改成了搜狗， ...

https://www.sogou.com/web?query=clinton&_asf=www.sogou.com&_ast=&w=01015002&p=40040100&ie=utf8&from=index-nologin&oq=cl&ri=0&sourceid=sugg&suguuid=9a99d0ee-fe5e-4739-ab50-163eac05e75e&stj=0%3B0%3B0%3B0&stj2=0&stj0=0&stj1=0&hp=0&hp1=&suglabid=suglabId_1&sut=6421&sst0=1474989520477&lkt=2%2C1474989517074%2C1474989517452

这是我在搜狗输入clinton，按回车之后，搜狗返回结果后，地址栏中复制过来的。而你代码中实际是下面这样的，我就不理解你如何推断出来的。
（如果输入clinton，不按回车，地址栏就是https://www.sogou.com/）

http://www.sogou.com/sohu?query=clinton

fcl21721

一般的话，搜索关键字就一个，比如kw=, query=，我以前看过selenium的例子，他用的是baidu做为搜索网站的，关键字就一个。那我想其他的估计也就一个关键字（其实你原始的url也就一个搜索关键字），其他的url参数都不重要，像我的例子里面，sohu?是指我是从www|sohu|com里面搜索的，他redirect到搜狗，你这个是直接在搜狗上搜索的，其他的url参数不重要，都是些状态信息。

用winshark看的话，你也不会知道哪个参数是重要的，靠看靠猜吧。

hztj2005

fcl21721 发表于 2016-09-28 09:58
一般的话，搜索关键字就一个，比如kw=, query=，我以前看过selenium的例子，他用的是baidu做为搜索网站的， ...

谢谢！我被大堆参数唬住了。
不过我想看完perl & LWP这本书之后，应该会有比较深的了解。

sunzhiguolu

回复 7# hztj2005
用 google 搜索引擎, 相对来说对于参数的解释比较全面!
抓包的话, 如果不是特别底层的话 我推荐 Fiddler 虽然我也是个菜鸟.