google搜索LWP下载图片超时跳过

aef25u

1. use Google::Search;
   
2. use LWP::UserAgent;
   
3. my $query='美女';
   
4. my $ua = LWP::UserAgent->new;
   
5. $ua->timeout(15);
   
6. 
   
7. my $search = Google::Search->Image( query => $query );
   
8. while ( my $result = $search->next ) {
   
9.     my $url = $result->uri;
   
10.     my $name = ( split( '/', $url ) )[-1];
    
11.     if ( $name !~ /%/ ) {
    
12.         $name = substr( $name, -10 );
    
13.         open FILE,">$name" or die "$!";
    
14.         my $out=get_image($ua,$url);
    
15.         binmode(FILE);
    
16.         print FILE $out;
    
17.     }
    
18. }
    
19. 
    
20. sub get_image {
    
21.     my ($ua,$url)=@_;
    
22.     my $response = $ua->get($url);
    
23.     return $response->decoded_content if $response->is_success;
    
24.     return undef;
    
25. }

复制代码

兰花仙子

不错。

return $response->decoded_content if $response->is_success;
return undef;

改成：

1. return $response->is_success ? $response->decoded_content : ();

复制代码

更清爽。

hitsubunnu

控制超时 简单的设定个 timeout 是不够的

要是有个图片大小是1G 而每秒只能下载1k 你这个程序是无法控制的

infernor

搭车问个LWP的timeout问题

如果远端的web server挂掉了，这个时候，设置timetout似乎没有作用，TCP连接一直处于SYN_SEND的状态，直到180秒后才超时退出。

怎么处理设置这种超时时间？

兰花仙子

搭车问个LWP的timeout问题

如果远端的web server挂掉了，这个时候，设置timetout似乎没有作用，TCP连接一 ...
infernor 发表于 2011-09-01 10:47

    与操作系统有关吧。设置tcp_syn_timeout 之类。

xingzhou823

回复 2# 兰花仙子

仙子，如果不是 google::search->Image, 而是Google::Search->Web,

想要把 关键词的搜索的结果（好多页）输出到一个文本中

该怎么弄？