可以在新浪网盘里面批量获取搜索内容的地址及下载文件

leehunter

window或者linux平台都可以，只需要自己设置搜索的内容即可

[Perl]代码

1. use LWP::UserAgent;
   
2. use HTML::TreeBuilder;
   
3. use LWP::Simple;
   
4. use URI;
   
5. use Encode;
   
6. @list_url=();
   
7. @download_url=();
   
8. foreach (1..16)#在新浪微盘里面搜索perl会有16个页面的结果
   
9.          {
   
10.          my $url = URI->new('http://vdisk.weibo.com/search/');
    
11.          my($keyword,$sortby,$page) = ("perl","default",$_);#对perl这个关键词做测试
    
12.          $url->query_form
    
13.          (
    
14.            # All form pairs:
    
15.            'keyword'  => $keyword,
    
16.            'sortby' => $sortby,
    
17.            'page' => $page,
    
18.          );
    
19.          push @list_url,$url;
    
20.          }
    
21. 
    
22. my $ua = LWP::UserAgent->new;
    
23. #open fh,">aa.txt";
    
24. foreach (@list_url)#对我们自己合成的目标url做循环爬取适合的链接
    
25.           {
    
26.           my $response = $ua->get($_);
    
27.           $html=$response->content;
    
28.            my $tree = HTML::TreeBuilder->new; # empty tree
    
29.            $tree->parse($html) or print "error : parse html ";
    
30.            @pdf_name=$tree->find_by_attribute("class","sort_name_intro") or print "error : cannot find pdf_name ";
    
31.                   foreach (@pdf_name)
    
32.                   {
    
33.                      $node=$_->look_down(_tag=>'a');
    
34.                      $a=$node->attr('href');
    
35.                      $b=encode("cp936", decode("utf-8",$node->attr('title')));
    
36.                      $c="$a\t$b";
    
37.                      push @download_url,$c;#把目标链接的url及文件名添加到下载列表
    
38.                   }
    
39.           }
    
40. 
    
41. foreach (@download_url)
    
42.           {
    
43.           @tmp=split;
    
44.           $html=get($tmp[0]);
    
45.           $html=~/fileDown\.init.*?\"url\":\"(.*?)\",/;#这个是关键，我找了半天才找到该页面的真实url地址
    
46.           $a=$1;
    
47.           $a=~s/\\//g;
    
48.           print $a;
    
49.           getstore("$a","$tmp[1]");
    
50.           }

复制代码

iakuf

不错不错, 楼主可以试着用 Mojo::UserAgent 看看

david_95

我运行了你的程序，编译不过，Error:  getPan.pl 是运行的perl 文件，内容copy 你的贴

Use of uninitialized value $ARGV[0] in concatenation(.) or string at getPan.pl readline() on closed filehandler FILE  at getPan.pl line 16