抓取淘宝产品简介页面时遇到的问题，求解！谢谢！

2gua

具体得研究页面代码。

iamlimeng

研究了一下，写了段代码，希望对大家有帮助。

1. #!/usr/bin/perl
   
2. 
   
3. use strict;
   
4. #use warnings;
   
5. use LWP::UserAgent;
   
6. use LWP::ConnCache;
   
7. my $url_taobao = "http://meilibody.taobao.com/?search=y";
   
8. 
   
9. my $path = "d:/taobao";
   
10. mkdir($path) if (not -d $path);
    
11. my $lwp = new LWP::UserAgent(agent => 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; CIBA)');
    
12. my $conncache = new LWP::ConnCache;
    
13. $lwp->conn_cache($conncache);
    
14. 
    
15. my $n = 1;
    
16. my @url_main_page;
    
17. my $content = get_html($url_taobao);
    
18. if ($content) {
    
19.         $content =~ s/\n|\r//g;
    
20.          my ($page) = ($content =~ /<div class="page-bottom">(.*?)<\/div>/ig);
    
21.         @url_main_page = ($page =~ /<a href="(.*?)">\d<\/a>/ig);
    
22.          my %url_product = ($content =~ /<div class="desc"><a target="_blank" href="(.*?)" class="permalink">(.*?)<\/a>/ig);
    
23.          get_desc($_,$url_product{$_}) for (keys %url_product);
    
24. }
    
25. else { print qq~ Get "$url_taobao" error!~; }
    
26. 
    
27. foreach (@url_main_page) {
    
28.         my $content = get_html($_);
    
29.         if ($content) {
    
30.                  $content =~ s/\n|\r//g;
    
31.                  my %url_product = ($content =~ /<div class="desc"><a target="_blank" href="(.*?)" class="permalink">(.*?)<\/a>/ig);
    
32.                  get_desc($_,$url_product{$_}) for (keys %url_product);
    
33.         }
    
34.         else { print qq~ Get "$_" error!~; }
    
35. }
    
36. print "\n Get All product infomation OK!\7";
    
37. <STDIN>;
    
38. 
    
39. sub get_desc {
    
40.         my ($url,$name) = @_;
    
41.         my $url_desc;
    
42.         my $content = get_html($url);
    
43.         if ($content) {
    
44.                  $content =~ s/\n|\r//g;
    
45.                  ($url_desc) = ($content =~ /.*?(http:\/\/dsc\.taobaocdn\.com\/.*?)\'/i);
    
46.                  my $desc = get_html($url_desc);
    
47.                  if ($desc) {
    
48.                           open(FH,">$path/product_$n.txt")
    
49.                            || print " Create file product_$n.txt error!\n\7";
    
50.                            print FH "$name\n\n$desc";
    
51.                           close FH;
    
52.                           print " $n $name OK!\n";
    
53.                  }
    
54.                  else { print " $n $name Error!\n"; }
    
55.         }
    
56.         else { print qq~ $n Get "$url" error!~; }
    
57.         $n++;
    
58. }
    
59. 
    
60. sub get_html {
    
61.         my $url_request = shift;
    
62.         my $request = HTTP::Request->new(GET=>$url_request);
    
63.         $request->header(Accept=>'text/html');
    
64.         my $response = $lwp->request($request);
    
65.         if ($response->is_success) {
    
66.                 return($response->content());
    
67.         }
    
68.         else  {
    
69.                  return 0;
    
70.         }
    
71. }

复制代码

正则写得不太好，请大家包涵。

sx98083714

iamlimeng我爱死你了，又帮我解决了个问题，再次感谢！

zhshb8511

回复 12# iamlimeng


    27行-35行是不是不需要的？

_LoveLinux

回复 12# iamlimeng

请问大侠:

1. my ($page) = ($content =~ /<div class="page-bottom">(.*?)<\/div>/ig)

复制代码

这段代码是把名为page-bottom的一段内容替代成什么呢?　正则表达式 =~ s///ig,请问是不是上面少了一个"/",我对正则表达式还不太明白,请赐教,谢谢!

xufinal

~~~

tavisdxh

楼主有实现的方法了吗？
我想用Python下载宝贝的图片，读取出来的页面也是“商品加载中”，没办法分析
QQ：329899749 求交流
回复 1# sx98083714