抓取淘宝产品简介页面时遇到的问题，求解！谢谢！

sx98083714

1. #!/usr/bin/perl
   
2. 
   
3. use strict;
   
4. use URI;
   
5. use Web::Scraper;
   
6. use utf8;
   
7. use LWP;
   
8. use Encode;
   
9. use HTML::TokeParser;
   
10. use HTTP::Cookies;
    
11. 
    
12. #将输出自动解码为utf8格式
    
13. binmode(STDOUT,":encoding(utf8)");
    
14. 
    
15. #抓取url
    
16. my $url = "http://meilibody.taobao.com/?search=y";
    
17. 
    
18. #定义抓取产品列表表达式
    
19. my $scraper = scraper{
    
20.     process ".permalink","links[]" => { "url" => '@href',"txt" => 'TEXT' };
    
21. };
    
22. 
    
23. my $result = $scraper -> scrape (URI -> new($url) );
    
24. 
    
25. #抓取产品url、标题
    
26. for my $row ( @{ $result -> { links } } ){
    
27.    
    
28.     my $purl = $row -> { "url" };
    
29.     my $ptxt = $row -> { "txt" };
    
30.    
    
31.     #调用函数抓取产品详细内容
    
32.     my $pcontent = &getcontent($purl);
    
33.    
    
34.     print "content:",$pcontent,"\n";
    
35.     sleep 10;
    
36.    
    
37. }
    
38. 
    
39. #获取单个产品详细资料
    
40. sub getcontent() {
    
41.    
    
42.     #抓取产品url
    
43.     my $url = shift;
    
44.    
    
45.     my $browser = LWP::UserAgent -> new;
    
46.     $browser -> cookie_jar ( { } );
    
47.     $browser -> timeout ( 500 );
    
48.    
    
49.     my $response = $browser -> get ($url,
    
50.                                     'User-Agent' => 'Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.9.0.12) Gecko/2009072711 CentOS/3.0.12-1.el5.centos Firefox/3.0.12',
    
51.                                     'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    
52.                                     'Accept-Language' => 'zh-cn,zh;q=0.5',
    
53.                                     'Accept-Charset' => 'gb2312,utf-8;q=0.7,*;q=0.7',
    
54.                                     'Referer' => 'http://meilibody.taobao.com/?search=y',
    
55.                                     );
    
56.     #获取单个产品网页内容
    
57.     my $content = $response -> content;
    
58.     #网页内容为utf8编码
    
59.     $content = decode ( 'gbk' , $content);
    
60.    
    
61.     my $stream = HTML::TokeParser -> new (\$content);
    
62.    
    
63.     #1表示找到内容简介的起始处
    
64.     my $find = 0;
    
65.     #产品简介html代码
    
66.     my $pcontent = "";
    
67.    
    
68.     while ( my $token = $stream -> get_token ){
    
69.         
    
70.         #产品简介部分结束，将标记归0,跳出循环
    
71.         if ( $find == 1 and $token -> [0] eq 'S' and $token -> [1] eq 'script') {
    
72.             $find = 0;
    
73.             last;
    
74.         }
    
75.         
    
76.         if ( $find == 0 and $token -> [0] eq 'S' and $token -> [1] eq 'div' and $token -> [2] -> {class} eq "content" ){
    
77.             #找到产品简介起始，将标记置为1
    
78.             $find = 1;
    
79.             $pcontent .= $token -> [4];
    
80.         }elsif ( $find == 1  and $token -> [0] eq 'S' ){
    
81.             $pcontent .= $token -> [4];
    
82.         }elsif ( $find == 1 and $token -> [0] eq 'E'){
    
83.             $pcontent .= $token -> [2];
    
84.         }elsif ( $find == 1 and $token -> [0] eq 'T'){
    
85.             $pcontent .= $token -> [1];
    
86.         }elsif ( $find == 1 and $token -> [0] eq 'C'){
    
87.             $pcontent .= $token -> [1];
    
88.         }elsif ( $find == 1 and $token -> [0] eq 'D'){
    
89.             $pcontent .= $token -> [1];
    
90.         }
    
91.     }
    
92.    
    
93.     return $pcontent;
    
94.    
    
95. }

复制代码

匹配应该是没有问题，但是抓取到的产器简介是“描述加载中....",看了似乎产品简介是通过js来得到的，过往神仙如何解决这一问题？谢谢！

sx98083714

自已先顶下！

sx98083714

如果我的实现方法有问题，希望有高手能提供更好的方法，谢谢先！

Pro_sky

人家是后台ajax调用获取的,真实的url不是你看到的那个

sx98083714

回复 4# Pro_sky
可有解？

sx98083714

sx98083714

不信顶不来大牛支招。怪了，看到好多windows下的淘宝店铺克隆工具，别人是如何整的？

sx98083714

嘿嘿，找到办法了。试践中。

iamlimeng

淘宝在页面的宝贝详情、评价详情、成交记录等处是使用Ajax来获取数据，并未将数据直接嵌入在主页面中。

看了一下HTML源码，它是将数据作为JS的一个变量嵌入到JS中，该JS随主页面下载到本地浏览器的缓存中，在需要嵌入该数据的地方通过JS事件调用，如鼠标点击等。在数据嵌入处都有相关JS代码，难度也不大，分析一下，顺藤摸瓜就能获得想要的原始数据。

楼主在现有代码基础上稍加改动即可实现。

x9x9

顶一下，也需要这个，有结果希望能分享~