如何抓取以下网站的数据？谢谢啦！

haohaoxuexiyjs

这是一个关于中药有效成分的数据库，网址是：
http://www.medicine.csdb.cn/view ... edicine&tab=CMP

我想把所有数据都抓取下来，并且提取每个有效成分的“来源”“作用”“用途分类”这三项，提取的数据输入到excel中做成表格。高手帮帮我吧！谢谢！

x9x9

这个因为不用身份验证就可以浏览，所以用LWP很容易实现。

haohaoxuexiyjs

顶，求高手

horsley

数据帮你抽取出来了，具体保存成什么格式需要自己处理。
HTML::TableExtract 模块用于处理 html 中的表单数据，需要自己安装。

1. 
   
2. use LWP::UserAgent;
   
3. use HTML::TableExtract;
   
4. use Data::Dumper;
   
5. 
   
6. my $ie =  LWP::UserAgent->new;
   
7. 
   
8. $ie->requests_redirectable([]);
   
9. $ie->timeout(100);
   
10. $ie->cookie_jar( {} );    # turn on cookies
    
11. $ie->agent('Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)') ;
    
12. 
    
13. my $res = $ie->get(q#http://www.medicine.csdb.cn/viewTable.jsp?ds=dataset@@medicine&tab=CMP#);
    
14. my ($page) = $res->content =~m#页次: \d+/(\d+)页#;
    
15. 
    
16. printf "一共 $page 页\n";
    
17. 
    
18. foreach my $i (1..$page) {   
    
19.     $res = $ie->post( q#http://www.medicine.csdb.cn/viewTable.jsp?ds=dataset@@medicine&tab=CMP#,
    
20.                 [   'gotoPage'=>$i,
    
21.                     'sql'=>'select+CMP.YXCF%2CCMP.IID+from+CMP+order+by+IID+desc',
    
22.                     'ds'=>'dataset@@medicine',
    
23.                     'tab'=>'CMP',
    
24.         ]);
    
25.    
    
26.     foreach my $id ( $res->content =~m#&id=(\d+)"#g ) {   
    
27.         my $url = sprintf q#http://www.medicine.csdb.cn/viewRecord.jsp?ds=dataset@@medicine&tab=CMP&id=%s#,$id;        
    
28.         my $res = $ie->get($url);
    
29.         
    
30.         my $te = HTML::TableExtract->new(depth => 2, count => 3) ;
    
31.         $te->parse($res->content);
    
32.         my %result = map {@$_} $te->rows;
    
33.         print Dumper(\%result);
    
34.     }
    
35. }
    
36. 
    
37. 
    

复制代码