爬虫入库不知道为什么有问题？

墨迹哥

发出来请教下。。

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. use threads;
   
5. use threads::shared;
   
6. use Thread::Queue;
   
7. use Thread::Semaphore;
   
8. 
   
9. use URI::URL;
   
10. use Web::Scraper;
    
11. use Digest::MD5 qw(md5 md5_hex md5_base64);
    
12. use DBI;
    
13. 
    
14. 
    
15. my $max_threads = 15;
    
16. my $base_url = $ARGV[0] || 'http://www.icylife.net';
    
17. my $host = URI::URL->new($base_url)->host;
    
18. 
    
19. my $queue = Thread::Queue->new( );
    
20. 
    
21. my $semaphore = Thread::Semaphore->new( $max_threads );
    
22. my $mutex = Thread::Semaphore->new( 1 );
    
23. 
    
24. $queue->enqueue( $base_url );
    
25. 
    
26. my $digest = md5_hex($base_url+rand(100000));
    
27. print "数据库地址:$digest";
    
28. 
    
29. my $dbh=DBI->connect("dbi:SQLite:dbname=./db/".$digest.".db","","",{RaiseError=>1,AutoCommit=>0});
    
30. my $sql="create table url_data(id int primary key,url TEXT not null)";
    
31. $dbh->do($sql);
    
32. $dbh->do("insert into url_data(url)values('".$base_url."')");
    
33. while( 1 )
    
34. {
    
35.         foreach ( threads->list(threads::joinable) )
    
36.         {
    
37.                 $_->join( );
    
38.         }
    
39.         my $item = $queue->pending();
    
40.         if( $item == 0 )
    
41.         {
    
42.                 my $active = threads->list(threads::running);
    
43.                 if( $active == 0 )
    
44.                 {
    
45.                         print "All done!\n";
    
46.                         last;
    
47.                 }
    
48.                 else
    
49.                 {
    
50.                         sleep 1;
    
51.                         next;
    
52.                 }
    
53.         }
    
54.         $semaphore->down;
    
55.         threads->create( \&ProcessUrl );
    
56. }
    
57. 
    
58. foreach ( threads->list() )
    
59. {
    
60.         $_->join( );
    
61. }
    
62. sub ProcessUrl
    
63. {
    
64.         my $scraper = scraper
    
65.         {
    
66.                 process '//a', 'links[]' => '@href';
    
67.         };
    
68. 
    
69.         my $res;
    
70.         my $link;
    
71. 
    
72.         while( my $url = $queue->dequeue_nb() )
    
73.         {
    
74.                 eval
    
75.                 {
    
76.                         $res = $scraper->scrape( URI->new($url) )->{'links'};
    
77.                 };
    
78.                 if( $@ )
    
79.                 {
    
80.                         warn "$@\n";
    
81.                         next;
    
82.                 }
    
83.                 next if (! defined $res );
    
84.                 foreach( @{$res} )
    
85.                 {
    
86.                         $link = $_->as_string;
    
87.                         $link = URI::URL->new($link, $url);
    
88. 
    
89.                         # not http and not https?
    
90.                         next if( $link->scheme ne 'http' && $link->scheme ne 'https' );
    
91.                         # another domain?
    
92.                         next if( $link->host ne $host );
    
93. 
    
94.                         $link = $link->abs->as_string;
    
95. 
    
96.                         if( $link =~ /(.*?)#(.*)/ )
    
97.                         {
    
98.                                 $link = $1;
    
99.                         }
    
100. 
     
101.                         next if( $link =~ /.(jpg|png|bmp|mp3|wma|wmv|gz|zip|rar|iso|pdf)$/i );
     
102. 
     
103.                         $mutex->down();
     
104.                                                                 #$dbconn=$dbh->prepare("select * from url_data where url='".$link."'");
     
105.                                                                 #$dbconn->excute();
     
106.                                                                 #if($dbconn){
     
107.                             print $link, "\n";
     
108.                             $dbh->do("insert into url_data(url)values('".$link."')");
     
109.                             if($dbh->err()){
     
110.                                  exit(1);
     
111.                              }
     
112.                              $dbh->commit();
     
113.                                   $queue->enqueue($link);
     
114.                                                                 #}
     
115.                         $mutex->up();
     
116.                         undef $link;
     
117.                 }
     
118.                 undef $res;
     
119.         }
     
120.         undef $scraper;
     
121.         $semaphore->up( );
     
122. }
     
123. 
     
124. $dbh->disconnect();
     

复制代码

py

这段爬虫代码几乎没有什么可取之处，错误的技术选择，糟糕的代码。。。
扶凯不是给你写了一个爬虫代码吗，你可以基于那个代码往下写

墨迹哥

回复 2# py


    好吧！。。

墨迹哥

回复 2# py


    我到现在还是没搞清爬虫的原理。。我尝试用PYTHON写的时候，我发现对爬虫的概念很混淆。

    且听我说下去：

        从上个月开始我就在纠结这个问题，到现在依然没有靠谱的答案。

        我希望爬取所有网页链接，要求不重复。将其保存到db里面。

        可是在爬虫理念上我完全不能明白，该怎么去做爬虫思维。看了好多教程都是教怎么获得网页上的链接。这个很轻松就能做到。

        但是重点是如何递归下去爬虫呢？这是一个很科学的问题。。

py

这是软件设计的问题，和爬虫没关系，和具体技术也关系不大

不是所有的你想做的事都有教程，不是所有的时候都可以顺着前人的足迹走，不是所有的问题都能在论坛发帖解决。

墨迹哥

回复 5# py


    好把。。。我去自己琢磨下把。。

pitonas

GOOD!恩，了解了！{:2_172:}
回复 5# py