GoogleScanner

xti9er

几年前写的旧代码,好久不用了，现在还能用。此代码既能能用来做好事也能用来做坏事，本来用来给老婆查论文资料的，结果她用不惯命令行的东西，就算了。做坏事就不用我说了吧。
配置文件如下格式

#########################

#=任意区域
#countryTD=乍得
#countryGI=直布罗陀
#countryCL=智利
#countryCF=中非共和国
#countryCN=中国
#countryMO=中国澳门特别行政区
#countryHK=中国香港特别行政区
#....等等
country=all
inurl:/index.htm

#########################

1. #!/usr/bin/perl -w
   
2. 
   
3. #By xti9er
   
4. 
   
5. require LWP::UserAgent;
   
6. use LWP::Simple;
   
7. use Color::Output;
   
8. Color::Output::Init;
   
9. 
   
10. $|=1;
    
11. 
    
12. #----------------------------
    
13. #从配置文件中提取字符串
    
14. #----------------------------
    
15. my $inrulfile=shift||"inurl.ini";
    
16. my $countryset="";
    
17. open(INURL,$inrulfile) or die $!;
    
18. while($inurl=<INURL>)
    
19. {
    
20.         chomp($inurl);
    
21.         next if $inurl=~/^#/;
    
22.         if($inurl=~/^country=(\w+)/i)
    
23.         {
    
24.            $countryset="country$1";
    
25.         }
    
26.         elsif($inurl=~/^country=$/i)
    
27.         {
    
28. 
    
29.         }
    
30.         else{
    
31.            push(@inurl,$inurl);
    
32.         }
    
33. }
    
34. close INURL;
    
35. 
    
36. for my $inurl(@inurl)
    
37. {
    
38.         $inurl=~s/\s/\+/g;
    
39.         $reginurl=$inurl;
    
40.         $reginurl=~s/\?/\\?/g;
    
41.         $reginurl=~s/\=/\\=/g;
    
42.         $reginurl=~s/\:/\\:/g;
    
43.         $reginurl=~s/\+/\\s/g;
    
44. 
    
45.         $sleeptime=5;
    
46. 
    
47.         #cprin("Sleeptime=[$sleeptime]\t Url=[$inurl]\t RegUrl=[$reginurl]\t country=[$countryset]\n",7);
    
48.         sleep(2);
    
49. 
    
50.         my $sdco=0;
    
51.         my $hostno=0;
    
52.         my $cksd=0;
    
53.         my $p75="-"x80;
    
54. 
    
55.         my $ua = LWP::UserAgent->new;
    
56.         $ua->timeout(20);
    
57.         $ua->env_proxy;
    
58.         $ua->agent("Mozilla/5.0");
    
59.         #print "Start ...\n";
    
60. 
    
61.         cprin("\t\t\t --=G o o g l e    \t S c a n n e r=-- \n",5);
    
62.         cprin("\t\t\t                     By xti9er \n",13);
    
63.         cprin("$p75\n",7);
    
64.         $stime=time;
    
65.         $lstime=localtime();
    
66.         cprin("\t\t\tStart at $lstime\n",13);
    
67.         my $searchweb="http://www.google.com.hk";
    
68.         my $startpage=0;
    
69. 
    
70.         print "[Google] page:$searchweb/search?num=100&complete=1&hl=zh-CN&cr=$countryset&newwindow=1&q=$inurl&start=0&sa=N/\n";
    
71. 
    
72.         my $response = $ua->get("$searchweb/search?num=100&complete=1&hl=zh-CN&cr=$countryset&newwindow=1&q=$inurl&start=0&sa=N/")
    
73.                  or (cprin("[Start] Get google start page faild:$!",5) and next);
    
74. 
    
75.         if ($response->is_success)
    
76.         {
    
77.             $getre=$response->content;
    
78.             @getlog=split(/href=/,$getre);
    
79.             $getco=0;
    
80.             for(@getlog)
    
81.             {
    
82.                 $getco++;
    
83. 
    
84.                 if($_=~/id=resultStats>(.*)?</)
    
85.                 {
    
86.                     $ttpageno=$1;
    
87.                     $ttpageno=~s/\,//g;
    
88.                     $ttpageno=~s/\D//g;
    
89.                     $ttpageno=int($ttpageno/100);
    
90.                     cprin("\t\t\t$ttpageno Google Pages To Read!\n$p75\n",5);
    
91.                     sleep(2);
    
92.                     for($startpage=0;$startpage<=$ttpageno;$startpage=$startpage+100)
    
93.                     {
    
94.                         sleep($sleeptime);
    
95.                         cprin("Now Read The ".$startpage."th Page!\n--------------------------------------\n",13);
    
96.                         spider($startpage,$inurl);
    
97.                     }
    
98.                 }
    
99.             }
    
100.         }
     
101.         else
     
102.         {
     
103.             cprin($response->status_line,5);next;
     
104.         }
     
105. 
     
106. }
     
107. 
     
108. sub spider
     
109. {
     
110.     $pageno=shift;
     
111.     my $inurl=shift;
     
112. 
     
113.     sleep($sleeptime);
     
114.     open(WLOG,"+>>$stime.log") or (cprin($!,5) and next);
     
115.     my $searchweb="http://www.google.com.hk";
     
116.     my $searchurl="$searchweb/search?num=100&complete=1&hl=zh-CN&cr=$countryset&newwindow=1&q=$inurl&start=$pageno&sa=N/";
     
117.     my $nextpage=0;
     
118.     my $nextpageno=$pageno+100;
     
119.     cprin("Now URL: $searchurl\n",7);
     
120. 
     
121.         my $ua = LWP::UserAgent->new;
     
122.         $ua->timeout(20);
     
123.         $ua->env_proxy;
     
124.         $ua->agent("Mozilla/5.0");
     
125.     my $response = $ua->get($searchurl);
     
126.     if ($response->is_success)
     
127.     {
     
128.         $getre=$response->content; # or whatever
     
129.         @getlog=split(/href=/,$getre);
     
130.     }
     
131.     else
     
132.     {
     
133.         print "Get page count faild!\n";
     
134.         cprin($response->status_line,5);next;
     
135.     }
     
136.     my @sites;
     
137.     foreach $urlre(@getlog){
     
138.         if($urlre=~/^\"http\:\/\/(.*?)\"\starget=_blank\sclass=l/){
     
139.             push(@sites,"http://$1");
     
140.         }
     
141. 
     
142.         if($urlre=~/\/search\?.*?q=.*?start=$nextpageno\&amp\;sa=N/){
     
143.             $nextpage++;
     
144.         }
     
145.     }
     
146. 
     
147.     my %seen=();
     
148.     @sites = grep { !$seen{$_} ++ } @sites;
     
149.     $siteno=0;
     
150. 
     
151.     for my $nowsite (@sites)
     
152.     {
     
153.     $siteno++;
     
154. 
     
155.     print "URL:$nowsite\n";
     
156.     print WLOG $nowsite,"\n";
     
157.     }
     
158.     close WLOG;
     
159.     if($nextpage==0)
     
160.     {
     
161.     cprin("\t\t\tThe End\n",13);
     
162.     goto SPIDEREND;
     
163.     }
     
164. }
     
165. 
     
166. SPIDEREND:
     
167. $etime=time;
     
168. $ttime=$etime-$stime;
     
169. print stime($ttime);
     
170. 
     
171. sub cprin
     
172. {
     
173.    ($str,$i)=@_;
     
174.    cprint("\x03" . $i . "$str\n\x030");
     
175. }
     
176. 
     
177. sub stime
     
178. {
     
179.    my $stime=shift;
     
180.    my $hour=int($stime/(60*60));
     
181.    my $minute=int(($stime-($hour*60*60))/60);
     
182.    my $second=$stime-$hour*60*60-$minute*60;
     
183.    return ("$hour hours $minute mins $second secs");
     
184. }

复制代码

liht1981

厉害，学习一下

不过没做过坏事，还真不知道怎么用来做坏事，哈哈

x9x9

学习一下～

longbow0

学习ing

liht1981

怎么我刚才试了一下不行啊
就输出了一段时间信息。

356935 hours 28 mins 45 secs

xti9er

怎么我刚才试了一下不行啊
就输出了一段时间信息。

356935 hours 28 mins 45 secs
liht1981 发表于 2010-09-20 15:34

    详细错误信息有吗？  不可能  356935 hours  吧？

liht1981

回复 6# xti9er


   关键是没有报错，看来程序不是很robust。

xti9er

回复  xti9er


   关键是没有报错，看来程序不是很robust。
liht1981 发表于 2010-09-21 10:53

     我这里完全 OK ，当然 旧代码 写 得稍微稚嫩了些 ，见谅 。