一段下载资料的脚本，请大家提些建议。

weiqiboy

很多时候，我们需要的文档和资料以网页的形式存在，为了方便我们需要将其下载到本机上，一般来说 ，内容稍丰富的文档资料会由多个网页组成，比如apache 服务器的文档由多达200多个页面组成，我们当然可以用离线浏览器之类的 软件下载，除此以外，自己写脚本也不错，下面就是本人写的一段脚本，脚本使用举例，下载apache文档，down.pl http://man.chinaunix.net/newsoft ... N_2.2new/index.html（假设脚本取名为down.pl),目前存在的问题是 如果网页中存在和index.html所在目录平级或者更高的目录中的文件，就没法下载了，请大家给个建议。

#!/usr/bin/perl #script for download html page. #Author Huang Yong. #2007-9-1 use File::Basename; use File::Spec; sub downloadpage{ &nbsp;&nbsp;&nbsp;&nbsp;my $main_path = dirname($_[0]); &nbsp;&nbsp;&nbsp;&nbsp;getpage($_[0],$main_path); &nbsp;&nbsp;&nbsp;&nbsp; } sub catfile{ &nbsp;&nbsp;&nbsp;&nbsp;$dirname = $_[0]; &nbsp;&nbsp;&nbsp;&nbsp;$filename = $_[1]; &nbsp;&nbsp;&nbsp;&nbsp;if($filename =~ m@^\./(.+)@){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$filename = $1; &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;while($filename =~ m@^\.\./(.+)@){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$dirname = dirname($dirname); &nbsp;&nbsp;&nbsp;&nbsp;$filename = $1; &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;my $re = File::Spec->catfile($dirname,$filename); &nbsp;&nbsp;&nbsp;&nbsp;$re =~ s@http:/@http://@; &nbsp;&nbsp;&nbsp;&nbsp;return $re; } sub getpage{ &nbsp;&nbsp;&nbsp;&nbsp;my $filename; &nbsp;&nbsp;&nbsp;&nbsp;my $str=$_[1]; &nbsp;&nbsp;&nbsp;&nbsp;my $pageurl = $_[0]; &nbsp;&nbsp;&nbsp;&nbsp;my $main_path=$_[1]; &nbsp;&nbsp;&nbsp;&nbsp;$str=~s/\./\\./g; &nbsp;&nbsp;&nbsp;&nbsp;my $pattern = "$str/(.+)"; &nbsp;&nbsp;&nbsp;&nbsp;$str=$pageurl; &nbsp;&nbsp;&nbsp;&nbsp;if($str=~m@$pattern@){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$filename = $1; &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;my $dirname = dirname($filename); &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;unless (-d $dirname) {mkdir $dirname}; &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;if (-e $filename){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return; &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;print "Page $pageurl is download now...\n";      &nbsp;&nbsp;&nbsp;&nbsp;`wget $pageurl -P $dirname`; &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;my $remote_path = dirname($pageurl); &nbsp;&nbsp;&nbsp;&nbsp;if($filename =~ /htm[l]?$/){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;open fp, "< $filename" or die "Can not open file $filename"; &nbsp;&nbsp;&nbsp;&nbsp;my @file = <fp>; &nbsp;&nbsp;&nbsp;&nbsp;close fp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;my $line; &nbsp;&nbsp;&nbsp;&nbsp;foreach $line(@file){ &nbsp;&nbsp;&nbsp;&nbsp;    while($line =~ m@href\s*=\s*"([^"]+)"(.*$)@){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;my $link_url = $1;               #超链接 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$line = $2;                      # 匹配剩余部分继续匹配 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$link_url =~ s@([^#]+)#.+$@$1@;  #去除锚点描述 &nbsp;&nbsp;&nbsp;&nbsp;        unless ($link_url !~ m@http://@) {next;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;unless ($link_url !~ m@mailto@) {next;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;unless ($link_url !~ m@^#@) {next;} &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$pageurl = catfile($remote_path,$link_url); &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;getpage($pageurl,$main_path); &nbsp;&nbsp;&nbsp;&nbsp;    } &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;} }    foreach(@ARGV){ &nbsp;&nbsp;&nbsp;&nbsp;print "Page $_ download now,please wait...\n"; &nbsp;&nbsp;&nbsp;&nbsp;downloadpage($_); } print "Page download success!\n

[ 本帖最后由 weiqiboy 于 2007-9-5 15:33 编辑 ]

weiqiboy

1. #!/usr/bin/perl
   
2. #script for download html page.
   
3. #Author Huang Yong.
   
4. #2007-9-1
   
5. 
   
6. use File::Basename;
   
7. use File::Spec;
   
8. 
   
9. sub downloadpage{
   
10.     my $main_path = dirname($_[0]);
    
11.     getpage($_[0],$main_path);
    
12.    
    
13. }
    
14. 
    
15. sub catfile{
    
16.     $dirname = $_[0];
    
17.     $filename = $_[1];
    
18. 
    
19.     if($filename =~ m@^\./(.+)@){
    
20.        $filename = $1;
    
21. 
    
22.     }
    
23. 
    
24.     while($filename =~ m@^\.\./(.+)@){
    
25.         $dirname = dirname($dirname);
    
26.         $filename = $1;
    
27.     }
    
28.     my $re = File::Spec->catfile($dirname,$filename);
    
29.     $re =~ s@http:/@http://@;
    
30.     return $re;
    
31. }
    
32. 
    
33. sub getpage{
    
34.     my $filename;
    
35.     my $str=$_[1];
    
36.     my $pageurl = $_[0];
    
37.     my $main_path=$_[1];
    
38.     $str=~s/\./\\./g;
    
39.     my $pattern = "$str/(.+)";
    
40.     $str=$pageurl;
    
41.     if($str=~m@$pattern@){
    
42.         $filename = $1;
    
43.     }
    
44.     my $dirname = dirname($filename);
    
45.    
    
46.     unless (-d $dirname) {mkdir $dirname};
    
47.    
    
48.     if (-e $filename){
    
49.         return;
    
50.     }
    
51.     print "Page $pageurl is download now...\n";     
    
52.     `wget $pageurl -P $dirname`;
    
53.    
    
54.     my $remote_path = dirname($pageurl);
    
55. 
    
56.     if($filename =~ /htm[l]?$/){
    
57.         open fp, "< $filename" or die "Can not open file $filename";
    
58.         my @file = <fp>;
    
59.         close fp;
    
60. 
    
61.         my $line;
    
62.         foreach $line(@file){
    
63.             while($line =~ m@href\s*=\s*"([^"]+)"(.*$)@){
    
64.                 my $link_url = $1;               #超链接
    
65.                 $line = $2;                      # 匹配剩余部分继续匹配
    
66.                 $link_url =~ s@([^#]+)#.+$@$1@;  #去除锚点描述
    
67. 
    
68.                 unless ($link_url !~ m@http://@) {next;}
    
69.                 unless ($link_url !~ m@mailto@) {next;}
    
70.                 unless ($link_url !~ m@^#@) {next;}
    
71. 
    
72.                 $pageurl = catfile($remote_path,$link_url);
    
73.                 getpage($pageurl,$main_path);
    
74.             }
    
75.         }
    
76.     }
    
77. }   
    
78. 
    
79. 
    
80. foreach(@ARGV){
    
81.     print "Page $_ download now,please wait...\n";
    
82.     downloadpage($_);
    
83. }
    
84. print "Page download success!\n";

复制代码

[ 本帖最后由 weiqiboy 于 2007-9-5 15:35 编辑 ]