给大家一个linux环境下的CU备份脚本

zuii

是我在xiaosuo的CU博客上找到的.... 看到很多文章丢失的问题, 所以发上来
http://blog.chinaunix.net/u/5251/showart_265499.html

有个问题,就是第一行的路径不同的系统是不一样的,自己找一下你的python在哪里,没装的就装上  , 用命令whereis python查找...

执行就跟SHELL脚本一样的,
xiaosuo@gentux python $ ./cubk http://blog.chinaunix.net/u/5251/

代码如下:

1. #!/bin/env python
   
2. # Copyright (c) xiaosuo <xiaosuo@gmail.com>
   
3. # License GPL v2 or above.
   
4. 
   
5. import sys
   
6. import getopt
   
7. import urllib2
   
8. import re
   
9. import urlparse
   
10. import string
    
11. import distutils.dir_util
    
12. import htmllib
    
13. import formatter
    
14. 
    
15. class UrlQueue:
    
16.         def __init__(self, baseUrl):
    
17.                 self.base = baseUrl[0:baseUrl.rfind("/") + 1]
    
18.                 self.finished = []
    
19.                 self.pending = []
    
20. 
    
21.         def hasPending(self):
    
22.                 if len(self.pending) > 0:
    
23.                         return True
    
24.                 else:
    
25.                         return False
    
26. 
    
27.         def baseUrl(self):
    
28.                 return self.base
    
29. 
    
30.         def pop(self):
    
31.                 url = self.pending.pop()
    
32.                 self.finished.append(url)
    
33.                 return url
    
34. 
    
35.         def append(self, url):
    
36.                 absUrl = urlparse.urljoin(self.base, url)
    
37.                 baseUrlLen = len(self.base)
    
38.                 if len(absUrl) <= baseUrlLen or absUrl[0:baseUrlLen] != self.base:
    
39.                         return False
    
40.                 url = absUrl[baseUrlLen:]
    
41.                 for e in self.finished:
    
42.                         if (url == e):
    
43.                                 return False
    
44.                 for e in self.pending:
    
45.                         if (url == e):
    
46.                                 return False
    
47.                 self.pending.append(url)
    
48.                 return True
    
49. 
    
50. class UrlFilter(htmllib.HTMLParser):
    
51.         def __init__(self):
    
52.                 htmllib.HTMLParser.__init__(self, formatter.NullFormatter())
    
53.                 self.hrefList = []
    
54. 
    
55.         def anchor_bgn(self, href, name, type):
    
56.                 self.hrefList.append(href)
    
57. 
    
58.         def clear(self):
    
59.                 self.hrefList = []
    
60. 
    
61. class Grabber:
    
62.         def __init__(self, initUrl):
    
63.                 self.initUrl = initUrl
    
64.                 self.urlQueue = UrlQueue(initUrl)
    
65.                 self.urlFilter = UrlFilter()
    
66. 
    
67.         def run(self):
    
68.                 self.urlQueue.append(self.initUrl)
    
69.                 i = 0
    
70.                 while True:
    
71.                         listUrl = "article_0_%d.html" % i
    
72.                         absUrl = urlparse.urljoin(self.urlQueue.baseUrl(), listUrl)
    
73.                         print "Fetching %s" % absUrl
    
74.                         page = urllib2.urlopen(absUrl).read()
    
75.                         self.urlFilter.clear()
    
76.                         self.urlFilter.feed(page)
    
77.                         self.urlFilter.close()
    
78.                         valid = False
    
79.                         for url in self.urlFilter.hrefList:
    
80.                                 self.urlQueue.append(url)
    
81.                                 if url[0:8] == "showart_":
    
82.                                         valid = True
    
83.                         if not valid:
    
84.                                 break
    
85.                         file(listUrl, "w").write(page)
    
86.                         i = i + 1
    
87.                 while self._grab():
    
88.                         pass
    
89. 
    
90.         def _grab(self):
    
91.                 if not self.urlQueue.hasPending():
    
92.                         return False
    
93.                 url = self.urlQueue.pop()
    
94.                 absUrl = urlparse.urljoin(self.urlQueue.baseUrl(), url)
    
95.                 print "Fetching %s" % absUrl
    
96.                 page = urllib2.urlopen(absUrl).read()
    
97.                 pos = url.rfind("/")
    
98.                 if pos != -1:
    
99.                         distutils.dir_util.mkpath(url[0:pos])
    
100.                 file(url, "w").write(page)
     
101.                 pos = url.rfind(".")
     
102.                 if pos == -1:
     
103.                         return True
     
104.                 if string.lower(url[pos+1:pos+4]) != "htm":
     
105.                         return True
     
106.                 self.urlFilter.clear()
     
107.                 self.urlFilter.feed(page)
     
108.                 self.urlFilter.close()
     
109.                 for url in self.urlFilter.hrefList:
     
110.                         self.urlQueue.append(url)
     
111.                 return True
     
112. 
     
113. def showHelp(prg):
     
114.         print "CUBlog backup script.\n"
     
115.         print "Usage: %s [option]... initUrl" % prg
     
116.         print "Options:"
     
117.         print "  -h, --help            Show the help information"
     
118. 
     
119. if __name__ == "__main__":
     
120.         baseUrl = "";
     
121. 
     
122.         # parse the arguments
     
123.         try:
     
124.                 (opts, args) = getopt.getopt(sys.argv[1:], "h", \
     
125.                                 ["help"])
     
126.         except getopt.GetoptError:
     
127.                 print "Wrong command line arguments."
     
128.                 showHelp(sys.argv[0])
     
129.                 sys.exit(1)
     
130.         for (o, a) in opts:
     
131.                 if o in ("-h", "--help"):
     
132.                         showHelp(sys.argv[0])
     
133.                         sys.exit(0)
     
134.         if len(args) == 0:
     
135.                 showHelp(sys.argv[0])
     
136.                 sys.exit(1)
     
137.         url = args[0]
     
138.         if url.rfind("/") == len(url) - 1:
     
139.                 url += "index.html"
     
140.         Grabber(url).run()

复制代码

当然可以另外写个SHELL程序，免得每次都要去输入你的网址，如下：

1. #!/bin/sh
   
2. 
   
3. #只要注意你的路径就对了，很简单吧，但方便了许多
   
4. ./cubk http://blog.chinaunix.net/u/5251/

复制代码

[ 本帖最后由 zuii 于 2008-9-2 13:58 编辑 ]

alexru

support you

bitmilong

严重支持~!谢谢楼主