写了一个简单的下载程序(23/07/2006更新)

rikioy

#这是一个简单的单线程下载程序，下载的是我网站里的一个小游戏，挖金子。PYTHON刚刚接触，书刚看到函数那里，看不下去了，太枯燥了，就试着自己做一个小玩意提提兴趣。
#其中肯定有很多问题，比如说比较笨的处理方法，请大家给我指出。

1. 
   
2. # _*_ coding:cp936 _*_
   
3. #Sample downloads Program use httplib
   
4. #Programer:rikioy
   
5. #email:rikiy at gmail.com
   
6. #date:2006-07-21
   
7. #introduction:
   
8. #这是一个简单的单线程下载程序，下载的是我网站里的一个小游戏，挖金子。PYTHON刚刚接触，书刚看到函数那里，看不下去了，太枯燥了，就试着自己做一个小玩意提提兴趣。
   
9. #其中肯定有很多问题，比如说比较笨的处理方法，请大家给我指出。
   
10. #用到的知识主要有：
    
11. #1、httplib库的使用，会用就简单多啦。
    
12. #2、设置引用页，有些网站下载需要，类似FLASHGET中的设置引用页。其实也是httplib中的知识。
    
13. #3、下载进度的计算，这个难道我一个下午，没经验的结果。虽然现在设计的也不好，不能用于多线程，不过以后在改吧。
    
14. #4、输出百分比，这个也小难了一会，不过后来找到方法了。用退格。呵呵。
    
15. #遗憾：
    
16. #1、rMsg是要下载文件的总大小，在计算进度的时候　percent = round(totle/fsize*100)　中　fsize 直接用 rMsg是不行的，弄了一下午才找到是这个问题，为什么，还不知道。
    
17. #2、文件变量用的比较乱，太晚了，不想整理了。
    
18. #3、没有任何异常处理，太脆弱了。
    
19. #改进：
    
20. #1、改成多进程的。
    
21. #2、下载任务考文本文件来配置
    
22. #3、整理程序中的变量与结构，使之更合理。
    
23. #4、加入异常处理
    
24. #感谢：
    
25. #BAIDU，我在百度搜索到了很多有用的东西。
    
26. #GOODNAME008,看了他写的一个简单的关于下载文件的文章,并且不厌其烦地回答我弱智的问题。BLOG,http://blog.csdn.net/goodname008
    
27. #
    
28. #
    
29. 
    
30. 
    
31. #引入HTTPLIB的库，URLLIB2也可以做个事情，但PY文档里面HTTPLIB介绍的比较多，所以就用这个了
    
32. import httplib
    
33. #单线程
    
34. import threading
    
35. #在最后计算下载百分比的时候用到了时间库
    
36. import time
    
37. 
    
38. class download(threading.Thread):
    
39.     def __init__ (self,threadname):
    
40.         threading.Thread.__init__(self,name=threadname)
    
41.     def run(self):
    
42.         #设置HTTP连接实例
    
43.         conn = httplib.HTTPConnection("www.wowor.org")
    
44.         #发送GET请求，在httplib中有putrequest和request两种，在MANUALS中有，不能混用。
    
45.         conn.putrequest('GET','/wjz.exe')
    
46.         #PUT头，Referer也是设置引用页的地方。
    
47.         conn.putheader('Referer','http://bbs.pingshu8.com')
    
48.         #PUT　header结束，不结束后面进行不了。
    
49.         conn.endheaders()
    
50.         #得到服务器回应
    
51.         rMsg = conn.getresponse()
    
52.         #建立文件　fwrite
    
53.         fwrite = open('wjz.exe','wb+')
    
54.         #total后面计算进度用的，已下载量。
    
55.         totle = 0.00
    
56.         #全局变量　percent = 百分比
    
57.         global percent
    
58.         #取得服务器返回的文件大小，length 文档中好像没有，我在LIB代码中查到的。
    
59.         fsize = rMsg.length
    
60.         #输出最后加逗号，不换行。
    
61.         print "Thread download start...",
    
62.         #每次读取一千字节放到 ftmp　中
    
63.         ftmp = rMsg.read(1000)
    
64.         #开始循环读，并且　用percent = round(totle/fsize*100)计算百分比
    
65.         while len(ftmp):
    
66.             fwrite.write(ftmp)
    
67.             totle = totle + len(ftmp)
    
68.             percent = totle/fsize*100
    
69.             ftmp = rMsg.read(1000)
    
70.         print "Done!\b\b",
    
71.         #关闭文件与连接　
    
72.         fwrite.close()
    
73.         conn.close()
    
74.    
    
75. percent = 0
    
76. #建立并启动线程
    
77. downThread = download("downThread")
    
78. downThread.start()
    
79. 
    
80. #输出百分比
    
81. while percent < 100:
    
82.     if percent == 0:
    
83.         pass
    
84.     elif percent < 10:
    
85.         print "%i%%" % percent,
    
86.         print "\b\b\b\b",
    
87.     else:
    
88.         print "%i%%" % percent,
    
89.         print "\b\b\b\b\b",
    
90.     time.sleep(0.05)
    

复制代码

[ 本帖最后由 rikioy 于 2006-7-23 18:53 编辑 ]

wolfg

鼓励！

两个建议：
1. 定义一个main函数，比如：

1. 
   
2. def main():
   
3.   downThread = download("downThread")
   
4.   downThread.start()
   
5. 
   
6.   #输出百分比
   
7.   while percent < 100:
   
8.       if percent == 0:
   
9.           pass
   
10.       elif percent < 10:
    
11.           print "%i%%" % percent,
    
12.           print "\b\b\b\b",
    
13.       else:
    
14.           print "%i%%" % percent,
    
15.           print "\b\b\b\b\b",
    
16.       time.sleep(0.05)
    
17. if __name__=='__main__':
    
18.   main()
    

复制代码

这样，万一你的模块被import时，不会启动线程
2. 使用命令行参数，比如指定要下载的页面，文件保存位置什么的

Python cookbook 有一个进度条的例子，你看看
http://aspn.activestate.com/ASPN/Cookbook/Python/Recipe/299207

[ 本帖最后由 wolfg 于 2006-7-22 14:34 编辑 ]

rikioy

改进了一些东西，算是第二版吧。希望前辈能提出改进意见。为了在这里显示的好，我在这里改了一下格式。我的PY编辑器用的是NEWEDIT


代码下载
http://www.wowor.org/code/httpdown02.zip



httpdown code

1. 
   
2. #        _*_ coding:cp936 _*_
   
3. """
   
4. Name:Sample downloads Program use httplib
   
5. Version:0.2
   
6. Programe:rikioy
   
7. Email:rikiy AT gmail DOT com
   
8. Date:2006-07-23
   
9. Introduction:这是一个简单的单线程下载程序，下载的是我网站里的一个小游戏，挖金子。PYTHON刚刚接触，书刚看到函数那里，看不下去了，太枯燥了，就试着自己做一个小玩意提提兴趣。 其中肯定有很多问题，比如说比较笨的处理方法，请大家给我指出。
   
10. new:过了庸庸碌碌的一天之后，又拿其这个程序继续的改，形成了这个版本。
    
11. UseKnowledge：
    
12. 1、httplib库的使用，会用就简单多啦。
    
13. 2、设置引用页，有些网站下载需要，类似FLASHGET中的设置引用页。其实也是httplib中的知识。
    
14. 3、下载进度的计算，这个难道我一个下午，没经验的结果。虽然现在设计的也不好，不能用于多线程，不过以后在改吧。
    
15. 4、输出百分比，这个也小难了一会，不过后来找到方法了。用退格。呵呵。
    
16. new:5、也没有什么新的，就是在程序里加入了 __name__ 判断。把显示进度单独分出去形成progressNumber类,在类里加入了__doc__。
    
17. new:6、把下载类封好了。可以多个进程下载不同的文件。
    
18. A pity：
    
19. 1、rMsg是要下载文件的总大小，在计算进度的时候　percent = round(totle/fsize*100)　中　fsize 直接用 rMsg是不行的，弄了一下午才找到是这个问题，为什么，还不知道。
    
20. 2、文件变量用的比较乱，太晚了，不想整理了。
    
21. 3、没有任何异常处理，太脆弱了。
    
22. new:4、progressNumber 类还是没有解决好，已经像CU的前辈求救了。其实我也是多余写这个东西，我想在图形界面上就不存在这个问题了。不过还是想知道解决方法。
    
23. new:5、没有加入对文件进行分块下载，
    
24. Future：
    
25. 1、单个文件多进程分块下载。
    
26. 2、下载任务考文本文件来配置（目前可以进行程序控制）
    
27. 3、支持断点续传。
    
28. 4、加入异常处理
    
29. Thanks：
    
30. BAIDU，我在百度搜索到了很多有用的东西。
    
31. GOODNAME008,看了他写的一个简单的关于下载文件的文章,并且不厌其烦地回答我弱智的问题。BLOG,http://blog.csdn.net/goodname008
    
32. new:谢谢CU wolfg 的鼓励，有人看并且给自己回应感觉确实不一样啊，也是动力啊。
    
33. 
    
34. """
    
35. 
    
36. #引入HTTPLIB的库，URLLIB2也可以做个事情，但PY文档里面HTTPLIB介绍的比较多，所以就用这个了
    
37. import httplib
    
38. #单线程
    
39. import threading
    
40. #在最后计算下载百分比的时候用到了时间库
    
41. import time
    
42. #自己写的 显示进度的类
    
43. import progressNumber
    
44.         
    
45. 
    
46. class httpdown(threading.Thread):
    
47.     def __init__ (self,threadname,fileurl,filepath,fileobject,filereferer = None):
    
48.         """threadname        : Thread name.
    
49.            fileurl                : Download file root url.        Example: www.wowor.org
    
50.            filepath                : Download file absolute path from root.        Example: /wjz.exe
    
51.            fileobject        : Store file name.        Example: wjz.exe
    
52.            filereferer        : Set Referer,Reference RFC2616.        Example: http://www.wowor.org
    
53.         """
    
54.         threading.Thread.__init__(self,name=threadname)
    
55.         self.tName = threadname
    
56.         self.fUrl = fileurl
    
57.         self.fPath = filepath
    
58.         self.fObject = fileobject
    
59.         self.fReferer = filereferer
    
60. 
    
61.     def run(self):
    
62.         #设置HTTP连接实例
    
63.         conn = httplib.HTTPConnection(self.fUrl)
    
64.         #发送GET请求，在httplib中有putrequest和request两种，在MANUALS中有，不能混用。
    
65.         conn.putrequest('GET',self.fPath)
    
66.         #PUT头，Referer也是设置引用页的地方。
    
67.         if self.fReferer:
    
68.             conn.putheader('Referer',self.fReferer)
    
69.         #PUT　header结束，不结束后面进行不了。
    
70.         conn.endheaders()
    
71.         #得到服务器回应
    
72.         rMsg = conn.getresponse()
    
73.         #建立文件　fwrite
    
74.         fwrite = open(self.fObject,'wb+')
    
75.         #total后面计算进度用的，已下载量。
    
76.         total = 0
    
77.         #取得服务器返回的文件大小，length 文档中好像没有，我在LIB代码中查到的。
    
78.         fsize = rMsg.length
    
79.         #输出最后加逗号，不换行。
    
80.         print "%s download start..." % self.tName,
    
81.         #每次读取一千字节放到 ftmp　中
    
82.         ftmp = rMsg.read(1000)
    
83.         #创建自定义类progressNumber实例，功能：显示下载百分比。具体使用请参看progressNumber类
    
84.         pn = progressNumber.progressNumber(fsize)
    
85.         #开始循环读，并且　用percent = round(totle/fsize*100)计算百分比
    
86.         while len(ftmp):
    
87.             fwrite.write(ftmp)
    
88.             total = total + len(ftmp)
    
89.             pn.progress(total)
    
90.             ftmp = rMsg.read(1000)
    
91.         print "Done!\b\b"
    
92.         #关闭文件与连接　
    
93.         fwrite.close()
    
94.         conn.close()
    
95.    
    
96. 
    
97. 
    
98. if __name__ == '__main__':
    
99.         #建立并启动线程
    
100.         downThread = httpdown("WjzDown","www.wowor.org","/wjz.exe","w.exe")
     
101.         downThread.start()
     
102. 
     

复制代码

progressNumber code

1. 
   
2. # Class Name: Progress Number Class
   
3. #
   
4. # Author: rikioy
   
5. #
   
6. # Email: rikioy at gmail DOT com
   
7. #
   
8. # Date: 07/23/2006
   
9. #
   
10. #
    
11. 
    
12. class progressNumber:
    
13.     "Print prgress number behind the string."
    
14.     def __init__( self,finalcount):
    
15.         self.finalcount = finalcount
    
16.     def progress(self,count):
    
17.         "Update the current progress."
    
18.         
    
19.         count = min(count,self.finalcount)
    
20.         if self.finalcount:
    
21.             percentcomplete = int(round(100*count/self.finalcount))
    
22.         
    
23.             if percentcomplete < 10:
    
24.                 print "%d%%" % percentcomplete,
    
25.                 print "\b\b\b\b",
    
26.             else:
    
27.                 print "%d%%" % percentcomplete,
    
28.                 print "\b\b\b\b\b",
    
29.         else:
    
30.             pass
    
31. 
    
32. if __name__ == '__main__':
    
33.     from time import sleep
    
34.    
    
35.     print "Name          : Class prgressNumber"
    
36.     print "Class __doc__ : %s\n" % progressNumber.__doc__
    
37.    
    
38.     print "Demo."
    
39.     #notiec: Add one comma behind the string
    
40.     #When you use comma in print,the pring don't output '\n'
    
41.     print "Display the progress behind this string.",
    
42.     pn = progressNumber(70)
    
43.     count = 0
    
44.     while count < 70:
    
45.         count += 1
    
46.         pn.progress(count)
    
47.         sleep(0.1)
    

复制代码

[ 本帖最后由 rikioy 于 2006-7-23 18:56 编辑 ]

rikioy

有多线程的版本了。但是控制台输出的问题没法解决。

ghostwwl

如果是多线程的话 因为你是写到磁盘的是同一个文件 所以我觉得 可以用lock 实现多线程 应该没多大问题
当然你也可以不用lock 可以每个线程建一个文件 然后合并 这样要避免重复下在相同的数据 这个文件划分这块 估计就还有点麻烦
用lock还是最简单的

chopin1998

楼主，你的单线程百分比输出正确吗？

chopin1998

sys.stdout.flush()