python3 urllib如何下载超过500MB的大文件

zhy19870722

RT
小弟使用urllib下载文件，如果文件在500MB以上，内存占用比较厉害，不知道有没有什么好的方法通过http下载文件

jeppeter

回复 1# zhy19870722

用urllib2试一下，我 这里在python2.7下面测试通过

1. def PrintMessage(msg):
   
2.         print >>sys.stderr,'\r',
   
3.         print >>sys.stderr,msg,
   
4. 
   
5. def DownloadFile(url,tofile,CallBackFunction=PrintMessage):
   
6.         f = urllib2.urlopen(url)
   
7.         outf = open(tofile,'wb')       
   
8.         c = 0
   
9.         CallBackFunction('Download %s to %s'%(url,tofile))
   
10.         while True:
    
11.                 s = f.read(1024*32)
    
12.                 if len(s) == 0:
    
13.                         break
    
14.                 outf.write(s)
    
15.                 c += len(s)
    
16.                 CallBackFunction('Download %d'%(c))
    
17.         return c
    

复制代码

zhy19870722

回复 2# jeppeter


   哥们，我的是python3.2 urllib与urlib2都一起整合成了urllib

jeppeter

回复 3# zhy19870722


    上面的代码在2.7下面，改成urllib也是一样的，我下载了100M的文件，没有出现内存明显上升的情况，只有10M左右的内存上升。