songtaste 多线程下载 以及遇到的问题

notedit

先贴一下代码  周末闲着无聊 做了一个多线程下载songtaste音乐的脚本

如下

1. #!/usr/bin/python
   
2. #coding:utf-8
   
3. import re
   
4. import urllib
   
5. import urlparse
   
6. import httplib
   
7. import time
   
8. import sys
   
9. import os
   
10. from threading import Thread
    
11. 
    
12. songtype = {'7d99bb4c7bd4602c342e2bb826ee8777':'.wma','25e4f07f5123910814d9b8f3958385ba':'.Wma',
    
13.         '51bbd020689d1ce1c845a484995c0cce':'.WMA','b3a7a4e64bcd8aabe4cabe0e55b57af5':'.mp3',
    
14.         'd82029f73bcaf052be8930f6f4247184':'.MP3','5fd91d90d9618feca4740ac1f2e7948f':'.Mp3'}
    
15. 
    
16. outputdir = '/home/pxiaohai/Music/'
    
17. 
    
18. class MultiThreadDown(Thread,urllib.FancyURLopener):
    
19. 
    
20.     def __init__(self,threadname,url,filename,ranges):
    
21.         Thread.__init__(self,name=threadname)
    
22.         urllib.FancyURLopener.__init__(self)
    
23.         self.name = threadname
    
24.         self.url = url
    
25.         self.filename = filename
    
26.         self.ranges = ranges
    
27.         self.downloaded = 0
    
28. 
    
29.     def run(self):
    
30. 
    
31.         try:
    
32.             self.downloaded = os.path.getsize(self.filename)
    
33.             print self.filename
    
34.         except OSError:
    
35.             self.downloaded = 0
    
36. 
    
37.         self.startpoint = self.ranges[0] + self.downloaded
    
38. 
    
39.         if self.startpoint >= self.ranges[1]:
    
40.             print 'part %s has been downloaded over.' % self.filename
    
41.             return
    
42.         self.oneTimeSize = 16384
    
43. 
    
44.         print 'task %s will download from %d to %d' % (self.name,self.startpoint,self.ranges[1])
    
45.         self.addheader("Range","bytes=%d-%d" % (self.ranges[0],self.ranges[1]))
    
46.         self.urlhandle = self.open(self.url)
    
47.         data = self.urlhandle.read(self.oneTimeSize)
    
48. 
    
49.         while data:
    
50. 
    
51.             filehandle = open(self.filename,'ab+')
    
52.             filehandle.write(data)
    
53.             filehandle.close()
    
54. 
    
55.             self.downloaded +=len(data)
    
56.             data = self.urlhandle.read(self.oneTimeSize)
    
57. 
    
58. class DownSong():
    
59.     def __init__(self,ms):
    
60.         self.ms = ms
    
61. 
    
62.     def down(self):
    
63.         global outputdir
    
64.         global songtype
    
65. 
    
66.         for song in ms:
    
67.             suburl = 'http://www.songtaste.com/song/%s/' % (song[0])
    
68.             songname = song[1]
    
69.             m = re.compile('playmedia1\((.+?)\)')
    
70.             f = urllib.urlopen(suburl)
    
71.             data = f.read()
    
72.             s = []
    
73.             s = m.findall(data)[-1].replace('\'','').replace('"','').replace(' ','').split(',')
    
74.             print s
    
75.             print s[1]
    
76.             songname = songname + songtype.get(s[5])
    
77.             songurl = s[6] + s[2] + songtype.get(s[5])
    
78. 
    
79.             try:
    
80.                 url1=urllib.urlopen(songurl)
    
81.             except:
    
82.                 show = u'\r %s can not be downloaded' % (songname)
    
83.                 print show
    
84.                 continue
    
85. 
    
86.             blocks = 4
    
87.             filesize = self.GetUrlFileSize(songurl)
    
88.             ranges = self.SpliteBlocks(filesize,blocks)
    
89. 
    
90.             print ranges
    
91. 
    
92.             threadname = ["thread_%d" % i for i in range(0,blocks)]
    
93.             filename =  ["tmpfiles_%d" % i for i in range(0,blocks)]
    
94. 
    
95.             tasks = []
    
96.             for i in range(0,blocks):
    
97.                 task = MultiThreadDown(threadname[i],songurl,filename[i],ranges[i])
    
98.                 task.setDaemon(True)
    
99.                 task.start()
    
100.                 tasks.append(task)
     
101.             time.sleep(1)
     
102.             songname = songname.decode('gb18030','replace').strip()
     
103.             songname = ''.join(songname.split())
     
104.             show = u'\r %s is starting download' % (songname)
     
105.             print show
     
106. 
     
107.             while self.islive(tasks):
     
108.                 downloaded = sum([task.downloaded for task in tasks])
     
109.                 process = downloaded/float(filesize)*100
     
110.                 show = u'\rFilesize:%d Downloaded:%d Completed:%.2f%%' % (filesize,downloaded,process)
     
111.                 sys.stdout.write(show)
     
112.                 sys.stdout.flush()
     
113.                 time.sleep(0.5)
     
114. 
     
115.             show = u'\r %s  completed' % (songname)
     
116.             print show
     
117.             songname = outputdir + songname
     
118.             filehandle = open(songname,'wb+')
     
119.             for i in filename:
     
120.                 f = open(i,'rb')
     
121.                 filehandle.write(f.read())
     
122.                 f.close()
     
123. 
     
124.                 try:
     
125.                     os.remove(i)
     
126.                     print ""
     
127.                 except:
     
128.                     pass
     
129. 
     
130.             filehandle.close()
     
131. 
     
132.     def GetUrlFileSize(self,url):
     
133.         urlHandler = urllib.urlopen(url)
     
134.         headers = urlHandler.info().headers
     
135.         length = 0
     
136.         for header in headers:
     
137.             if header.find('Length') != -1:
     
138.                 length = header.split(':')[-1].strip()
     
139.                 length = int(length)
     
140.         return length
     
141. 
     
142.     def SpliteBlocks(self,totalsize, blocknumber):
     
143.         blocksize = totalsize/blocknumber
     
144.         ranges = []
     
145.         for i in range(0, blocknumber-1):
     
146.             ranges.append((i*blocksize, i*blocksize +blocksize - 1))
     
147.         ranges.append(( blocksize*(blocknumber-1), totalsize -1 ))
     
148. 
     
149.         return ranges
     
150. 
     
151.     def islive(self,tasks):
     
152.         for task in tasks:
     
153.             if task.isAlive():
     
154.                 return True
     
155.         return False
     
156. 
     
157. if __name__ == '__main__':
     
158. #    if len(sys.argv) < 1:
     
159. #        print u'please input the url'
     
160. #    else:
     
161. #        if not re.match("^https?://[^ ]+",sys.argv[0]):
     
162. #            print u'please input the url like "http://www.songtaste.com/music/catsong/cat2/"'
     
163. 
     
164.     m = re.compile(r'(.+?)')
     
165.     #
     
166.     url = 'http://www.songtaste.com/music/catsong/cat2/'
     
167.     f = urllib.urlopen(url)
     
168.     data = f.read()
     
169. 
     
170.     ms = []
     
171.     ms = m.findall(data)
     
172.     ds = DownSong(ms)
     
173.     ds.down()
     

复制代码

用到了多线程下载   但是遇了问题

比如 我开4个线程   一个音乐文件大小为 4M  这样一个线程只下载1M 就可以了  

但事实不是这样的   下载下来的文件 是  tmpfile_1 为 1M   
tmpfile_2 为 2M
tmpfile_3 为 3M
tmpfile_4 为 4M

最终合成的一个音乐文件 变成了 10M

一开始以为自己的代码有问题 经过一一排查之后发现代码没有问题   

我又写了一个测试文件用的

1. #!/usr/bin/python
   
2. 
   
3. import urllib
   
4. import time
   
5. 
   
6. handler = urllib.FancyURLopener()
   
7. handler.addheader("Range",'bytes=3000000-11356207')
   
8. urlhandle = handler.open('http://224.cachefile20.rayfile.com/1871/zh-cn/download/f92b79ffbd15686f65aa203d305823af/preview.MP3')
   
9. 
   
10. data = urlhandle.read(16384)
    
11. while data:
    
12.         filehandle = open("a.mp3",'ab+')
    
13.         filehandle.write(data)
    
14.         filehandle.close()
    
15.         data = urlhandle.read(16384)
    

复制代码

文件总大小为 11356207    'bytes=3000000-11356207'  这里的 Range  是设置 为  3000000－11356207  

和 5000000－11356207  的时候 下载下来的文件大小都是  11356207

这说明  bytes=startpoint-endpoint      startpoint 没有起作用  而 endpoint  起作用了  

我也从其他的地方下载文件 都没问题    但是 下载songtase 上的音乐文件就会这样   

实在不知什么原因  不知道是不是  rayfile 搞了什么鬼