在生产环境下，实际应用过ftplib模块进来指导

ontherd

公司的研发写的ftp客户端老是出问题，数据没法时时接收下来，年后这个工程师又跳槽了，害的我这里运维天天到晚心都悬着。
这几天想用python改写ftp下载。对于python开发还有许多困扰，在这里请教大家了。

实现功能：
远程ftp 服务器每分钟产生一个文件，我想python写的ftp能时时读取远程文件，如果文件存在就下载，如果远程目录里的文件都下载完了，就等待30秒再次读取。

下面我写的下载，还不是很全。log日志信息也没有打印。

主要疑问：
1. 我如何能让ftp不关闭，时时在读入远程目录下的文件
2. 每次下载前能知道我上次下载到那个文件了

1. #!/usr/bin/env python
   
2. #encoding=utf-8
   
3. #author :
   
4. 
   
5. from ftplib import FTP   
   
6. import sys,os
   
7. import datetime
   
8.    
   
9. class MyFTP(object):
   
10.         '''  
    
11.         conncet to FTP Server  
    
12.         '''   
    
13.         def __init__(self,remoteip,remoteport,loginname,loginpassword):
    
14.                 self.remoteip = remoteip
    
15.                 self.remoteport = remoteport
    
16.                 self.loginname = loginname
    
17.                 self.loginpassword = loginpassword
    
18. 
    
19.         def ConnectFTP(self):   
    
20.                 ftp = FTP()  
    
21. 
    
22.                 try:  
    
23.                         ftp.connect(self.remoteip,self.remoteport)  
    
24.                 except Exception, e:
    
25.                         print >> sys.stderr, "conncet failed - %s" % e
    
26.                         sys.exit()
    
27.                 else:   
    
28.                         try:   
    
29.                                 ftp.login(self.loginname,self.loginpassword)   
    
30.                         except Exception, e:
    
31.                                 print >>sys.stderr, 'login failed - %s' % e
    
32.                                 sys.exit()
    
33.                         else:
    
34.                                 print 'login success'
    
35.                 return ftp
    
36. 
    
37.                
    
38.         def download(self,remotePath,PrelocalPath):   
    
39.                 #change the remote directory and get the remote file size   
    
40.                 ftp = self.ConnectFTP()
    
41.                 ftp.set_pasv(0)
    
42.                 try:
    
43.                         ftp.cwd(remotePath)
    
44.                 except Exception, e:
    
45.                         print >> sys.stderr, 'remote directory does not exist -%s' % e
    
46.                         sys.exit()
    
47.                 # 按天生成本地存放路径
    
48.                 localPath = PrelocalPath + os.sep + datetime.datetime.now().strftime("%Y%m%d")
    
49.                 # FTP Services 文件列表
    
50.                 remoteFileList = ftp.nlst()
    
51.                 for remotefile in remoteFileList:                       
    
52.                         fsize=ftp.size(remotefile)   
    
53.                         if fsize==0 : #localfime's site is 0
    
54.                                 continue
    
55.                        
    
56.                         #检查本地文件不存在，获得本地文件大小
    
57.                         lsize=0L
    
58.                         localfile = localPath + os.sep + remotefile
    
59.                         if os.path.isdir(localPath):
    
60.                                 if os.path.isfile(localfile):
    
61.                                         lsize=os.stat(localfile).st_size
    
62.                         else:
    
63.                                 # 如果指定的存放目录不存在，文件肯定不存在
    
64.                                 # 此时不需要获取文件大小
    
65.                                 os.makedirs(localPath)
    
66.                                
    
67.                         if lsize >= fsize:   
    
68.                                 continue   
    
69.                         blocksize=1024 * 1024
    
70.                         ftp.voidcmd('TYPE I')
    
71.                         conn = ftp.transfercmd('RETR ' + remotefile,lsize)
    
72.                         lwrite=open(localfile,'ab')
    
73.                         while True:
    
74.                                 data=conn.recv(blocksize)
    
75.                                 if not data:
    
76.                                         break
    
77.                                 lwrite.write(data)
    
78.                                 #cmpsize+=len(data)
    
79.                         lwrite.close()
    
80.                         ftp.voidcmd('NOOP')
    
81.                         ftp.voidresp()
    
82.                         conn.close()
    
83.                 ftp.quit()
    
84. 
    
85. 
    
86. 
    
87. if __name__=='__main__':
    
88.         ftp = MyFTP("127.0.0.1",21,"ftpuser","123456")
    
89.         ftp.download('/home/ftpuser/debian','/root/download')
    

复制代码

timespace

坦白说自己没在生产环境用过ftplib，但这类需求比较常见，如果是两台UNIX/Linux服务器的话，用rsync一个命令就搞定了，根本不用写什么代码。

ontherd

回复 2# timespace
多家公司完成一个项目，另一家公司对外提供的就是FTP接口服务器。我在的这家公司如果要计算，就得时时去读取FTP服务器。
处处受控与人。

   

timespace

回复 3# ontherd
了解。

1. 我如何能让ftp不关闭，时时在读入远程目录下的文件
2. 每次下载前能知道我上次下载到那个文件了

我没仔细研究过FTP协议，但印象中不支持这样的功能？其实我也有个疑问，既然是FTP提供数据文件，意味着实时性要求不高，#1不太必要吧，如果数据量不大，可以从头开始下载吗？如果可以，#2也没必要。你既然从头实现别人的功能，应该先尽量保持简单，只要最终得到数据文件就行，附加功能能省就省了吧。

   

icymirror

你可以分步实现：
1. 实现文件下载
2. 实现遍历文件树
3. 通过本地建立一个专门保存已经下载的文件记录的文件，来和2中结果比较来确定需要下载哪些文件

ontherd

回复 5# icymirror

好想法，如果有问题，再向你请教。


   

nmweizi

用lftp的mirror命令就搞定了。放到crontab定时执行就可以了吧。