求助，python 生成大文件

小丑lh

最近在学习python，写了一个生成文件的脚本但在生成大文件时发现效率比较低，生成一个5G文件时等待时间会比较长。
以下是自己写的生成文件脚本，希望高手能优化或是给出其它的好的办法。。。有问题的地方也请高手指出。。。

#coding=utf-8
'''
Created on 2012-5-29

@author: xiaochou
'''

import os
import time

#获取文件的属性值
def getfile_att(filepath,*att_type):
    file_stat=os.stat(filepath)
    file_st={}
    if 'fctime' in att_type:
        file_st['fctime']=str(int(file_stat.st_ctime))
    if 'fmtime' in att_type:
        file_st['fmtime']=str(int(file_stat.st_mtime))
    if 'fatime' in att_type:
        file_st['fatime']=str(int(file_stat.st_atime))
    if 'fmode' in att_type:
        file_st['fmode']=str(file_stat.st_mode)
    if 'fsize' in att_type:
        file_st['fsize']=str(int(file_stat.st_size))
    return file_st

def file_size(size):
    local_time = time.strftime("%Y%m%d%H%M%S",time.localtime())
    file_name = "E:\\testFile\\"+str(local_time)+".txt"
    f = open(file_name,'ab')
    note = "测试文件内容"
    for i in range(1,99999999):
        f.write(note+str(i))
        filesize = float(getfile_att(file_name,'fsize')["fsize"])
        if filesize/1024/1024 >= size:
            break
        else:
            continue   
    f.close()
    print "ALL down!"

if __name__ == '__main__':
    size = input("input you's size:")
    file_size(size)
print file_size

anonymous0502

这只是为了好玩吗？可以写入任意内容还是特定的数据？

你在循环里反复做这个操作：
filesize = float(getfile_att(file_name,'fsize')["fsize"])
我觉得还不如设置个变量来计算总共写入了多少

这有别人的方法，我没有测试过：
http://stackoverflow.com/questio ... python-in-windows-7

小丑lh

不是为了玩，我是做测试的，经常会有一些测试数据的需要，比如我们需要一个4.9G的文件。不可能用手工去生成。只能用脚本去生成。。。

小丑lh

内容可以随便写的，只要是可以生成大文件，且效率比较高就可以。。回复 2# anonymous0502


   

anonymous0502

哦，其他部分没怎么看，只是大概看了下时间应该都是花在循环里吧
干脆在循环之前就计算出要生成这个大小的文件需要循环多少次，然后就直接循环这么多次然后结束，这样不是就省去了N多的无意义的判断语句的执行。

anonymous0502

每次写入的数据量大一些，估计也会快不少吧。

cdtits

1. #!/usr/bin/env python
   
2. 
   
3. import os
   
4. import time
   
5. 
   
6. def create_file_size(size):
   
7.     size *= 1024 * 1024
   
8.     print size
   
9.     local_time = time.strftime("%Y%m%d%H%M%S", time.localtime())
   
10.     file_name = str(local_time) + ".txt"
    
11.     with open(file_name, 'w') as f:
    
12.         note = 'Test File Contents: '
    
13.         i = 0
    
14.         fsize = 0
    
15.         while True:
    
16.             i += 1
    
17.             text = note + str(i) + "\n"
    
18.             f.write(text)
    
19.             fsize += len(text)
    
20.             if fsize >= size:
    
21.                 break
    
22.     print "ALL down!"
    
23. 
    
24. if __name__ == '__main__':
    
25.     size = input("input you's size:")
    
26.     create_file_size(size)

复制代码

大概生成 5G 文件，在 ubuntu 下需要 1-2 秒吧

lian860911

1. bigFile= open(_filename_, 'w')
   
2. bigFile.seek(1024*1024*1024* fileSize-1) #大小自己定,需要几个G, fileSize就是几，速度绝对快
   
3. bigFile.write('\x00')
   
4. bigFile.close()

复制代码

小丑lh

省去了对文件属性的不断读取和循环确实比我之前的快了很多。。。。在linux下会很快。。但在windows下也是25分左右，，是不是特别的快。。但学到了很多。。谢谢了回复 7# cdtits


   

小丑lh

太快了。。。一个10G的文件在windows下只需要1s，瞬间完成。。。太感谢了。。。但不是很了解正在学习中。。回复 8# lian860911