Linux的split命令可以用来分割文件

ysitbook

-a, --suffix-length=N   use suffixes of length N (default 2)
  -b, --bytes=SIZE        put SIZE bytes per output file
  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file//这个命令在保证数据行完整性的前提下，按大小分割文件
  -d, --numeric-suffixes  use numeric suffixes instead of alphabetic
  -l, --lines=NUMBER      put NUMBER lines per output file
      --verbose           print a diagnostic to standard error just
                            before each output file is opened
      --help     display this help and exit
      --version  output version information and exit


SIZE may have a multiplier suffix: b for 512, k for 1K, m for 1 Meg.


可以用一个简单的python脚本将指定的文件分割成几个大小和条数近似相同的文件：


代码如下：
import os


def _split_file(filepath,theFileNumber):
            filesize = __file_size(filepath)
            slavelength = theFileNumber
            splitsize = filesize/slavelength + 1000 //这里大小加上1000个字节，保证最后一个分割的文件不会丢数据
            command = " split -C %d %s %s%s" % (splitsize, filepath,         prefix,filepath[filepath.rfind("/")+1:]) //其实使用的就是liunx的split
            print command
            os.system(command)


def __file_size(filepath):
            statinfo=os.stat(filepath)
            return statinfo.st_size




if __name__ == "__main__":

             dataFilePath="/data/big_file.log"

              _split_file(dataFilePath,4)