- 论坛徽章:
- 0
|
本帖最后由 C307307 于 2011-05-15 15:16 编辑
回复 10# Shell_HAT
其实是对文本进行操作,对源文件的内容每一行添加两个字段,写入到新文件,但新文件不能超过指定大小。
判断是否超标是在写完后的,因为在每行写入后去判断肯定会影响速度。所以直接在文件写完后,split下。
这样的文件有10个
i=1
while i<=10
do
awk生成新的文件。
split新文件
……
i++
done
举例:
file_0001.dat,file2_0002.dat,……,file_0010.dat,每个文件的大小为45M,但要求生成的文件大小不能超过 10M(这个不定):
file_0001.dat有45M,则要分成5个文件,分别为 new_file_0001.dat,newfile_0002.dat,……,newfile_0005.dat,不管newfile_0005.dat是否
到达10M,file_0002.dat必须从newfile_0006.dat开始分割。所以最后肯定会生成50个文件,
文件从newfile_0001.dat到newfile_0050.dat.
文件序号如何连续 0001.dat到0050.dat??
要求速度快额 |
|