如何操作大文件

elu_ligao

    请问各位大大：

        假如有一个文件 file_01， 大小有 1G， 内容有几十甚至上百万行， 现在要将这个文件的内容重复追加到 file_02， 使 file_02 的大小为 5G

1. cat creat.sh
   
2. #! /bin/sh -
   
3. 
   
4. for (( i=1; i<=10; ++i ))
   
5. do
   
6.     cat  file_01  >> file_02
   
7. done

复制代码

这样时间比较长， 有没有像 dd 类似的命令可以实现呀  


    还有， 假如也是一个几G的文件， 我只要删除这个文件的某几行或是最后几行， 怎么做能更效率， 我试过  sed -i  '$d'  file  这样类似删除最后一行的， 时间貌似也有点小长

      先在此谢过啦

seesea2517

为什么要找像dd的命令呢，就是dd嘛，

1. dd if=file2 of=file oflag=append conv=notrunc

复制代码

davidbeckham921

好高级啊。

elu_ligao

回复 3# seesea2517


    谢谢， 英文不好， man 了 dd， 后面的那些个选项没仔细看， 非常感谢

    那对 要删除大文件中的某些行有比较效率的方法吗

seesea2517

回复 5# elu_ligao


    删除最后一行也没啥想法，如果是中间的一些内容，使用sed的话可以在删除后使用q命令退出以加快执行。

moperyblue

#删除最后一行
ed -s file <<< $'$d\nwq'

#删除最后三行
ed -s file <<< $'-2,$d\nwq'