求救!大文件处理

Shell_HAT

回复 8# LOVCAL


你试验一下看看到底是-i直接修改原文件快，还是用重定向快？

lovcal

貌似效率不太高啊，bbgg1983 (朕本布衣) ---找到效率高的方法了么？

LOVCAL

版本原因，我这没有-i参数
不知道有没有其他效率高点的办法
目前这方法去空格跑得特别慢

Shell_HAT

回复 13# LOVCAL


这样删空格的速度如何？

1. 
   
2. tr -d ' ' < file1 >file2
   

复制代码

windfail

...10几G的文件，效率再高也不怎么样。。

forge007

我的经验是先把大文件split成小文件，处理完了再cat。

dandy

先在本版搜索下，以前讨论过这个问题，有几种高效的方法。

譬如dd之类的。

Shell_HAT

回复 17# dandy


看到过dd删除最后一行的例子，没看到过删除空格的例子，你能找到？

redspider

我的经验是先把大文件split成小文件，处理完了再cat。
forge007 发表于 2010-06-23 17:24

    对于lz的需求，你介样做有意义么？

forge007

回复 19# redspider


    呵呵，我认为是有意义的。简单的往往最有效。使用vi/ex对一个10G的文件进行编辑，是很难完成的。我说的方法能完成该任务，但是未必是最好。你如果有更好的办法，可以说说。我等学习下。