大文件大文件……

smallpboy

别人问我：
我有一个20G的文件
我想取前20000000000行
用head -n xxx>new
速度太慢了

shell不擅长处理这么大的文件吧？ 求助大家！ ！

WilliBhamlll

试试sed
文件太大，估计也慢。但可能比head -n xxx>new要快。。。。。

1. sed -ni '1,20000000000{p;20000000000q}' file

复制代码

wangchaoqun1984

是不是先把大文件切成小文件，再分别读取，记录下各个文件数。

jason680

回复 1# smallpboy


>> 我有一个20G的文件
>>我想取前20000000000行

one line for one character only
20,000,000,000行 x (1 byte + Enter"\n") = more than 20G

Would you let's know what do you want?

kangwenyi

sed -n '/1,20000000000 w output.txt/' input.txt

dn833

1. awk 'NR<20000000001{print > "new"}' xxx

复制代码

noshell

虽然没遇到过这样的场景，来膜拜一下高手怎么解决这个问题。

littlecivic

load the file into hadoop cluster hdfs, and run hadoop jobs

or load the file into cassandra cluster

.Victor

用split -l 20000000000如何？然后只要第一个文件就行了

LikeLx

sed -i '2000000000q' file