每隔1000行，取一行重新排列

kooleon

嗯~~看得一头雾水啊

mmwobuaini

waker 发表于 2013-07-07 21:04
如果文件描述符够用

awk '{print >NR%1000".outfile"}' infile

请问，我想知道为什么楼主的写法效率上比这个慢？

wang1352083

我都是先split 在awk

cao627

@mmwobuaini
楼主的写法外层循环1000次
内层循环60次
也就是循环中的awk 语句执行列60000次
每次执行一次都要取遍历60000行的文件一边。

awk '{print >NR%1000".outfile"}' infile 只遍历的文件一遍

cao627

怎么发了两次

heracai

谢谢各位的帮忙。今天我试了一下，@cao627
@waker
awk '{print >NR%1000".outfile"}' file ;for((i=1;i<=999;i++)); do cat $i.outfile ; done;cat 0.outfile

和@关阴月飞
for i in `seq 999`; do awk "NR%1000==$i"  urfile ; done

这两个处理的时间差不了多少

heracai

cao627 发表于 2013-07-08 08:18
@关阴月飞是的，效率他那个高，而且还要写一条NR%1000==0的命令放到最后

两个效率差不多啊，我试了一下，处理的时间差不多。

关阴月飞

回复 27# heracai


    我用seq 60000 >a.txt  作为处理文件。 两种方法处理起来，效率相差10倍以上， 如果文件更大更复杂，两者差距会更大。

lmx07

回复 2# waker

cool

   

mmwobuaini

学习了~)))))