每隔1000行，取一行重新排列

heracai

有一个文件，有6万行
1
2
3
.....
.....
600000

现在要变成，每隔1000行，取一行，取59行，然后从第二个开始，又隔1000行，一直到6万行。
1
1001
2001
.....
59001
2
1002
2002
......
.....
59002
......
.....
60000

用for嵌套
for i in $(seq 1000)
do
   for((k=0;k<=59;k++))
     do awk -v u=$i -v t=$k '{if (NR==u+t*1000) {print}}' 1.txt >> 0.txt
   done
done

这样处理起来好慢啊，跟蜗牛一样。求一个高效的方法。有几百个文件啊，而且还经常变化的。

waker

如果文件描述符够用

awk '{print >NR%1000".outfile"}' infile

heracai

waker 发表于 2013-07-07 21:04
如果文件描述符够用

awk '{print >NR%1000".outfile"}' infile

这样处理速度好快啊！！！！

heracai

  O(∩_∩)O谢谢

hniu

1. 
   
2. awk 'BEGIN{print "p;"; for(i=1;i<1000;++i) print "n;"; exit;}' > tmp.sed
   
3. sed -n -f tmp.sed yourdatafile.txt > your targetfile.txt
   

复制代码

第一行只执行一次就可以了，不要放在脚本中。

cao627

for i in $(seq 1000)
do
   for((k=0;k<=59;k++))
     do awk -v u=$i -v t=$k '{if (NR==u+t*1000) {print}}' 1.txt >> 0.txt
   done
done

从这个些命令来看，楼主要的行是
for i in $(seq 100); do for((k=0;k<=59;k++)) ; do echo $(($i+$k*1000)); done; done

即红色echo输出的这些行号

很明显  $i+$k*1000  这个数除1000的话余数是$i
$i又是seq 100，即1-10
所以楼主的要求是取：行号 除1000余数在1 - 100之间的这些行

1. awk '{if(NR/1000<=100 && NR/1000>=1)print  $0}' file

复制代码

heracai

回复 6# cao627


    不是的，你的结果不对。

cao627

awk '{if(NR%1000<=100 && NR%1000>=1)print  $0}' file@heracaisorr 写错了 是取摸% 不是除/

heracai

回复 5# hniu


    那第二行如何循环？

heracai

回复 8# cao627


    额，还是不对。。。。