SHELL 如何随机取文件的10%数据生成新文件

xuezhonghuo

之前写了个脚本，是直接取每天数据的前面10%然后写入到新文件中，但是发现这样做，后面的数据就没有了，有没有办法，在取数据的时候，随机取呢？或者均匀取（取一条数据然后跳过9行，再取一行）？



#定义日期
LOGDATE=$(date -d'-1 day' +%Y%m%d)
#修改原文件名称
mv aaa_${LOGDATE}.log aaa_${LOGDATE}_bak.log
#计算原文件行数
Snum=$(cat aaa_${LOGDATE}_bak.log | wc -l)
#计算原文件10%的行数
Sn=`expr $Snum / 10`
#取文件前10%生成新文件
awk 'FNR<='"$Sn"'' aaa_${LOGDATE}_bak.log > aaa_${LOGDATE}.log

各位大大帮忙看下最后一步应该如何随机取呢？

ly5066113

回复 1# xuezhonghuo


#定义日期
LOGDATE=$(date -d'-1 day' +%Y%m%d)
#修改原文件名称
mv aaa_${LOGDATE}.log aaa_${LOGDATE}_bak.log
#取文件前10%生成新文件
awk 'NR%10==1' aaa_${LOGDATE}_bak.log > aaa_${LOGDATE}.log

xuezhonghuo

回复 2# ly5066113


    经测试，可以正常取到，大神，帮忙解释下~灰常感谢~

yestreenstars

回复 2# ly5066113

这是取第1、11、21……行的内容吧，哪里是取前10%？
   

xuezhonghuo

回复 4# yestreenstars


   我之前的脚本是取前10%生成文件
   现在的想法是随机取，或者均匀取数据，现在这样取文件的 1,11,21,。。。也刚好是跳过9行取1行打印进文件，这样就达到均匀取数据的想法了。

ly5066113

回复 4# yestreenstars


描述是楼主原来的，没改。

jackhuntcn

1. shuf a.txt | head -$(echo $(sed -n '$=' a.txt)/10 | bc) > a.txt

复制代码