数亿行数据随机抽取的问题[已解决]

xxhacker

自己参考sed/awk一书中的例子，写了一个

1. awk 'BEGIN{srand();for (i=1;i<=10000;i++){do {select=1+int(rand()*100000000)}while(select in pick);pick[select]=select}}(NR in pick)' file

复制代码

cooluncle

各位大哥的代码均用到了rand()*100000000，但rand()虽能随机取0~1的数值，但取值精度只到小数点后6位，且最小值均在0.1附近。rand()*100000000更可能在1kw~9.9kw之中随机取值，并且低3位无可避免地被0填充，小于1000的数值永远无法取到。这样就没法公正地取1~100000000的数值了吧，各位以为如何？

xxhacker

回复 12# cooluncle
确实是这样的

   

jason680

回复 12# cooluncle

也许可以 再取一次...
..... + rand()*1000
   

cooluncle

为这个问题憋了一下午，参考了高人的代码后写了这个脚本，大家来评判一下下面的脚本可否满足要求？

1. #!/bin/bash
   
2. #usage: $0 <path to file> <number>
   
3. #eg: script.sh /etc/init.d/function 400
   
4. 
   
5. count_of_line=$(cat $1|wc -l)
   
6. count_of_line_bits=$(echo -n ${count_of_line}|wc -c)
   
7. 
   
8. num=$2
   
9. 
   
10. pool='1234567890'
    
11. for((i=1;i<=${num};i++))
    
12. do
    
13.     s=$((${RANDOM}%${count_of_line_bits}+1))
    
14. 
    
15.     str=""
    
16.     while (( ${#str} < ${s} ))  
    
17.     do
    
18.     index=$((${RANDOM}%10))
    
19.     letter=${pool:${index}:1}
    
20.     str="${str}${letter}"
    
21.     if [ ${str} -gt ${count_of_line} ] || [ ${str} -eq 0 ];then
    
22.          str=""
    
23.     fi  
    
24.     done
    
25.     echo ${str} >> /tmp/line_to_read.$
    
26. done
    
27. 
    
28. awk 'NR==FNR{a[$0]=$0} NR>FNR{if(FNR in a){print}}' /tmp/line_to_read.$ $1
    
29. rm -f /tmp/line_to_read.$
    

复制代码