文本文件随机取几万行怎么取？

lightwiter

我有50几万行数据的文本文件，现在想随机取5万行出来。分布要比较均匀。请问怎么实现？

大蚂蚁

需求不明确，一定要5W整行么？随机可以随机一次，也可以随机5W次，看你的取向了

lightwiter

5w左右也可以。随机一次选出来。

大蚂蚁

那你就10行取1

lightwiter

怎么取？这个命令怎么写？

大蚂蚁

NR%10

大蚂蚁

还是写全好了

1. awk '!(NR%10)' file

复制代码

r2007

参看如何用shell实现“洗牌”效果？

1. while IFS= read i;do echo "$RANDOM $i";done<file|sort -k1n|cut -d " " -f2-|head -50000

复制代码

btw:如果数据有特殊字符，就需要给read加一些参数。

大蚂蚁

楼长来推销洗牌了，俺都快忘记那一帖了^_^

苏蓉蓉

要想实现分布均匀，严格来说必须符合一定的统计标准。

1. awk 'BEGIN{FS="\n";RS=""}{srand();while(t++<50000){print $(int(文件总行数*rand())+1);}}' file

复制代码