论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2012-02-13 20:05 |只看该作者 |倒序浏览

本帖最后由 xxhacker 于 2012-02-14 11:09 编辑

我有一个用户列表，每一行有一个UID，但是这个用户列表有数亿行之多，想从中随机抽取1W行，不知道用sed/awk怎么实现，还有一个要求就是代码执行起来要快最好系统资源不要消耗太多，求高人指点！

文库|博客

zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	2楼 [报告] 发表于 2012-02-13 22:09 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

ly5066113

巨富豪门

论坛徽章:: 23

3楼 [报告]

发表于 2012-02-13 22:51 |只看该作者

回复 2# zooyo

两个缺点：
1、源文件扫描10000遍，效率差
2、可能出现重复的记录

可以用 awk 构造包含10000个不重复数字的数组，扫描文件1次即可。

awk 'BEGIN{srand();while(i<10000){k=int(rand()*100000000);if(!(k in a)){a[k]++;i++}}}(NR in a)' urfile

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	4楼 [报告] 发表于 2012-02-13 23:35 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

rdcwayx

版主

论坛徽章:: 15

5楼 [报告]

发表于 2012-02-14 07:19 |只看该作者

本帖最后由 rdcwayx 于 2012-02-14 09:16 编辑

waker 说的有理，我这个就删了，免得误导别人。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

waker

富甲一方

论坛徽章:: 8

6楼 [报告]

发表于 2012-02-14 09:01 |只看该作者

回复 5# rdcwayx

gawk中srand()以当前时间为种子,不存在你说的问题吧

8位数的总量比7位数就大10倍啊,抽到的机率当然高10倍了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

xxhacker

白手起家

论坛徽章:: 0

7楼 [报告]

发表于 2012-02-14 11:09 |只看该作者

谢谢各位的回复，问题已解决

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

lastfile

小富即安

论坛徽章:: 0

8楼 [报告]

发表于 2012-02-14 11:28 |只看该作者

数亿行，厉害

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

羲之遗韵

家境小康

论坛徽章:: 0

9楼 [报告]

发表于 2012-02-15 10:58 |只看该作者

学习了！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

羲之遗韵

家境小康

论坛徽章:: 0

10楼 [报告]

发表于 2012-02-15 11:05 |只看该作者

有个问题，最后的(NR in a)是什么意思？省略了什么东西么？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页下一页

返回列表

Chinaunix › 论坛 › 程序设计 › Shell › 数亿行数据随机抽取的问题[已解决]

zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	2楼 [报告] 发表于 2012-02-13 22:09 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	4楼 [报告] 发表于 2012-02-13 23:35 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

数亿行数据随机抽取的问题[已解决] [复制链接]