免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Perl › 问个按id划分文件的问题

最近访问板块

发新帖

查看: 1440 | 回复: 5

上一主题

下一主题

问个按id划分文件的问题 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2012-04-12 10:49 |只看该作者 |倒序浏览

{:3_190:}

有一个大文件，5个G，里面每行有一个字段是id号，10位数字。现在要对这些id滤重，直接用hash可能内存就危险了，所以想先按id进行拆分文件，这样就需要同样的id都存在同一个小文件里，该怎么划分呢？
我想按最后一位划分，0-9分成10个文件，但是这样文件就不均，有的大有的小，有什么实现简单又好的算法吗？
求助啊

文库|博客

论坛徽章:: 145

技术图书徽章
日期:2013-10-01 15:32:13

戌狗
日期:2013-10-25 13:31:35

金牛座
日期:2013-11-04 16:22:07

子鼠
日期:2013-11-18 18:48:57

白羊座
日期:2013-11-29 10:09:11

狮子座
日期:2013-12-12 09:57:42

白羊座
日期:2013-12-24 16:24:46

辰龙
日期:2014-01-08 15:26:12

技术图书徽章
日期:2014-01-17 13:24:40

巳蛇
日期:2014-02-18 14:32:59

未羊
日期:2014-02-20 14:12:13

白羊座
日期:2014-02-26 12:06:59

2楼 [报告]

发表于 2012-04-12 11:01 |只看该作者

本帖最后由 jason680 于 2012-04-12 11:03 编辑

不懂
或者说说你要做什么....

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2012-04-12 11:14 |只看该作者

对id滤重，用linux下的sort |uniq 不就可以了？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2012-04-13 09:01 |只看该作者

是的，同意楼上，这种问题用Perl反而不适合，用linux built-in command或者Sed,Awk更好

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2012-04-13 12:40 |只看该作者

简单问题复杂化了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2012-04-14 00:07 |只看该作者

id号正好用基数排序. 不耗内存. 效率比sort强

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Perl › 问个按id划分文件的问题

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP