免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Perl › 如何对100百万行的字符串得到唯一字符串及计数?

1 23 / 3 页

最近访问板块

发新帖

楼主: yisn

上一主题

下一主题

如何对100百万行的字符串得到唯一字符串及计数? [复制链接]

论坛徽章:: 0

21楼 [报告]

发表于 2010-11-19 16:31 |只看该作者

Mastering Perl for Bioinformatics

工欲善其事，必先利其器
jason680 发表于 2010-11-19 12:52

搞生物被发现了~~ 网速慢得链接打不开. 不过估计这傻傻的要求,bioperl也不抵用了.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

22楼 [报告]

发表于 2010-11-23 19:42 |只看该作者

谢谢各位.
现在用hash表处理了.
不过先按字符串的长度,以及字符串某个特定位置的字符种类数划分成子文件,这样对小的文件再hash会快很多.
30百万的数据用哈希组合也就40多秒,还是可以接受的.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

1 23 / 3 页

发新帖

Chinaunix › 论坛 › 程序设计 › Perl › 如何对100百万行的字符串得到唯一字符串及计数?

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP