免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Perl › hash太大数据读不出来？？？
最近访问板块 发新帖
查看: 2781 | 回复: 5
打印 上一主题 下一主题

hash太大数据读不出来？？？ [复制链接]

sewenew

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2008-10-26 11:16 |只看该作者 |倒序浏览
处理几个很大的文件（一共600M左右），把里面的数据放入到hash里，总共有130多万个
key，最后把hash里的数据写到硬盘上，跑出来的结果是写入硬盘的只有key，没有对应
的value。。。。。

难道hash过大的时候就没有办法取出value了么？

ps：最初的问题是处理一个很大的文件（1G），把数据处理后，放入到hash里，但是每
次读了400多M的文件后（perl占用内存700多M），程序就莫名其妙的挂了。程序应该是
没问题的，在一个小的文件上做过测试。于是我就分步进行，把这个1G的文件分5次读入
，分别放入到hash中，然后写入到硬盘上，于是现在就有个上面提到的几个（100M级）
的文件。上面的问题就出现在我对这几个文件做merge的时候
MMMIX

论坛徽章:
95
程序设计版块每日发帖之星 日期:2015-09-05 06:20:00程序设计版块每日发帖之星 日期:2015-09-17 06:20:00程序设计版块每日发帖之星 日期:2015-09-18 06:20:002015亚冠之阿尔艾因 日期:2015-09-18 10:35:08月度论坛发贴之星 日期:2015-09-30 22:25:002015亚冠之阿尔沙巴布 日期:2015-10-03 08:57:39程序设计版块每日发帖之星 日期:2015-10-05 06:20:00每日论坛发贴之星 日期:2015-10-05 06:20:002015年亚冠纪念徽章 日期:2015-10-06 10:06:482015亚冠之塔什干棉农 日期:2015-10-19 19:43:35程序设计版块每日发帖之星 日期:2015-10-21 06:20:00每日论坛发贴之星 日期:2015-09-14 06:20:00
2楼 [报告]
发表于 2008-10-26 11:20 |只看该作者

回复 #1 sewenew 的帖子

十有八九是你的代码有问题。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ly5066113

论坛徽章:
23
15-16赛季CBA联赛之吉林 日期:2017-12-21 16:39:27白羊座 日期:2014-10-27 11:14:37申猴 日期:2014-10-23 08:36:23金牛座 日期:2014-09-30 08:26:49午马 日期:2014-09-29 09:40:16射手座 日期:2014-11-25 08:56:112015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东 日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东 日期:2016-01-19 13:33:372015亚冠之山东鲁能 日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者 日期:2015-09-21 08:27:57
3楼 [报告]
发表于 2008-10-26 12:08 |只看该作者
原帖由 MMMIX 于 2008-10-26 11:20 发表
十有八九是你的代码有问题。


100%是。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
MMMIX

论坛徽章:
95
程序设计版块每日发帖之星 日期:2015-09-05 06:20:00程序设计版块每日发帖之星 日期:2015-09-17 06:20:00程序设计版块每日发帖之星 日期:2015-09-18 06:20:002015亚冠之阿尔艾因 日期:2015-09-18 10:35:08月度论坛发贴之星 日期:2015-09-30 22:25:002015亚冠之阿尔沙巴布 日期:2015-10-03 08:57:39程序设计版块每日发帖之星 日期:2015-10-05 06:20:00每日论坛发贴之星 日期:2015-10-05 06:20:002015年亚冠纪念徽章 日期:2015-10-06 10:06:482015亚冠之塔什干棉农 日期:2015-10-19 19:43:35程序设计版块每日发帖之星 日期:2015-10-21 06:20:00每日论坛发贴之星 日期:2015-09-14 06:20:00
4楼 [报告]
发表于 2008-10-26 13:23 |只看该作者
原帖由 ly5066113 于 2008-10-26 12:08 发表


100%是。

在没有看到确实的证据之前，话还是不要说的太绝对为好，要是养成这种习惯那就更糟了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
redspider

论坛徽章:
0
5楼 [报告]
发表于 2008-10-27 08:45 |只看该作者
我本来也准备说 100% 是的
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wxlfh

论坛徽章:
1
未羊 日期:2014-09-08 22:47:27
6楼 [报告]
发表于 2008-10-27 21:57 |只看该作者
把代码贴出来看看嘛
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP