Chinaunix

标题: hash太大数据读不出来？？？ [打印本页]

作者: sewenew 时间: 2008-10-26 11:16
标题: hash太大数据读不出来？？？
处理几个很大的文件（一共600M左右），把里面的数据放入到hash里，总共有130多万个
key，最后把hash里的数据写到硬盘上，跑出来的结果是写入硬盘的只有key，没有对应
的value。。。。。

难道hash过大的时候就没有办法取出value了么？

ps：最初的问题是处理一个很大的文件（1G），把数据处理后，放入到hash里，但是每
次读了400多M的文件后（perl占用内存700多M），程序就莫名其妙的挂了。程序应该是
没问题的，在一个小的文件上做过测试。于是我就分步进行，把这个1G的文件分5次读入
，分别放入到hash中，然后写入到硬盘上，于是现在就有个上面提到的几个（100M级）
的文件。上面的问题就出现在我对这几个文件做merge的时候

作者: MMMIX 时间: 2008-10-26 11:20
标题: 回复 #1 sewenew 的帖子
十有八九是你的代码有问题。

作者: ly5066113 时间: 2008-10-26 12:08

原帖由 MMMIX 于 2008-10-26 11:20 发表
十有八九是你的代码有问题。

100%是。

作者: MMMIX 时间: 2008-10-26 13:23

原帖由 ly5066113 于 2008-10-26 12:08 发表

100%是。

在没有看到确实的证据之前，话还是不要说的太绝对为好，要是养成这种习惯那就更糟了

作者: redspider 时间: 2008-10-27 08:45
我本来也准备说 100% 是的

作者: wxlfh 时间: 2008-10-27 21:57
把代码贴出来看看嘛

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)