论坛徽章:: 0

发表于 2018-09-10 17:57 |显示全部楼层

本帖最后由 Mount_Dew 于 2018-09-10 17:57 编辑

新人请问大家，我有一个6.8G大小的文本文件，每行的内容都是3个数字，一共3亿多行，如下图。现在想把这个文件存入哈希（嵌套哈希），进行后续处理。使用文件句柄<HANDLE>输入，这个大约会占用多少内存呢？
我在公共的服务器上跑了一会儿，占用了20多G，还是没有出结果…… QQ截图20180910175225.png

文库|博客

laputa73

巨富豪门

论坛徽章:: 42

发表于 2018-09-11 14:54 |显示全部楼层

为什么要全部导入再处理?
不能按行处理?
6.8G的文件,全读入,估计会用到30多G内存

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

523066680

富足长乐

论坛徽章:: 12

发表于 2018-09-11 15:27 |显示全部楼层

本帖最后由 523066680 于 2018-09-11 16:09 编辑

不要一次读入内存。
用 DB_File 模块，访问和读写操作都在磁盘进行，只占用少量内存，key/value 对是没问题的，多层镶嵌的哈希表没试过。

查了一下：
https://metacpan.org/pod/DB_File ... tures-with-DB_File?

How do I store complex data structures with DB_File?Although DB_File cannot do this directly, there is a module which can layer transparently over DB_File to accomplish this feat.
Check out the MLDBM module, available on CPAN in the directory modules/by-module/MLDBM.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

本友会机友会摄友会本友会机友会摄友会当前离线禁止发言好友博客消息论坛徽章: 0	发表于 2018-09-11 15:59 \|显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？