求助，unpack后为什么长度增大？多谢了

geshutian

有一个二进制文件，
我用下面的代码读入数组：
for ($i=1;$i<$file;$i++)
        {
               
                read k_mer,$temp,1;
                $kmer[$i]=unpack C,$temp;
                }

可实际运行后，总是狂吃内存，直到用掉内存数是文件长度的三四倍仍然没有读完的迹象。
我是新手，请各位指点，这是什么问题？是不是我读取的方式有误？应该如何解决？多谢

莫愁

三四倍是很正常的。
你用一个数组元素储存一个字节的数据，
而一个数组元素占用的空间至少要大于一个标量占用的空间，
撇开数组自身维护元素时需要的空间不说，单单就是标量占用的空间也是很惊人的，
Perl 中的一个标量所占用的至少在 12 字节以上，
因此你这种方法处理 100M 的文件就得 1G 的内存，
肯定是不可取的。

geshutian

原来如此，多谢了
那么有没有什么好办法来处理这种文件？
实现的效果就是把文件中每一个字节unpack后读入内存
多谢

莫愁

原帖由 geshutian 于 2006-6-12 08:40 发表
原来如此，多谢了
那么有没有什么好办法来处理这种文件？
实现的效果就是把文件中每一个字节unpack后读入内存
多谢

相信存入内存只是过程，而不是你的目的。
为何不把你真正的目的说出来呢？

geshutian

原帖由 莫愁 于 2006-6-12 08:41 发表

相信存入内存只是过程，而不是你的目的。
为何不把你真正的目的说出来呢？

呵呵，我比较笨，怕表达不清楚

程序是要用来统计一些数据
这个文件中每一个字节存储的都是某一数据的特征值

之后对哪些数据进行操作是随机的
而且操作次数很多
所以我想能够一次都读入内存的话能够迅速根据下标检索到相应的特征值

不知道说清楚没有
多谢了

莫愁

原帖由 geshutian 于 2006-6-12 08:51 发表



呵呵，我比较笨，怕表达不清楚

程序是要用来统计一些数据
这个文件中每一个字节存储的都是某一数据的特征值

之后对哪些数据进行操作是随机的
而且操作次数很多
所以我想能够一次都读入内存的话能够 ...

那也不需要存到一个数组里呀，一次性把整个文件读入到一个字符串（如果文件不是很大的话），
然后需要的时候用 substr 取，也很方便呀。为什么要切割成数组让空间扩大十几倍呢？

1. open FH, "<文件名" or die "open";
   
2. my $content;
   
3. {local $/; $content=<FH>}
   
4. # 下面再用 substr 取 $content 中的数据

复制代码

geshutian

[quote]原帖由 莫愁 于 2006-6-12 08:57 发表

那也不需要存到一个数组里呀，一次性把整个文件读入到一个字符串（如果文件不是很大的话），
然后需要的时候用 substr 取，也很方便呀。为什么要切割成数组让空间扩大十几倍呢？

了解了，多谢
再问一下，这个 二进制文件 没有影响吧？
读取的时候会不会有问题？

莫愁

不会有问题。

geshutian

明白了，我来改写一下，多谢