java如何处理大文件(在内存中)

Law

我想处理大文件，做法是吧文件load到内存中去操作

定义了一个
andomAccessFile fh2=null;

byte buffer2[];
buffer2=new byte [buffersize];
fh2.readFully(buffer2,0,buffersize);

结果运行的时候处理超过100M 文件的时候就报错
Exception in thread "main" java.lang.OutOfMemoryError

不知道java里面如很处理大文件啊

sakulagi

如果你一定要读到内存里处理，那么没有办法。只要文件够大，一定会出错。建议你跟据你的需求重新考虑一下如何能不把这个文件全部读到内存里。

Law

但是我们用c就可以实现啊，，那么java在处理大文件的时候有没有其他方法，

随风漂

是java运行环境的问题，运行时java时添加下面两个选项：
java -Xms128m -Xmx128m

sakulagi

这样如果文件超过128M,还是会有问题。 如果用c的话，是因为交换区也被用上了。为什么一定要吧文件全部读到内存里呢？

Law

我就说清楚一点吧，我们需要处理一些话单文件，因此我们需要对文件里面的每一条记录做处理，比如要计算公共的通话时长，金额等，和数据库的字段关联查询等等，排重，所以在内存中做的话要快的多，以前我们是用c实现的，我想用java实现一下啊

sakulagi

可是内存大小是有限的啊？
如果是一个2g的文件，一般的机器好像都会性能下降吧?
如果没有这么大的话，可以试试随风漂的方法，把jvm的可用内存调整的更大一些以解决问题。

Law

老大，还是错误啊
$ java -Xms256m -Xms256m Diff /hbbi/bossjf/A0500220040628WH005.avl /hbbi/bossjf/A0500220040628WH005.avl
Incompatible initial and maximum heap sizes specified:

    initial size: 268435456 bytes, maximum size: 25165824 bytes

The initial heap size must be less than or equal to the maximum heap size.
The default initial and maximum heap sizes are 8388608 and 25165824 bytes.
Could not create the Java virtual machine.

sakulagi

$ java -Xms256m -Xmx512m Diff /hbbi/bossjf/A0500220040628WH005.avl /hbbi/bossjf/A0500220040628WH005.avl

Law

谢谢，谢谢，通过了，速度好快啊

大侠们能解释一下么？还有我怎么估计我的java程序会使用的内存大小么？