大文件的小批量修改

jiangf

我这里有一个很大的数据文件1个G左右,可是我要改的只是其中的一两个字节的数据;怎么改比较好
我不想把整个文件都拷到缓存中再改,这样的IO太频繁了

beepbug

你知道待修改数据的位置吗？如果知道，你就定位到那里，然后做修改。系统只读入它所在的那一块。

你该把问题描述清楚。

xinglp

知道位置就好办,

langue

鸵鸟政策一下：mmap(2)
等等……你的文件有1个G？也许 mmap() 会失败。还是先定位再 seek 吧。

jiangf

我试了一下先用fseek定位到文件的指针
然后用fwrite()写要覆盖的值,特别是打开文件时要以r+的方式打开,而不能用rw的方式打开

皇家救星

如果只是要加几个字符呢？　不仅是修改

xinglp

末尾加还好写,开头或者中间加就得倒腾文件了

皇家救星

我也是这样想的，但是这样做真的太浪费了

比如我只要在一个10G的文件开头加上一行

这样我就要先写这一行，然后读文件，将文件追加到后面

为了不到1k的数据要折腾20G的数据量　真不划算

which

有讨论的工夫,都做完了.几个G的数据而已,不要小看现在的CPU.

xinglp

原帖由 <i>皇家救星</i> 于 2009-3-14 17:46 发表 <a href="http://bbs3.chinaunix.net/redirect.php?goto=findpost&pid=10208003&ptid=1392919" target="_blank"><img src="http://bbs3.chinaunix.net/images/common/back.gif" border="0" onload="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onmouseover="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.style.cursor='hand'; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onclick="if(!this.resized) {return true;} else {window.open(this.src);}" onmousewheel="return imgzoom(this);" alt="" /></a><br />
我也是这样想的，但是这样做真的太浪费了<br />
<br />
比如我只要在一个10G的文件开头加上一行<br />
<br />
这样我就要先写这一行，然后读文件，将文件追加到后面<br />
<br />
为了不到1k的数据要折腾20G的数据量　真不划算

<br />

你要调整业务逻辑?