Chinaunix

标题: 如何高效更新大量数据 [打印本页]

作者: dilfish 时间: 2010-11-25 11:03
标题: 如何高效更新大量数据
数据格式大概是这样
id text
aaa 12
bbb 34
现在每5分钟要对text做一次更新,比如变成下面的
id text
aaa 12|32
bbb 34|56
数据量很大,所以用replace into.
每次更新之外，还有少量的插入，比如
ccc 0|78
这样，为了操作迅速，我将全部的text内容保存的内存中
每次写时即时计算，然后replace into.
但是这样占用内存太多，而且数据也有重复
请问有什么思路可以减少内存占用量，又不影响速度的?

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)