自己想做个数据库遇到点问题大家帮忙指教下~

xy4228147

) 大家好，我想做个自己用的数据库来存放大量数据但是，查找速度却跟不是，稍微大点就慢下来了。下面我讲下我的代码：
数据库的形式是这样的：
‘’：‘’
‘’：‘’
‘’：‘’
我用readlines（）获取列表后 用for循环再用re匹配查找，最后返回。。。。这样处理内存不是太大的可以如果出了稍微大点的就会慢下来，
郁闷哦，大家有没有什么好的点子给在下指点一二？？？？主要是把查找速度给提上来。在下谢过了！


注：不用专业的数据库，

bleem1998

我觉得是因为readline所以慢
比较犀利的办法应该是搞两个线程
一个负责大块大块的读文件到内存
另一个负责在内存里查找
这样CPU的利用率才可以达到100%

flying_away

使用dbm

luffy.deng

‘’：‘’ 这种格式用字典应该会快一点。

hust_cs

你可以看下用生成器。这样就不用一次全部把数据都读到内存后才处理，生成器是边读边处理。

moatlzy

回复 1# xy4228147


    不用自己想了，按你的要求，mongodb是绝配啊！
去看看吧，兴许你会喜欢:http://www.mongodb.org

t6760915

正则表达式去匹配查找不是很快的。你可以测试下用re去查找，效率太差了

smallfish_xy

回复  xy4228147
    不用自己想了，按你的要求，mongodb是绝配啊！
去看看吧，兴许你会喜欢:
moatlzy 发表于 2010-04-21 15:14

吼吼，这个确实不错。俺用过，挺hi的。