一个python做的服务端软件的问题

gm3000

小弟用python+twisted+sqlalchemy 写了一个类似于httpserver的服务端软件

这个软件干的事情是这样的：
主要分两步，由两个线程分别完成

1步 接受客户端的数据 放入线程公用队列（queue），线程1做（twisted主线程）
2步 从队列pop出数据 存入数据库，线程2做

现在一个很尴尬的问题是，第一步就收数据部分速度飞快 平均每次请求不到1ms就完成
但是第二部存数据库相比起来就超级慢了，处理一个请求的数据（存入数据库）平均要30ms，可能数据库本身需要一些优化，但是现在还不知道能提高多少

所以：线程公用队列就会一直堆积数据（两部分的性能差距太大），最终就只有撑满内存了........

我的问题是：不管DBA怎么搞数据库部分，但从软件层，有没有什么办法至少是缓解这个问题呢，因为我觉得不管怎么样，所有环节中，存取数据库应该永远是瓶颈大户，并且第2步基本上主要就是做存数据库，没什么其他的什么开销

哪位大哥有什么建议么？

reiase

怎么改都解决不了根本矛盾：访问量与数据处理能力的矛盾

所以只能限制访问，操作队列满的时候阻塞访问，让客户端去等

gm3000

哎....限制访问，可是需要限制访问到什么程度呢，当前两步骤性能差异在上百倍了...

ziggler

异步方式？存采取这样的方式如何？

smallfish_xy

原帖由 ziggler 于 2009-7-12 22:58 发表
异步方式？存采取这样的方式如何？

恩，可以试试。

gm3000

恩？激动
能否讲的详细点呢？我知道oracle有并发操作的能力，是否是你们说的异步呢？

chrisyan

使用twisted的defer，把 操作串起来
client会24小时不间断传数据吗？那样的话迟早也是不行的，不过这样的情况下twisted应该会帮你处理一部分东西，你测试一下吧
缓存几次查询一并向数据库请求会不会快一点呢？

relvigour

开多个线程2 ，并发写数据库会好些。

ua

把客户端数据先写入文本文件，再用数据库本身的导入导出工具放入到数据库中，这样能解决数据存储的问题

cookis

原帖由 smallfish_xy 于 2009-7-13 08:18 发表

恩，可以试试。

我觉得异步不是解决之道，因为你的瓶颈之处解决不了，数据就会堆积，同时会消耗内存，

我觉得你的接收消息的queue应该设置一个高水标，如果超出了阈值，就拒绝掉，

如果你的client不能拒绝，那么你可以先保存在内存中，等数据堆积到一定程度，再集中写到DB中，集中写比分散式的写效率要高一些，毕竟访问数据库（磁盘）的次数少了很多。

[ 本帖最后由 cookis 于 2009-7-13 17:09 编辑 ]