大家给我支支招怎样才能提高性能

unicorns

原帖由 "gadfly" 发表：
不知道你这三类线程的比例如何安排的？

queue lock的怎么一个实现方式？

另外gcc有个-p参数，可以产生跟踪执行的数据。可以用prof工具分析。你可以试试看

   

一个连接就只对应一个read和send
querythread的个数比例正在测试看如何才合适。

lock用的是pthread_mutex
pthread_mutex_lock()
不论读或写都要先把整个队列锁住，队列是用双链表实现的。

多谢大家关注，现在性能还算到了我可以接受的范围了，单个客户端一个连接每秒将近350个了。如果并发的话应该还会有所提高。谢谢大家
尤其感谢mengwg的意见。呵呵 //bow

gadfly

介绍一下调优的过程，让大家都学习一下经验吧。

gadfly

另外，我觉得是不是可以用条件变量来通知query thread。这种方式应该会比轮询方式要高效。

加精华了。很好的讨论话题。

snowpy

如果你的操作是纯内存而不含有数据库以及IO操作的话
每秒400条太慢了，起码应该上千条性能才算合格

原帖由 "unicorns" 发表：
   

一个连接就只对应一个read和send
querythread的个数比例正在测试看如何才合适。

lock用的是pthread_mutex
pthread_mutex_lock()
不论读或写都要先把整个队列锁住，队列是用双链表实现的。

多谢大?.........

unicorns

呵呵，gadfly斑竹
其实我这个过程比较简单，没多少能说的
主要是一开始就清楚哪里是性能的瓶颈
无非两个地方，一是网络通信，socket的收和发
二是线程间的通信队列

所以就抓住这两个地方反复试来试去。
调优感觉最困难的其实不是调而是找，发现瓶颈是比较困难的一件事情。

unicorns

[quote]原帖由 "snowpy"][/quote 发表：
     


说的太对了
刚才我在试极限速度
单客户端一个连接，每秒约1400条，再超过就有点麻烦出现了。

linuxsch

你可以用少量线程来处理大量的连接，因为没来一个连结请求你就单独创建一个线程去处理的话，可能会降低效率，并且线程多了就会增加很多锁的机会，我在linux下就是用select 或是 poll 来处理这种问题的，感觉效果不错。你可以试试。

unicorns

回复 27# linuxsch




    猛然发现我居然再我结婚领证当天还在工作，年轻的我真是太敬业了，哈哈。

y2k_connect

性能的瓶颈，在2个队列。
        cliet的处理过程，是并行的。但增加、删除2个队列的过程，是串行的。
        因为你的程序，是以空间换时间，所以我认为采有postgresql的并行模型，效果可能会更好。
        1秒 = 500次
        1小时 = 500 * 3600 = 1,800,000次
        1天 = 43,200,000次
        建立一个表a，含有432,000,000条记录（10倍，防止溢出时，增加处理时间）。
        建立一个唯一编号的id。每天零点时，清零。
        每次有新的连接到来时，创建一个新的进程（postgresql模式）来处理。该进程取得表a中的一个唯一编号i。在表a的第i条记录上，先清零。然后，记录该连接的一切信息。
       

fanasy

回复 28# unicorns


    结婚时间也不短