单线程CPU占用17%,50个线程CPU占用20%,性能下降,什么原因?

jd808

当我将程序只开启一个线程时,做压力测试,CPU占用17%左右,当我吧线程数调整成50个线程时,发现CPU竟然达到了20%,性能不提升,反而下降,相同的测试用户数.

windoze

线程间同步太多了，不信你开500个会更慢

csumck

多线程并不会减少程序的计算量，多线程只是减少了等待时间。　如果单线程的时候等待花的时间不多，那换成多线程不但没有减少占用CPU，反而因为增加了上下文切换而占用了更多的CPU。

yulihua49

jd808 发表于 2015-01-10 13:36
当我将程序只开启一个线程时,做压力测试,CPU占用17%左右,当我吧线程数调整成50个线程时,发现CPU竟然达到了2 ...

要弄清楚是哪种类型的负载，才能评价采取什么方法来改进。

jd808

csumck 发表于 2015-01-11 15:23
多线程并不会减少程序的计算量，多线程只是减少了等待时间。　如果单线程的时候等待花的时间不多，那换成多 ...

估计你是对的,我是这个架构的,一个线程做socket的读写操作,另外一个线程池作为具体工作处理,不过具体工作本身就不大,就是吧数据转发出去而已.线程池通过互斥锁,争取资源(获得管道使用权,这个锁是主线程和线程池之间的),获取到管道后,读取消息,然后在加个锁(解决同一个fd只能一个线程在处理),处理完成后,就转发给另外一个服务程序处理.这个程序的任务就算完成啦.

jd808

yulihua49 发表于 2015-01-11 19:25
要弄清楚是哪种类型的负载，才能评价采取什么方法来改进。

具体的负载情况好像只能猜测,具体情况不太清楚.目前猜测有可能是锁引起的线程切换引起的.

jd808

windoze 发表于 2015-01-10 21:31
线程间同步太多了，不信你开500个会更慢

试了下,确实慢了,就2两把锁而已,不会太多的,上面一层已经描述了,锁的作用,去掉的话,那程序准奔溃.

windoze

回复 7# jd808

关键不是有多少个锁，而是这些锁争用的次数，如果你只有一把锁锁住所有资源然后让一堆线程抢，那实际上会比单线程还慢，因为每个线程根本无法并行运行。
想要减少锁的争用，就必须尽量让每把锁管理的资源只由少数线程使用，对于你的情况，最简单的方案，你可以把socket和task按照一定的规则分成几个partition，然后给每个partition一个线程池，这样partition之间的争用就基本消除了，多个partition可以完全并行运行，每个partition内的争用当然还是没变，但由于socket和task都减少了，争用情况也会有一定缓解。

当然还有更高效但也更复杂的方案，但都要根据具体情况分析，先不废话了。

jd808

windoze 发表于 2015-01-12 11:42
回复 7# jd808

关键不是有多少个锁，而是这些锁争用的次数，如果你只有一把锁锁住所有资源然后让一堆线 ...

谢谢,我先把管道锁变成为每个线程订制一把,这样,线程池就不会抢啦,只会等待任务的到来,改好试试看.

jd808

windoze 发表于 2015-01-12 11:42
回复 7# jd808

关键不是有多少个锁，而是这些锁争用的次数，如果你只有一把锁锁住所有资源然后让一堆线 ...

我吧线程的管道锁去掉了,没任何效果,现在只有用户socket锁,这个锁的粒度很细,锁到每个用户身上了,还有一把链表锁,这个链表存储者所有的用户句柄,对这个链表遍历的时候必须加锁,否则万一其他线程删除掉了fd就没则了,只能报段错误咯,(遍历链表,将消息发送给指定的几个用户,通过id进行一一对比),链表也没想到办法将他分成几个链表,实际上现在就是用了200个链表,每个连表里存200个用户,这些用户又没法用区域隔开.

1. int i;
   
2.                 ConnList* plist;
   
3.                 ConnList* m_UserList = g_pServer->GetUserList();
   
4.                 for (i=0; i<g_pServer->GetNodeListCount(); i++) {
   
5.                         plist = &m_UserList[i];
   
6.                         pthread_rwlock_rdlock(&plist->ConnListLock);
   
7.                         while (pcon != NULL) {
   
8.                                 if(pcon->fd_type == 1){
   
9.                                         if(m_conn->operators_id==pcon->operators_id&&m_conn->server_id==pcon->server_id)
   
10.                                                 to_client(pcon,m_sbuff,command,g_pConf->STRZIP);
    
11.                                 }
    
12.                                 pcon = pcon->GetNext();
    
13.                         }
    
14.                         pthread_rwlock_unlock(&plist->ConnListLock);
    
15.                 }

复制代码

但这个也就是个读写锁,应该没太大关系吧.