论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2010-01-14 16:58 |只看该作者 |倒序浏览

想请教一个问题，我现在在做一个程序性能优化，因为他们原来的是没有多线程的，所以用每个节点起多个进程的方式来利用多个cpu核，现在我把它线程化，可是有4个cpu的节点上起4个线程却cpu的利用率达不到100%，而是大概60%左右晃，如果起一个线程可以达到25%（因为是4个cpu核）。这4个线程做的同样的工作，只是针对不同的数据而作计算（也就是按某种方式分开计算），不同线程之间不相关，没有互斥锁和同步之类的东西，cpu利用率上不去这会是什么原因呢？比如内存分配上的或者cache换入换出之类的会影响吗？麻烦大侠有时间帮我分析一下，谢谢^_^

文库|博客

accessory

荣誉版主

论坛徽章:: 0

2楼 [报告]

发表于 2010-01-15 00:23 |只看该作者

我看了题目后的第一感觉是同步和互斥的问题。虽然LZ说没有这些，但是也许每个线程调用的其他系统或者库函数里有类似的机制。你能保证没调用任何系统或者库里带锁之类的函数么？

除了同步之外，另外一个可能是瓶颈在其他地方。比如I/O。以前单线程的时候体现不出来。现在CPU利用率高了，结果I/O部分相应慢了，造成不能把CPU利用到100％。

可以用TOP看看具体的信息，其他有一项似乎是I/O等待的时间。

或者用OPROFILE之类的工具看。或者直接分析代码。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

warmheartli

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2010-01-29 20:29 |只看该作者

回复 #2 accessory 的帖子

我用strace追踪之后发现有互斥锁，您知道的可能有互斥锁的函数都有哪些呢，我里面调用了好多数学函数

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

accessory

荣誉版主

论坛徽章:: 0

4楼 [报告]

发表于 2010-01-30 02:16 |只看该作者

这个我就不清楚了。用STRACE似乎可以看出来有没有调用和同步相关的函数吧？常见的有SPIN_LOCK, SEMAPHORE之类的。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

GetStarted

白手起家

论坛徽章:: 0

5楼 [报告]

发表于 2010-02-11 14:04 |只看该作者

想请教一个问题，我现在在做一个程序性能优化，因为他们原来的是没有多线程的，所以用每个节点起多个进程的 ...
warmheartli 发表于 2010-01-14 16:58

CPU利用率是每个核单独算的吧？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

GetStarted

白手起家

论坛徽章:: 0

6楼 [报告]

发表于 2010-02-11 17:06 |只看该作者

楼主可以试试用 pthread_attr_setaffinity_np()接口将四个线程分别绑定到四个核上，这样就一个线程只在一个核上跑。充分利用。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

andyzn 该用户已被删除	7楼 [报告] 发表于 2010-02-20 15:46 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
andyzn 该用户已被删除	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？