求助, 能不能获得futex在用户态的调用路径??

lovegq

我们的多线程应用程序发现锁竞争很厉害, 通过strace 和 systemtap的futexer脚本
定位到 比如 这个 0x407d9860
=============================
futex(0x407d9860, FUTEX_WAIT, 2, NULL)
=============================

问题是 能通过Gdb 或者其他方式 得到 futex 的call trace 么
这样 就能知道 用户态的 调用路径, 修改起来就有的放矢了

再引申一下, strace得到了一大堆系统调用,能得到每个系统调用 在用户态的调用路径么?

lovegq

多谢，condition的时候也可能,光mutex 太多了

瀚海书香

回复 1# lovegq

我们的多线程应用程序发现锁竞争很厉害

这个貌似可以通过应用层的设计上实现吧。
找到用锁的地方，看看是否可以降低锁的范围。比如全局锁修改为hash锁等。
   

chenyu105

推荐oprofile 采样，应该可以回溯到用户态栈

chenyu105

根据0x407d9860 找到你pthread_mutex_lock的是哪把锁  自己写的代码应该知道这把锁的竞争流程吧

lovegq

回复 6# chenyu105


    我用 gdb 挂上进程后, 用以下方式设置的断点

    b pthread_mutex_lock if mutex= 0x407d9860  

    但是效果很不好，不知道阁下有什么高招没？ help

chenyu105

可以改用户态代码的话，在申请mutex锁的时候，把地址记录一下，
在故障复现时比较0x407d9860是谁的。

看到你说用systemtap，可以在futex_wait或者futex_wait_pi（看你的mutex是否有优先级继承）入口那里，插个C函数，做个统计。

原理就是，根据task_pt_regs找到进程进内核态的regs现场，
根据这个regs现场，来手工回溯用户态堆栈（各个CPU架构回溯方法不一样）
把这个回溯出来的堆栈数组，做个排序，得到被futex阻塞最多的前几个用户调用栈。
实际上有点类似oprofile的原理了。可能太麻烦了，得调。。。我也没试过，祝你好运。。

lovegq

回复 8# chenyu105


    我用 systemtap trace 了所有 sys_futex , 在调用处 过滤了 特定的锁, 比如 0x407d9860
    这一步是没有问题的,
    probe syscall.futex {
        blablablabla ....
        printf_ubacktrace()
    }

    但是在打印函数堆栈时出了问题, 堆栈打印不全,可能是我的rhel5u2系统太老,
    恩，不是不全，最多就只能打1,2行，全是，比如
    _L_lock_1966 ,  _L_lock_107之类

    我试了很多方法,比如 在
    probe syscall.futex.return 里面 直接给我的进程 发一个 stop信号 ,
   
    system("kill -19 %d", pid())

    然后 用 pstack 打印 此时的函数堆栈

    即使这样效果也不是很好, 函数堆栈根本和锁 对不上，很郁闷
   

chenyu105

printf_ubacktrace()这个是systemtap自带的打印用户堆栈？ 我觉得systemtap的回溯不是太靠谱。。

probe syscall.futex.return  这里futex退出时，给进程发sigkill信号，
但是在函数返回用户态，还没来得及回以前的用户态context ，就会先进入sigkill信号处理函数，
所以你回溯的应该是信号处理函数的堆栈？