crash 分析vmcore问题

cu_little_bird

crash> bt
PID: 0      TASK: ffff88063e706700  CPU: 8   COMMAND: "swapper"
#0 [ffff88063e70f5d0] crash_kexec at ffffffff8026909e
#1 [ffff88063e70f6a0] __die at ffffffff8049d0f1
#2 [ffff88063e70f6c0] die at ffffffff8020dd93
#3 [ffff88063e70f6f0] do_invalid_op at ffffffff8020e338
#4 [ffff88063e70f790] error_exit at ffffffff8049c4f9
    [exception RIP: __iscsi_conn_send_pdu+84]
    RIP: ffffffffa069e837  RSP: ffff88063e70f840  RFLAGS: 00010246
    RAX: 0000000000000002  RBX: ffff880621fba270  RCX: 0000000000000000
    RDX: 0000000000000000  RSI: ffff88063e70f8a0  RDI: ffff880621fba270
    RBP: ffff88063e70f8a0   R8: 0000000000000030   R9: 0000000000000000
    R10: 0000000000000000  R11: ffffffffa026954f  R12: 0000000000000000
    R13: ffff880621fb7378  R14: 0000000000000000  R15: ffff880621fb7378
    ORIG_RAX: ffffffffffffffff  CS: 0010  SS: 0018
#5 [ffff88063e70f888] iscsi_send_nopout at ffffffffa069e9ec
#6 [ffff88063e70f8d8] __iscsi_complete_pdu at ffffffffa06a02bb
#7 [ffff88063e70f978] iscsi_complete_pdu at ffffffffa06a0729
#8 [ffff88063e70f9a8] iscsi_tcp_hdr_dissect at ffffffffa06b016e
#9 [ffff88063e70fa38] iscsi_tcp_hdr_recv_done at ffffffffa06b03ee
#10 [ffff88063e70faa8] iscsi_tcp_recv at ffffffffa06ae90d
#11 [ffff88063e70fb78] tcp_read_sock at ffffffff804548df
#12 [ffff88063e70fbb8] iscsi_tcp_data_ready at ffffffffa06ae62a
#13 [ffff88063e70fc08] tcp_rcv_established at ffffffff8045c356
#14 [ffff88063e70fc58] tcp_v4_do_rcv at ffffffff804630bd
#15 [ffff88063e70fc78] tcp_v4_rcv at ffffffff80463650
#16 [ffff88063e70fcc8] ip_local_deliver_finish at ffffffff80449bdb
#17 [ffff88063e70fce8] ip_rcv_finish at ffffffff80449833
#18 [ffff88063e70fd38] netif_receive_skb at ffffffff80429141
#19 [ffff88063e70fd88] lro_flush at ffffffff8047af27
#20 [ffff88063e70fdb8] lro_flush_all at ffffffff8047af93
#21 [ffff88063e70fdd8] igb_clean_rx_irq_adv at ffffffffa02677d4
#22 [ffff88063e70fe88] igb_clean_rx_ring_msix at ffffffffa02679a5
#23 [ffff88063e70fec8] net_rx_action at ffffffff804275a4
#24 [ffff88063e70ff18] __do_softirq at ffffffff80242705
#25 [ffff88063e70ff58] call_softirq at ffffffff8020d2dc
#26 [ffff88063e70ff70] do_softirq at ffffffff8020e583
#27 [ffff88063e70ff80] irq_exit at ffffffff80242432
#28 [ffff88063e70ff90] do_IRQ at ffffffff8020e831
--- <IRQ stack> ---
#29 [ffff88033e6f5e28] ret_from_intr at ffffffff8020c531
    [exception RIP: acpi_idle_enter_bm+739]
    RIP: ffffffffa000a2e9  RSP: ffff88033e6f5ed8  RFLAGS: 00000207
    RAX: ffff88033e6f5fd8  RBX: 0000000000d17b31  RCX: 00000261d1e7cf78
    RDX: 0000000000000000  RSI: 00000261d1a50646  RDI: 00000261d1aac57e
    RBP: 0000000000000000   R8: 0000000000000002   R9: ffffffff805dbf91
    R10: 0000000000000000  R11: 0000000000000000  R12: 0000000000000000
    R13: ffffffff806f9274  R14: 0000000000000000  R15: 0000000000000850
    ORIG_RAX: ffffffffffffff5b  CS: 0010  SS: 0018
#30 [ffff88033e6f5ed0] acpi_idle_enter_bm at ffffffffa000a2df
#31 [ffff88033e6f5f20] cpuidle_idle_call at ffffffff8040a95f
#32 [ffff88033e6f5f40] cpu_idle at ffffffff8020b04a


以上能看出是什么问题造成的panic吗？ 或者需要执行其他方式才能看见是什么问题？
我是对内核不了解，忘高手指点

luoyan_xy

#4 [ffff88063e70f790] error_exit at ffffffff8049c4f9
    [exception RIP: __iscsi_conn_send_pdu+84]

在__iscsi_conn_send_pdu函数里挂掉的，具体到哪一行代码可以反汇编一下
或者看一下log命令打印的oops信息，也许会有一些详细点的原因

cu_little_bird

回复 2# luoyan_xy


    谢谢你的回答。反汇编不会啊， log太多了。我再看看

yyddgys

请问   你们的debuginfo包是怎么来的？？
我crash的时候缺少这个包。
这个包有源码的吗？？   希望得到帮助  谢谢

cu_little_bird

回复 4# yyddgys

novell和redhat有自己的ftp下载点， 但是需要账号。 我都用公司的账号，不好意思不能透露公司账号。


   

lenky0401

反汇编都不会，怎么查oops哦。
这个得学一下，几种常见的反汇编手段：
objdump -Dtx
objdump -S
make ...../module.s
gdb内disassemble命令，x/i命令

如果内核你们自己没改，你最好先查一下内核补丁，是否已经暴露有这个问题。

SCDXMOE

回复 4# yyddgys


    高版本的内核不用下载  内核自带了