scp拷贝6小时后服务器直接死掉

microsoft_fly

1、背景：（1）做备份，从主库copy数据文件到从库(pg)，文件有几万个，大小1T
          copy了300G不到后服务器直接死掉
      （2）系统red hat5.8
         (3)配置：dell r720 96G内存，cpu Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz
2、现象：
     （1）服务器的load average刚开始时1不到，随着时间的延长，逐步升高，直至挂掉；
     （2）copy了5个小时后发现kjournald、pdflush进程的cpu消耗一直100%
3、dmesg：
Mar  5 15:07:18 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:07:18 db160 kernel: Pid: 1597, comm: pdflush Not tainted 2.6.18-308.el5 #1
Mar  5 15:07:18 db160 kernel: RIP: 0010:[<ffffffff80064bdf>]  [<ffffffff80064bdf>] .text.lock.spinlock+0x5/0x30
Mar  5 15:07:18 db160 kernel: RSP: 0018:ffff81183f39bb18  EFLAGS: 00000282
Mar  5 15:07:18 db160 kernel: RAX: 0000000000000000 RBX: ffff8106490c8b50 RCX: 0000000000000001
Mar  5 15:07:18 db160 kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: ffff810c3e83e54c
Mar  5 15:07:18 db160 kernel: RBP: ffffffff00000011 R08: ffff810c3fff7400 R09: 0000000000000000
Mar  5 15:07:18 db160 kernel: R10: ffff8106490c8b50 R11: 0000000000000060 R12: ffff8111dd7d9328
Mar  5 15:07:18 db160 kernel: R13: ffff811100000038 R14: ffff8117dbcc2d60 R15: 0000000000000007
Mar  5 15:07:18 db160 kernel: FS:  0000000000000000(0000) GS:ffff81012aed26c0(0000) knlGS:0000000000000000
Mar  5 15:07:18 db160 kernel: CS:  0010 DS: 0018 ES: 0018 CR0: 000000008005003b
Mar  5 15:07:18 db160 kernel: CR2: 00002ab7b48b9028 CR3: 0000000c278e6000 CR4: 00000000000006a0
Mar  5 15:07:18 db160 kernel:
Mar  5 15:07:18 db160 kernel: Call Trace:
Mar  5 15:07:18 db160 kernel:  [<ffffffff88032b71>] :jbd:journal_dirty_data+0x58/0x20d
Mar  5 15:07:18 db160 kernel:  [<ffffffff8804e106>] :ext3:ext3_journal_dirty_data+0xf/0x34
Mar  5 15:07:18 db160 kernel:  [<ffffffff8804d4e0>] :ext3:walk_page_buffers+0x65/0x8b
Mar  5 15:07:18 db160 kernel:  [<ffffffff8804e12b>] :ext3:journal_dirty_data_fn+0x0/0xe
Mar  5 15:07:18 db160 kernel:  [<ffffffff88050629>] :ext3:ext3_ordered_writepage+0x118/0x19c
Mar  5 15:07:18 db160 kernel:  [<ffffffff8001d0c3>] mpage_writepages+0x1bf/0x37d
Mar  5 15:07:18 db160 kernel:  [<ffffffff88050511>] :ext3:ext3_ordered_writepage+0x0/0x19c
Mar  5 15:07:18 db160 kernel:  [<ffffffff8005a878>] do_writepages+0x29/0x2f
Mar  5 15:07:18 db160 kernel:  [<ffffffff8002f95c>] __writeback_single_inode+0x1a2/0x31c
Mar  5 15:07:18 db160 kernel:  [<ffffffff8002df0f>] __wake_up+0x38/0x4f
Mar  5 15:07:18 db160 kernel:  [<ffffffff80021035>] sync_sb_inodes+0x1b7/0x271
Mar  5 15:07:18 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:07:18 db160 kernel:  [<ffffffff80050cda>] writeback_inodes+0x82/0xd8
Mar  5 15:07:18 db160 kernel:  [<ffffffff800cce98>] wb_kupdate+0xf0/0x16a
Mar  5 15:07:18 db160 kernel:  [<ffffffff8005626a>] pdflush+0x0/0x1fb
Mar  5 15:07:18 db160 kernel:  [<ffffffff800563bb>] pdflush+0x151/0x1fb
Mar  5 15:07:18 db160 kernel:  [<ffffffff800ccda8>] wb_kupdate+0x0/0x16a
Mar  5 15:07:18 db160 kernel:  [<ffffffff80032679>] kthread+0xfe/0x132
Mar  5 15:07:18 db160 kernel:  [<ffffffff8009fe4f>] request_module+0x0/0x14d
Mar  5 15:07:18 db160 kernel:  [<ffffffff8005dfb1>] child_rip+0xa/0x11
Mar  5 15:07:18 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:07:18 db160 kernel:  [<ffffffff8003257b>] kthread+0x0/0x132
Mar  5 15:07:18 db160 kernel:  [<ffffffff8005dfa7>] child_rip+0x0/0x11
Mar  5 15:07:18 db160 kernel:
Mar  5 15:07:58 db160 kernel: BUG: soft lockup - CPU#17 stuck for 60s! [kjournald:5575]
Mar  5 15:07:58 db160 kernel: CPU 17:
Mar  5 15:07:58 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:07:58 db160 kernel: Pid: 5575, comm: kjournald Not tainted 2.6.18-308.el5 #1
Mar  5 15:07:58 db160 kernel: RIP: 0010:[<ffffffff880337d3>]  [<ffffffff880337d3>] :jbd:journal_commit_transaction+0x2e5/0x10c2
Mar  5 15:07:58 db160 kernel: RSP: 0018:ffff81183ba5bde0  EFLAGS: 00000202
Mar  5 15:07:58 db160 kernel: RAX: 0000000000004023 RBX: ffff810c3e83e400 RCX: 0000000000000034
Mar  5 15:07:58 db160 kernel: RDX: 0000000000000002 RSI: ffff8111d4994130 RDI: ffff8111d4994130
Mar  5 15:07:58 db160 kernel: RBP: ffffffff801527bf R08: ffff810c40001600 R09: ffff81126030ac18
Mar  5 15:07:58 db160 kernel: R10: 000000002d69d068 R11: ffffffff801527bf R12: ffff810c3e83e400
Mar  5 15:07:58 db160 kernel: R13: ffff81126030ac18 R14: 000000002d69d068 R15: ffffffff801527bf
Mar  5 15:07:59 db160 kernel: FS:  0000000000000000(0000) GS:ffff81183fdb1540(0000) knlGS:0000000000000000
Mar  5 15:07:59 db160 kernel: CS:  0010 DS: 0018 ES: 0018 CR0: 000000008005003b
Mar  5 15:07:59 db160 kernel: CR2: 00002ae6ffe0f000 CR3: 0000001828f80000 CR4: 00000000000006a0
Mar  5 15:07:59 db160 kernel:
Mar  5 15:07:59 db160 kernel: Call Trace:
Mar  5 15:07:59 db160 kernel:  [<ffffffff8003d806>] lock_timer_base+0x1b/0x3c
Mar  5 15:07:59 db160 kernel:  [<ffffffff8004ad6b>] try_to_del_timer_sync+0x7f/0x88
Mar  5 15:07:59 db160 kernel:  [<ffffffff880376a3>] :jbd:kjournald+0xc1/0x213
Mar  5 15:07:59 db160 kernel:  [<ffffffff800a3444>] autoremove_wake_function+0x0/0x2e
Mar  5 15:07:59 db160 kernel:  [<ffffffff880375e2>] :jbd:kjournald+0x0/0x213
Mar  5 15:07:59 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:07:59 db160 kernel:  [<ffffffff80032679>] kthread+0xfe/0x132
Mar  5 15:07:59 db160 kernel:  [<ffffffff8005dfb1>] child_rip+0xa/0x11
Mar  5 15:07:59 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:07:59 db160 kernel:  [<ffffffff8003257b>] kthread+0x0/0x132
Mar  5 15:07:59 db160 kernel:  [<ffffffff8005dfa7>] child_rip+0x0/0x11
Mar  5 15:07:59 db160 kernel:
Mar  5 15:08:00 db160 kernel: BUG: soft lockup - CPU#1 stuck for 60s! [scp:10444]
Mar  5 15:08:00 db160 kernel: CPU 1:
Mar  5 15:08:00 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:08:00 db160 kernel: Pid: 10444, comm: scp Not tainted 2.6.18-308.el5 #1
Mar  5 15:08:00 db160 kernel: RIP: 0010:[<ffffffff80064bdf>]  [<ffffffff80064bdf>] .text.lock.spinlock+0x5/0x30
Mar  5 15:08:00 db160 kernel: RSP: 0018:ffff811828425af0  EFLAGS: 00000282
Mar  5 15:08:00 db160 kernel: RAX: 0000000000000000 RBX: ffff81064a57ceb0 RCX: 0000000000001000
Mar  5 15:08:00 db160 kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: ffff810c3e83e54c
Mar  5 15:08:00 db160 kernel: RBP: ffff810c40003c10 R08: 0000000000000000 R09: 0000000000000000
Mar  5 15:08:00 db160 kernel: R10: ffff81064a57ceb0 R11: 0000000000000060 R12: ffffffff8000e82e
Mar  5 15:08:00 db160 kernel: R13: ffff810116043390 R14: 0000000000000000 R15: 0000000000001000
Mar  5 15:08:00 db160 kernel: FS:  00002b13c7d9d780(0000) GS:ffff810c4014fa40(0000) knlGS:0000000000000000
Mar  5 15:08:00 db160 kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 000000008005003b
Mar  5 15:08:00 db160 kernel: CR2: 00002abd78632b28 CR3: 0000001828f80000 CR4: 00000000000006a0
Mar  5 15:08:00 db160 kernel:
Mar  5 15:08:00 db160 kernel: Call Trace:
Mar  5 15:08:00 db160 kernel:  [<ffffffff88032b71>] :jbd:journal_dirty_data+0x58/0x20d
Mar  5 15:08:00 db160 kernel:  [<ffffffff8804e106>] :ext3:ext3_journal_dirty_data+0xf/0x34
Mar  5 15:08:00 db160 kernel:  [<ffffffff8804d4e0>] :ext3:walk_page_buffers+0x65/0x8b
Mar  5 15:08:00 db160 kernel:  [<ffffffff8804e0f7>] :ext3:ext3_journal_dirty_data+0x0/0x34
Mar  5 15:08:00 db160 kernel:  [<ffffffff8804ffd3>] :ext3:ext3_ordered_write_end+0x7e/0x118
Mar  5 15:08:00 db160 kernel:  [<ffffffff8000fedb>] generic_file_buffered_write+0x1cc/0x6a9
Mar  5 15:08:00 db160 kernel:  [<ffffffff80016755>] __generic_file_aio_write_nolock+0x369/0x3b6
Mar  5 15:08:00 db160 kernel:  [<ffffffff800218b1>] generic_file_aio_write+0x67/0xc3
Mar  5 15:08:00 db160 kernel:  [<ffffffff8804c1c2>] :ext3:ext3_file_write+0x16/0x91
Mar  5 15:08:00 db160 kernel:  [<ffffffff800183e0>] do_sync_write+0xc7/0x104
Mar  5 15:08:00 db160 kernel:  [<ffffffff800a3444>] autoremove_wake_function+0x0/0x2e
Mar  5 15:08:00 db160 kernel:  [<ffffffff80016b5d>] vfs_write+0xce/0x174
Mar  5 15:08:00 db160 kernel:  [<ffffffff80017426>] sys_write+0x45/0x6e
Mar  5 15:08:00 db160 kernel:  [<ffffffff8005d28d>] tracesys+0xd5/0xe0
Mar  5 15:08:00 db160 kernel:
Mar  5 15:08:18 db160 kernel: BUG: soft lockup - CPU#12 stuck for 60s! [pdflush:1597]
Mar  5 15:08:18 db160 kernel: CPU 12:
Mar  5 15:08:18 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:08:18 db160 kernel: Pid: 1597, comm: pdflush Not tainted 2.6.18-308.el5 #1
Mar  5 15:08:18 db160 kernel: RIP: 0010:[<ffffffff80064bdf>]  [<ffffffff80064bdf>] .text.lock.spinlock+0x5/0x30
Mar  5 15:08:18 db160 kernel: RSP: 0018:ffff81183f39bb18  EFLAGS: 00000282
Mar  5 15:08:18 db160 kernel: RAX: 0000000000000000 RBX: ffff8106490c8b50 RCX: 0000000000000001
Mar  5 15:08:18 db160 kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: ffff810c3e83e54c
Mar  5 15:08:18 db160 kernel: RBP: ffffffff00000011 R08: ffff810c3fff7400 R09: 0000000000000000
Mar  5 15:08:18 db160 kernel: R10: ffff8106490c8b50 R11: 0000000000000060 R12: ffff8111dd7d9328
Mar  5 15:08:18 db160 kernel: R13: ffff811100000038 R14: ffff8117dbcc2d60 R15: 0000000000000007
Mar  5 15:08:18 db160 kernel: FS:  0000000000000000(0000) GS:ffff81012aed26c0(0000) knlGS:0000000000000000
Mar  5 15:08:18 db160 kernel: CS:  0010 DS: 0018 ES: 0018 CR0: 000000008005003b
Mar  5 15:08:18 db160 kernel: CR2: 00002ab7b48b9028 CR3: 0000000c278e6000 CR4: 00000000000006a0
Mar  5 15:08:18 db160 kernel:
Mar  5 15:08:18 db160 kernel: Call Trace:
Mar  5 15:08:18 db160 kernel:  [<ffffffff88032b71>] :jbd:journal_dirty_data+0x58/0x20d
Mar  5 15:08:18 db160 kernel:  [<ffffffff8804e106>] :ext3:ext3_journal_dirty_data+0xf/0x34
Mar  5 15:08:18 db160 kernel:  [<ffffffff8804d4e0>] :ext3:walk_page_buffers+0x65/0x8b
Mar  5 15:08:18 db160 kernel:  [<ffffffff8804e12b>] :ext3:journal_dirty_data_fn+0x0/0xe
Mar  5 15:08:18 db160 kernel:  [<ffffffff88050629>] :ext3:ext3_ordered_writepage+0x118/0x19c
Mar  5 15:08:18 db160 kernel:  [<ffffffff8001d0c3>] mpage_writepages+0x1bf/0x37d
Mar  5 15:08:18 db160 kernel:  [<ffffffff88050511>] :ext3:ext3_ordered_writepage+0x0/0x19c
Mar  5 15:08:18 db160 kernel:  [<ffffffff8005a878>] do_writepages+0x29/0x2f
Mar  5 15:08:18 db160 kernel:  [<ffffffff8002f95c>] __writeback_single_inode+0x1a2/0x31c
Mar  5 15:08:18 db160 kernel:  [<ffffffff8002df0f>] __wake_up+0x38/0x4f
Mar  5 15:08:18 db160 kernel:  [<ffffffff80021035>] sync_sb_inodes+0x1b7/0x271
Mar  5 15:08:18 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:08:18 db160 kernel:  [<ffffffff80050cda>] writeback_inodes+0x82/0xd8
Mar  5 15:08:18 db160 kernel:  [<ffffffff800cce98>] wb_kupdate+0xf0/0x16a
Mar  5 15:08:18 db160 kernel:  [<ffffffff8005626a>] pdflush+0x0/0x1fb
Mar  5 15:08:18 db160 kernel:  [<ffffffff800563bb>] pdflush+0x151/0x1fb
Mar  5 15:08:18 db160 kernel:  [<ffffffff800ccda8>] wb_kupdate+0x0/0x16a
Mar  5 15:08:18 db160 kernel:  [<ffffffff80032679>] kthread+0xfe/0x132
Mar  5 15:08:18 db160 kernel:  [<ffffffff8009fe4f>] request_module+0x0/0x14d
Mar  5 15:08:18 db160 kernel:  [<ffffffff8005dfb1>] child_rip+0xa/0x11
Mar  5 15:08:18 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:08:18 db160 kernel:  [<ffffffff8003257b>] kthread+0x0/0x132
Mar  5 15:08:18 db160 kernel:  [<ffffffff8005dfa7>] child_rip+0x0/0x11
Mar  5 15:08:18 db160 kernel:
Mar  5 15:08:54 db160 snmpd[8027]: Connection from UDP: [192.168.200.178]:55202
Mar  5 15:08:54 db160 snmpd[8027]: Received SNMP packet(s) from UDP: [192.168.200.178]:55202
Mar  5 15:08:59 db160 kernel: BUG: soft lockup - CPU#17 stuck for 60s! [kjournald:5575]
Mar  5 15:08:59 db160 kernel: CPU 17:
Mar  5 15:08:59 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:08:59 db160 kernel: Pid: 5575, comm: kjournald Not tainted 2.6.18-308.el5 #1
Mar  5 15:08:59 db160 kernel: RIP: 0010:[<ffffffff880338a1>]  [<ffffffff880338a1>] :jbd:journal_commit_transaction+0x3b3/0x10c2
Mar  5 15:08:59 db160 kernel: RSP: 0018:ffff81183ba5bde0  EFLAGS: 00000207
Mar  5 15:08:59 db160 kernel: RAX: 0000000000104027 RBX: ffff810c3e83e400 RCX: 0000000000000034
Mar  5 15:08:59 db160 kernel: RDX: ffff8111d522cd30 RSI: ffff8111d4994130 RDI: ffff8111d522cd30
Mar  5 15:08:59 db160 kernel: RBP: ffffffff801527bf R08: ffff810c40001600 R09: ffff81126030ac18
Mar  5 15:08:59 db160 kernel: R10: 000000002d69d068 R11: ffffffff801527bf R12: ffff810c3e83e400
Mar  5 15:08:59 db160 kernel: R13: ffff81126030ac18 R14: 000000002d69d068 R15: ffffffff801527bf
Mar  5 15:08:59 db160 kernel: FS:  0000000000000000(0000) GS:ffff81183fdb1540(0000) knlGS:0000000000000000
Mar  5 15:08:59 db160 kernel: CS:  0010 DS: 0018 ES: 0018 CR0: 000000008005003b
Mar  5 15:08:59 db160 kernel: CR2: 00002ae6ffe0f000 CR3: 0000001828f80000 CR4: 00000000000006a0
Mar  5 15:08:59 db160 kernel:
Mar  5 15:08:59 db160 kernel: Call Trace:
Mar  5 15:08:59 db160 kernel:  [<ffffffff8003d806>] lock_timer_base+0x1b/0x3c
Mar  5 15:08:59 db160 kernel:  [<ffffffff8004ad6b>] try_to_del_timer_sync+0x7f/0x88
Mar  5 15:08:59 db160 kernel:  [<ffffffff880376a3>] :jbd:kjournald+0xc1/0x213
Mar  5 15:08:59 db160 kernel:  [<ffffffff800a3444>] autoremove_wake_function+0x0/0x2e
Mar  5 15:08:59 db160 kernel:  [<ffffffff880375e2>] :jbd:kjournald+0x0/0x213
Mar  5 15:08:59 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:08:59 db160 kernel:  [<ffffffff80032679>] kthread+0xfe/0x132
Mar  5 15:08:59 db160 kernel:  [<ffffffff8005dfb1>] child_rip+0xa/0x11
Mar  5 15:08:59 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:08:59 db160 kernel:  [<ffffffff8003257b>] kthread+0x0/0x132
Mar  5 15:08:59 db160 kernel:  [<ffffffff8005dfa7>] child_rip+0x0/0x11
Mar  5 15:08:59 db160 kernel:
Mar  5 15:09:00 db160 kernel: BUG: soft lockup - CPU#1 stuck for 60s! [scp:10444]
Mar  5 15:09:00 db160 kernel: CPU 1:
Mar  5 15:09:00 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:09:00 db160 kernel: Pid: 10444, comm: scp Not tainted 2.6.18-308.el5 #1
Mar  5 15:09:00 db160 kernel: RIP: 0010:[<ffffffff80064bdc>]  [<ffffffff80064bdc>] .text.lock.spinlock+0x2/0x30
Mar  5 15:09:00 db160 kernel: RSP: 0018:ffff811828425af0  EFLAGS: 00000282
Mar  5 15:09:00 db160 kernel: RAX: 0000000000000000 RBX: ffff81064a57ceb0 RCX: 0000000000001000
Mar  5 15:09:00 db160 kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: ffff810c3e83e54c
Mar  5 15:09:00 db160 kernel: RBP: ffff810c40003c10 R08: 0000000000000000 R09: 0000000000000000
Mar  5 15:09:00 db160 kernel: R10: ffff81064a57ceb0 R11: 0000000000000060 R12: ffffffff8000e82e
Mar  5 15:09:00 db160 kernel: R13: ffff810116043390 R14: 0000000000000000 R15: 0000000000001000
Mar  5 15:09:00 db160 kernel: FS:  00002b13c7d9d780(0000) GS:ffff810c4014fa40(0000) knlGS:0000000000000000
Mar  5 15:09:00 db160 kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 000000008005003b
Mar  5 15:09:00 db160 kernel: CR2: 00002abd78632b28 CR3: 0000001828f80000 CR4: 00000000000006a0
Mar  5 15:09:00 db160 kernel:
Mar  5 15:09:00 db160 kernel: Call Trace:
Mar  5 15:09:00 db160 kernel:  [<ffffffff88032b71>] :jbd:journal_dirty_data+0x58/0x20d
Mar  5 15:09:00 db160 kernel:  [<ffffffff8804e106>] :ext3:ext3_journal_dirty_data+0xf/0x34
Mar  5 15:09:00 db160 kernel:  [<ffffffff8804d4e0>] :ext3:walk_page_buffers+0x65/0x8b
Mar  5 15:09:00 db160 kernel:  [<ffffffff8804e0f7>] :ext3:ext3_journal_dirty_data+0x0/0x34
Mar  5 15:09:00 db160 kernel:  [<ffffffff8804ffd3>] :ext3:ext3_ordered_write_end+0x7e/0x118
Mar  5 15:09:00 db160 kernel:  [<ffffffff8000fedb>] generic_file_buffered_write+0x1cc/0x6a9
Mar  5 15:09:00 db160 kernel:  [<ffffffff80016755>] __generic_file_aio_write_nolock+0x369/0x3b6
Mar  5 15:09:00 db160 kernel:  [<ffffffff800218b1>] generic_file_aio_write+0x67/0xc3
Mar  5 15:09:00 db160 kernel:  [<ffffffff8804c1c2>] :ext3:ext3_file_write+0x16/0x91
Mar  5 15:09:00 db160 kernel:  [<ffffffff800183e0>] do_sync_write+0xc7/0x104
Mar  5 15:09:00 db160 kernel:  [<ffffffff800a3444>] autoremove_wake_function+0x0/0x2e
Mar  5 15:09:00 db160 kernel:  [<ffffffff80016b5d>] vfs_write+0xce/0x174
Mar  5 15:09:00 db160 kernel:  [<ffffffff80017426>] sys_write+0x45/0x6e
Mar  5 15:09:00 db160 kernel:  [<ffffffff8005d28d>] tracesys+0xd5/0xe0
Mar  5 15:09:00 db160 kernel:
Mar  5 15:09:18 db160 kernel: BUG: soft lockup - CPU#12 stuck for 60s! [pdflush:1597]
Mar  5 15:09:18 db160 kernel: CPU 12:
Mar  5 15:09:18 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:09:18 db160 kernel: Pid: 1597, comm: pdflush Not tainted 2.6.18-308.el5 #1
Mar  5 15:09:18 db160 kernel: RIP: 0010:[<ffffffff80064bdf>]  [<ffffffff80064bdf>] .text.lock.spinlock+0x5/0x30
Mar  5 15:09:18 db160 kernel: RSP: 0018:ffff81183f39bb18  EFLAGS: 00000282
Mar  5 15:09:18 db160 kernel: RAX: 0000000000000000 RBX: ffff8106490c8b50 RCX: 0000000000000001
Mar  5 15:09:18 db160 kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: ffff810c3e83e54c
Mar  5 15:09:18 db160 kernel: RBP: ffffffff00000011 R08: ffff810c3fff7400 R09: 0000000000000000
Mar  5 15:09:18 db160 kernel: R10: ffff8106490c8b50 R11: 0000000000000060 R12: ffff8111dd7d9328
Mar  5 15:09:18 db160 kernel: R13: ffff811100000038 R14: ffff8117dbcc2d60 R15: 0000000000000007
Mar  5 15:09:19 db160 kernel: FS:  0000000000000000(0000) GS:ffff81012aed26c0(0000) knlGS:0000000000000000
Mar  5 15:09:19 db160 kernel: CS:  0010 DS: 0018 ES: 0018 CR0: 000000008005003b
Mar  5 15:09:19 db160 kernel: CR2: 00002ab7b48b9028 CR3: 0000000c278e6000 CR4: 00000000000006a0
Mar  5 15:09:19 db160 kernel:
Mar  5 15:09:19 db160 kernel: Call Trace:
Mar  5 15:09:19 db160 kernel:  [<ffffffff88032b71>] :jbd:journal_dirty_data+0x58/0x20d
Mar  5 15:09:19 db160 kernel:  [<ffffffff8804e106>] :ext3:ext3_journal_dirty_data+0xf/0x34
Mar  5 15:09:19 db160 kernel:  [<ffffffff8804d4e0>] :ext3:walk_page_buffers+0x65/0x8b
Mar  5 15:09:19 db160 kernel:  [<ffffffff8804e12b>] :ext3:journal_dirty_data_fn+0x0/0xe
Mar  5 15:09:19 db160 kernel:  [<ffffffff88050629>] :ext3:ext3_ordered_writepage+0x118/0x19c
Mar  5 15:09:19 db160 kernel:  [<ffffffff8001d0c3>] mpage_writepages+0x1bf/0x37d
Mar  5 15:09:19 db160 kernel:  [<ffffffff88050511>] :ext3:ext3_ordered_writepage+0x0/0x19c
Mar  5 15:09:19 db160 kernel:  [<ffffffff8005a878>] do_writepages+0x29/0x2f
Mar  5 15:09:19 db160 kernel:  [<ffffffff8002f95c>] __writeback_single_inode+0x1a2/0x31c
Mar  5 15:09:19 db160 kernel:  [<ffffffff8002df0f>] __wake_up+0x38/0x4f
Mar  5 15:09:19 db160 kernel:  [<ffffffff80021035>] sync_sb_inodes+0x1b7/0x271
Mar  5 15:09:19 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:09:19 db160 kernel:  [<ffffffff80050cda>] writeback_inodes+0x82/0xd8
Mar  5 15:09:19 db160 kernel:  [<ffffffff800cce98>] wb_kupdate+0xf0/0x16a
Mar  5 15:09:19 db160 kernel:  [<ffffffff8005626a>] pdflush+0x0/0x1fb
Mar  5 15:09:19 db160 kernel:  [<ffffffff800563bb>] pdflush+0x151/0x1fb
Mar  5 15:09:19 db160 kernel:  [<ffffffff800ccda8>] wb_kupdate+0x0/0x16a
Mar  5 15:09:19 db160 kernel:  [<ffffffff80032679>] kthread+0xfe/0x132
Mar  5 15:09:19 db160 kernel:  [<ffffffff8009fe4f>] request_module+0x0/0x14d
Mar  5 15:09:19 db160 kernel:  [<ffffffff8005dfb1>] child_rip+0xa/0x11
Mar  5 15:09:19 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:09:19 db160 kernel:  [<ffffffff8003257b>] kthread+0x0/0x132
Mar  5 15:09:19 db160 kernel:  [<ffffffff8005dfa7>] child_rip+0x0/0x11
Mar  5 15:09:19 db160 kernel:
Mar  5 15:09:59 db160 kernel: BUG: soft lockup - CPU#17 stuck for 60s! [kjournald:5575]
Mar  5 15:09:59 db160 kernel: CPU 17:
Mar  5 15:09:59 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:09:59 db160 kernel: Pid: 5575, comm: kjournald Not tainted 2.6.18-308.el5 #1
Mar  5 15:09:59 db160 kernel: RIP: 0010:[<ffffffff88033405>]  [<ffffffff88033405>] :jbd:inverted_lock+0x9/0x29
Mar  5 15:09:59 db160 kernel: RSP: 0018:ffff81183ba5bdd0  EFLAGS: 00000282
Mar  5 15:09:59 db160 kernel: RAX: 0000000000000000 RBX: ffff810c3e83e400 RCX: 0000000000000034
Mar  5 15:09:59 db160 kernel: RDX: 0000000000000002 RSI: ffff8111d4994130 RDI: ffff810c3e83e400
Mar  5 15:09:59 db160 kernel: RBP: ffffffff801527bf R08: ffff810c40001600 R09: ffff81126030ac18
Mar  5 15:09:59 db160 kernel: R10: 000000002d69d068 R11: ffffffff801527bf R12: ffff810c3e83e400
Mar  5 15:09:59 db160 kernel: R13: ffffffff801527bf R14: ffff810c3e83e400 R15: ffffffff801527bf
Mar  5 15:09:59 db160 kernel: FS:  0000000000000000(0000) GS:ffff81183fdb1540(0000) knlGS:0000000000000000
Mar  5 15:09:59 db160 kernel: CS:  0010 DS: 0018 ES: 0018 CR0: 000000008005003b
Mar  5 15:09:59 db160 kernel: CR2: 00002ae6ffe0f000 CR3: 0000001828f80000 CR4: 00000000000006a0
Mar  5 15:09:59 db160 kernel:
Mar  5 15:09:59 db160 kernel: Call Trace:
Mar  5 15:09:59 db160 kernel:  [<ffffffff88033840>] :jbd:journal_commit_transaction+0x352/0x10c2
Mar  5 15:09:59 db160 kernel:  [<ffffffff8003d806>] lock_timer_base+0x1b/0x3c
Mar  5 15:09:59 db160 kernel:  [<ffffffff8004ad6b>] try_to_del_timer_sync+0x7f/0x88
Mar  5 15:09:59 db160 kernel:  [<ffffffff880376a3>] :jbd:kjournald+0xc1/0x213
Mar  5 15:09:59 db160 kernel:  [<ffffffff800a3444>] autoremove_wake_function+0x0/0x2e
Mar  5 15:09:59 db160 kernel:  [<ffffffff880375e2>] :jbd:kjournald+0x0/0x213
Mar  5 15:09:59 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:09:59 db160 kernel:  [<ffffffff80032679>] kthread+0xfe/0x132
Mar  5 15:09:59 db160 kernel:  [<ffffffff8005dfb1>] child_rip+0xa/0x11
Mar  5 15:09:59 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:09:59 db160 kernel:  [<ffffffff8003257b>] kthread+0x0/0x132
Mar  5 15:09:59 db160 kernel:  [<ffffffff8005dfa7>] child_rip+0x0/0x11
Mar  5 15:09:59 db160 kernel:
Mar  5 15:10:00 db160 kernel: BUG: soft lockup - CPU#1 stuck for 60s! [scp:10444]
Mar  5 15:10:00 db160 kernel: CPU 1:
Mar  5 15:10:00 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:10:00 db160 kernel: Pid: 10444, comm: scp Not tainted 2.6.18-308.el5 #1
Mar  5 15:10:00 db160 kernel: RIP: 0010:[<ffffffff80064bdf>]  [<ffffffff80064bdf>] .text.lock.spinlock+0x5/0x30
Mar  5 15:10:00 db160 kernel: RSP: 0018:ffff811828425af0  EFLAGS: 00000282
Mar  5 15:10:00 db160 kernel: RAX: 0000000000000000 RBX: ffff81064a57ceb0 RCX: 0000000000001000
Mar  5 15:10:00 db160 kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: ffff810c3e83e54c
Mar  5 15:10:00 db160 kernel: RBP: ffff810c40003c10 R08: 0000000000000000 R09: 0000000000000000
Mar  5 15:10:00 db160 kernel: R10: ffff81064a57ceb0 R11: 0000000000000060 R12: ffffffff8000e82e
Mar  5 15:10:00 db160 kernel: R13: ffff810116043390 R14: 0000000000000000 R15: 0000000000001000
Mar  5 15:10:00 db160 kernel: FS:  00002b13c7d9d780(0000) GS:ffff810c4014fa40(0000) knlGS:0000000000000000
Mar  5 15:10:00 db160 kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 000000008005003b
Mar  5 15:10:00 db160 kernel: CR2: 00002abd78632b28 CR3: 0000001828f80000 CR4: 00000000000006a0
Mar  5 15:10:00 db160 kernel:
Mar  5 15:10:00 db160 kernel: Call Trace:
Mar  5 15:10:00 db160 kernel:  [<ffffffff88032b71>] :jbd:journal_dirty_data+0x58/0x20d
Mar  5 15:10:00 db160 kernel:  [<ffffffff8804e106>] :ext3:ext3_journal_dirty_data+0xf/0x34
Mar  5 15:10:00 db160 kernel:  [<ffffffff8804d4e0>] :ext3:walk_page_buffers+0x65/0x8b
Mar  5 15:10:00 db160 kernel:  [<ffffffff8804e0f7>] :ext3:ext3_journal_dirty_data+0x0/0x34
Mar  5 15:10:01 db160 kernel:  [<ffffffff8804ffd3>] :ext3:ext3_ordered_write_end+0x7e/0x118
Mar  5 15:10:01 db160 kernel:  [<ffffffff8000fedb>] generic_file_buffered_write+0x1cc/0x6a9
Mar  5 15:10:01 db160 kernel:  [<ffffffff80016755>] __generic_file_aio_write_nolock+0x369/0x3b6
Mar  5 15:10:01 db160 kernel:  [<ffffffff800218b1>] generic_file_aio_write+0x67/0xc3
Mar  5 15:10:01 db160 kernel:  [<ffffffff8804c1c2>] :ext3:ext3_file_write+0x16/0x91
Mar  5 15:10:01 db160 kernel:  [<ffffffff800183e0>] do_sync_write+0xc7/0x104
Mar  5 15:10:01 db160 kernel:  [<ffffffff800a3444>] autoremove_wake_function+0x0/0x2e
Mar  5 15:10:01 db160 kernel:  [<ffffffff80016b5d>] vfs_write+0xce/0x174
Mar  5 15:10:01 db160 kernel:  [<ffffffff80017426>] sys_write+0x45/0x6e
Mar  5 15:10:01 db160 kernel:  [<ffffffff8005d28d>] tracesys+0xd5/0xe0
Mar  5 15:10:01 db160 kernel:
Mar  5 15:10:19 db160 kernel: BUG: soft lockup - CPU#12 stuck for 60s! [pdflush:1597]
Mar  5 15:10:19 db160 kernel: CPU 12:
Mar  5 15:10:19 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:10:19 db160 kernel: Pid: 1597, comm: pdflush Not tainted 2.6.18-308.el5 #1
Mar  5 15:10:19 db160 kernel: RIP: 0010:[<ffffffff80064bdf>]  [<ffffffff80064bdf>] .text.lock.spinlock+0x5/0x30
Mar  5 15:10:19 db160 kernel: RSP: 0018:ffff81183f39bb18  EFLAGS: 00000282
Mar  5 15:10:19 db160 kernel: RAX: 0000000000000000 RBX: ffff8106490c8b50 RCX: 0000000000000001
Mar  5 15:10:19 db160 kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: ffff810c3e83e54c
Mar  5 15:10:19 db160 kernel: RBP: ffffffff00000011 R08: ffff810c3fff7400 R09: 0000000000000000
Mar  5 15:10:19 db160 kernel: R10: ffff8106490c8b50 R11: 0000000000000060 R12: ffff8111dd7d9328
Mar  5 15:10:19 db160 kernel: R13: ffff811100000038 R14: ffff8117dbcc2d60 R15: 0000000000000007
Mar  5 15:10:19 db160 kernel: FS:  0000000000000000(0000) GS:ffff81012aed26c0(0000) knlGS:0000000000000000
Mar  5 15:10:19 db160 kernel: CS:  0010 DS: 0018 ES: 0018 CR0: 000000008005003b
Mar  5 15:10:19 db160 kernel: CR2: 00002ab7b48b9028 CR3: 0000000c278e6000 CR4: 00000000000006a0
Mar  5 15:10:19 db160 kernel:
Mar  5 15:10:19 db160 kernel: Call Trace:
Mar  5 15:10:19 db160 kernel:  [<ffffffff88032b71>] :jbd:journal_dirty_data+0x58/0x20d
Mar  5 15:10:19 db160 kernel:  [<ffffffff8804e106>] :ext3:ext3_journal_dirty_data+0xf/0x34
Mar  5 15:10:19 db160 kernel:  [<ffffffff8804d4e0>] :ext3:walk_page_buffers+0x65/0x8b
Mar  5 15:10:19 db160 kernel:  [<ffffffff8804e12b>] :ext3:journal_dirty_data_fn+0x0/0xe
Mar  5 15:10:19 db160 kernel:  [<ffffffff88050629>] :ext3:ext3_ordered_writepage+0x118/0x19c
Mar  5 15:10:19 db160 kernel:  [<ffffffff8001d0c3>] mpage_writepages+0x1bf/0x37d
Mar  5 15:10:19 db160 kernel:  [<ffffffff88050511>] :ext3:ext3_ordered_writepage+0x0/0x19c
Mar  5 15:10:19 db160 kernel:  [<ffffffff8005a878>] do_writepages+0x29/0x2f
Mar  5 15:10:19 db160 kernel:  [<ffffffff8002f95c>] __writeback_single_inode+0x1a2/0x31c
Mar  5 15:10:19 db160 kernel:  [<ffffffff8002df0f>] __wake_up+0x38/0x4f
Mar  5 15:10:19 db160 kernel:  [<ffffffff80021035>] sync_sb_inodes+0x1b7/0x271
Mar  5 15:10:19 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:10:19 db160 kernel:  [<ffffffff80050cda>] writeback_inodes+0x82/0xd8
Mar  5 15:10:19 db160 kernel:  [<ffffffff800cce98>] wb_kupdate+0xf0/0x16a
Mar  5 15:10:19 db160 kernel:  [<ffffffff8005626a>] pdflush+0x0/0x1fb
Mar  5 15:10:19 db160 kernel:  [<ffffffff800563bb>] pdflush+0x151/0x1fb
Mar  5 15:10:19 db160 kernel:  [<ffffffff800ccda8>] wb_kupdate+0x0/0x16a
Mar  5 15:10:19 db160 kernel:  [<ffffffff80032679>] kthread+0xfe/0x132
Mar  5 15:10:19 db160 kernel:  [<ffffffff8009fe4f>] request_module+0x0/0x14d
Mar  5 15:10:19 db160 kernel:  [<ffffffff8005dfb1>] child_rip+0xa/0x11
Mar  5 15:10:19 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:10:19 db160 kernel:  [<ffffffff8003257b>] kthread+0x0/0x132
Mar  5 15:10:19 db160 kernel:  [<ffffffff8005dfa7>] child_rip+0x0/0x11
Mar  5 15:10:19 db160 kernel:
Mar  5 15:10:59 db160 kernel: BUG: soft lockup - CPU#17 stuck for 60s! [kjournald:5575]
Mar  5 15:10:59 db160 kernel: CPU 17:
Mar  5 15:10:59 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:10:59 db160 kernel: Pid: 5575, comm: kjournald Not tainted 2.6.18-308.el5 #1
Mar  5 15:10:59 db160 kernel: RIP: 0010:[<ffffffff8003b371>]  [<ffffffff8003b371>] unlock_buffer+0x5/0xf
Mar  5 15:10:59 db160 kernel: RSP: 0018:ffff81183ba5bdd8  EFLAGS: 00000203
Mar  5 15:10:59 db160 kernel: RAX: 0000000000104027 RBX: ffff810c3e83e400 RCX: 0000000000000034
Mar  5 15:10:59 db160 kernel: RDX: ffff8111d522cd30 RSI: ffff8111d4994130 RDI: ffff8111d4994130
Mar  5 15:10:59 db160 kernel: RBP: ffff81126030ac18 R08: ffff810c40001600 R09: ffff81126030ac18
Mar  5 15:10:59 db160 kernel: R10: 000000002d69d068 R11: ffffffff801527bf R12: 000000002d69d068
Mar  5 15:10:59 db160 kernel: R13: ffffffff801527bf R14: ffff810c3e83e400 R15: ffffffff801527bf
Mar  5 15:10:59 db160 kernel: FS:  0000000000000000(0000) GS:ffff81183fdb1540(0000) knlGS:0000000000000000
Mar  5 15:10:59 db160 kernel: CS:  0010 DS: 0018 ES: 0018 CR0: 000000008005003b
Mar  5 15:10:59 db160 kernel: CR2: 00002ae6ffe0f000 CR3: 0000001828f80000 CR4: 00000000000006a0
Mar  5 15:10:59 db160 kernel:
Mar  5 15:10:59 db160 kernel: Call Trace:
Mar  5 15:10:59 db160 kernel:  [<ffffffff880338ae>] :jbd:journal_commit_transaction+0x3c0/0x10c2
Mar  5 15:10:59 db160 kernel:  [<ffffffff8003d806>] lock_timer_base+0x1b/0x3c
Mar  5 15:10:59 db160 kernel:  [<ffffffff8004ad6b>] try_to_del_timer_sync+0x7f/0x88
Mar  5 15:10:59 db160 kernel:  [<ffffffff880376a3>] :jbd:kjournald+0xc1/0x213
Mar  5 15:10:59 db160 kernel:  [<ffffffff800a3444>] autoremove_wake_function+0x0/0x2e
Mar  5 15:10:59 db160 kernel:  [<ffffffff880375e2>] :jbd:kjournald+0x0/0x213
Mar  5 15:10:59 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:10:59 db160 kernel:  [<ffffffff80032679>] kthread+0xfe/0x132
Mar  5 15:10:59 db160 kernel:  [<ffffffff8005dfb1>] child_rip+0xa/0x11
Mar  5 15:10:59 db160 kernel:  [<ffffffff800a322c>] keventd_create_kthread+0x0/0xc4
Mar  5 15:10:59 db160 kernel:  [<ffffffff8003257b>] kthread+0x0/0x132
Mar  5 15:10:59 db160 kernel:  [<ffffffff8005dfa7>] child_rip+0x0/0x11
Mar  5 15:10:59 db160 kernel:
Mar  5 15:11:01 db160 kernel: BUG: soft lockup - CPU#1 stuck for 60s! [scp:10444]
Mar  5 15:11:01 db160 kernel: CPU 1:
Mar  5 15:11:01 db160 kernel: Modules linked in: autofs4 hidp rfcomm l2cap bluetooth lockd sunrpc be2iscsi ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp bnx2i cnic ipv6 xfrm_nalgo crypto_api uio cxgb3i libcxgbi cxgb3 8021q libiscsi_tcp libiscsi2 scsi_transport_iscsi2 scsi_transport_iscsi dm_multipath scsi_dh video backlight sbs power_meter hwmon i2c_ec i2c_core dell_wmi wmi button battery asus_acpi acpi_memhotplug ac parport_pc lp parport joydev tpm_tis sg tpm tg3 tpm_bios pcspkr dm_raid45 dm_message dm_region_hash dm_mem_cache dm_snapshot dm_zero dm_mirror dm_log dm_mod usb_storage ahci libata shpchp megaraid_sas sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd
Mar  5 15:11:01 db160 kernel: Pid: 10444, comm: scp Not tainted 2.6.18-308.el5 #1
Mar  5 15:11:01 db160 kernel: RIP: 0010:[<ffffffff80064bdc>]  [<ffffffff80064bdc>] .text.lock.spinlock+0x2/0x30
Mar  5 15:11:01 db160 kernel: RSP: 0018:ffff811828425af0  EFLAGS: 00000282
Mar  5 15:11:01 db160 kernel: RAX: 0000000000000000 RBX: ffff81064a57ceb0 RCX: 0000000000001000
Mar  5 15:11:01 db160 kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: ffff810c3e83e54c
Mar  5 15:11:01 db160 kernel: RBP: ffff810c40003c10 R08: 0000000000000000 R09: 0000000000000000
Mar  5 15:11:01 db160 kernel: R10: ffff81064a57ceb0 R11: 0000000000000060 R12: ffffffff8000e82e
Mar  5 15:11:01 db160 kernel: R13: ffff810116043390 R14: 0000000000000000 R15: 0000000000001000
Mar  5 15:11:01 db160 kernel: FS:  00002b13c7d9d780(0000) GS:ffff810c4014fa40(0000) knlGS:0000000000000000
Mar  5 15:11:01 db160 kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 000000008005003b
Mar  5 15:11:01 db160 kernel: CR2: 00002abd78632b28 CR3: 0000001828f80000 CR4: 00000000000006a0
.........................
4、做了dest support报告发给dell说硬件没问题。
现在不清楚到底哪里有问题，请教各位！先谢了！

microsoft_fly

5、top信息：
[root@db160 cups]# top
top - 15:14:34 up 19:21,  1 user,  load average: 15.10, 15.10, 14.98
Tasks: 513 total,  16 running, 495 sleeping,   2 stopped,   0 zombie
Cpu(s):  0.0%us,  9.4%sy,  0.0%ni, 90.6%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  98955216k total, 98697772k used,   257444k free,   563128k buffers
Swap: 100990968k total,       16k used, 100990952k free, 94790844k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                    
5575 root      11  -5     0    0    0 R 100.0  0.0  83:09.37 kjournald                                                                                                                                 
1597 root      15   0     0    0    0 R 99.7  0.0  82:33.88 pdflush                                                                                                                                    
10444 postgres  15   0 53892 1908 1456 R 99.7  0.0 101:24.91 scp                                                                                                                                         
11320 root      15   0 13024 1428  812 R  0.3  0.0   0:00.08 top                                                                                                                                         
    1 root      15   0 10368  684  572 S  0.0  0.0   0:05.31 init                                                                                                                                       
    2 root      RT  -5     0    0    0 S  0.0  0.0   0:00.03 migration/0                                                                                                                                 
    3 root      34  19     0    0    0 S  0.0  0.0   0:00.07 ksoftirqd/0                                                                                                                                 
    4 root      RT  -5     0    0    0 S  0.0  0.0   0:00.00 watchdog/0                                                                                                                                 
    5 root      RT  -5     0    0    0 R  0.0  0.0   0:00.14 migration/1                                                                                                                                 
    6 root      34  19     0    0    0 S  0.0  0.0   0:00.06 ksoftirqd/1                                                                                                                                 
    7 root      RT  -5     0    0    0 R  0.0  0.0   0:00.00 watchdog/1                                                                                                                                 
    8 root      RT  -5     0    0    0 S  0.0  0.0   0:00.03 migration/2                                                                                                                                 
    9 root      34  19     0    0    0 S  0.0  0.0   0:00.07 ksoftirqd/2                                                                                                                                 
   10 root      RT  -5     0    0    0 S  0.0  0.0   0:00.00 watchdog/2                                                                                                                                 
   11 root      RT  -5     0    0    0 S  0.0  0.0   0:00.02 migration/3                                                                                                                                 
   12 root      34  19     0    0    0 S  0.0  0.0   0:00.04 ksoftirqd/3                                                                                                                                 
   13 root      RT  -5     0    0    0 S  0.0  0.0   0:00.00 watchdog/3                                                                                                                                 
   14 root      RT  -5     0    0    0 S  0.0  0.0   0:00.02 migration/4                                                                                                                                 
   15 root      34  19     0    0    0 S  0.0  0.0   0:00.05 ksoftirqd/4                                                                                                                                 
   16 root      RT  -5     0    0    0 S  0.0  0.0   0:00.00 watchdog/4                                                                                                                                 
   17 root      RT  -5     0    0    0 S  0.0  0.0   0:00.01 migration/5                                                                                                                                 
   18 root      34  19     0    0    0 S  0.0  0.0   0:00.03 ksoftirqd/5                                                                                                                                 
   19 root      RT  -5     0    0    0 S  0.0  0.0   0:00.00 watchdog/5                                                                                                                                 
   20 root      RT  -5     0    0    0 S  0.0  0.0   0:00.02 migration/6                                                                                                                                 
   21 root      34  19     0    0    0 S  0.0  0.0   0:00.04 ksoftirqd/6                                                                                                                                 
   22 root      RT  -5     0    0    0 S  0.0  0.0   0:00.00 watchdog/6                                                                                                                                 
   23 root      RT  -5     0    0    0 S  0.0  0.0   0:00.02 migration/7                                                                                                                                 
   24 root      34  19     0    0    0 S  0.0  0.0   0:00.02 ksoftirqd/7                                                                                                                                 
   25 root      RT  -5     0    0    0 S  0.0  0.0   0:00.00 watchdog/7                                                                                                                                 
   26 root      RT  -5     0    0    0 S  0.0  0.0   0:00.01 migration/8                                                                                                                                 
   27 root      34  19     0    0    0 S  0.0  0.0   0:00.03 ksoftirqd/8                                                                                                                                 
   28 root      RT  -5     0    0    0 S  0.0  0.0   0:00.00 watchdog/8     

jixuuse

大量小文件拷贝建议用rsync

rsync -aP 源地址 目标地址

scp效率没rsync好

zwfnet

1T的文件用scp肯定会耗尽资源的啊，即使你内存再大也没有用，同意楼上的用rsync去同步备份。

microsoft_fly

跟这个应该没关系，这里的1T不是一个文件，是上万个文件，之前copy了N次都没问题的，我多次调整了内核参数，现在正常了。

action08

microsoft_fly 发表于 2015-03-06 21:09
跟这个应该没关系，这里的1T不是一个文件，是上万个文件，之前copy了N次都没问题的，我多次调整了内核参数， ...

我多次调整了内核参数，现在正常了。

可以分享一下么？？？个人感觉应该是网络问题造成到异常