免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 11470 | 回复: 8
打印 上一主题 下一主题

浪潮300N服务器频繁宕机 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-05-22 19:00 |只看该作者 |倒序浏览
浪潮AS300N服务器频繁宕机,系统日志也看不出来什么原因导致的,用tsar 看宕机前后的mem和load 都很高,几乎吃完所有的内存,跪求大神提供解决思路。

/var/log/messages 日志信息
May 22 15:45:07  snmpd[4481]: Connection from UDP: [59.151.112.101]:12314
May 22 15:45:16  snmpd[4481]: Connection from UDP: [59.151.112.101]:53202
May 22 15:45:16  snmpd[4481]: Received SNMP packet(s) from UDP: [59.151.112.101]:53202
May 22 15:45:53  snmpd[4481]: Connection from UDP: [211.151.146.148]:35468
May 22 15:45:53  snmpd[4481]: Received SNMP packet(s) from UDP: [211.151.146.148]:35468
May 22 16:24:50  syslogd 1.4.1: restart.
May 22 16:24:50  kernel: klogd 1.4.1, log source = /proc/kmsg started.
May 22 16:24:50  kernel: Linux version 2.6.18-348.el5 (mockbuild@builder10.centos.org) (gcc version 4.1.2 20080704 (Red Hat 4
.1.2-54)) #1 SMP Tue Jan 8 17:53:53 EST 2013
May 22 16:24:50  kernel: Command line: ro root=LABEL=/
May 22 16:24:50  kernel: BIOS-provided physical RAM map:
May 22 16:24:50  kernel:  BIOS-e820: 0000000000010000 - 000000000009d000 (usable)
May 22 16:24:50  kernel:  BIOS-e820: 000000000009d000 - 00000000000a0000 (reserved)
May 22 16:24:50  kernel:  BIOS-e820: 00000000000e0000 - 0000000000100000 (reserved)
May 22 16:24:50  kernel:  BIOS-e820: 0000000000100000 - 00000000bf790000 (usable)
May 22 16:24:50  kernel:  BIOS-e820: 00000000bf790000 - 00000000bf79e000 (ACPI data)
May 22 16:24:50  kernel:  BIOS-e820: 00000000bf79e000 - 00000000bf7d0000 (ACPI NVS)
May 22 16:24:50  kernel:  BIOS-e820: 00000000bf7d0000 - 00000000bf7e0000 (reserved)
May 22 16:24:50  kernel:  BIOS-e820: 00000000bf7ec000 - 00000000c0000000 (reserved)
May 22 16:24:50  kernel:  BIOS-e820: 00000000e0000000 - 00000000f0000000 (reserved)
May 22 16:24:50  kernel:  BIOS-e820: 00000000fee00000 - 00000000fee01000 (reserved)
May 22 16:24:50  kernel:  BIOS-e820: 00000000ffc00000 - 0000000100000000 (reserved)
May 22 16:24:50  kernel:  BIOS-e820: 0000000100000000 - 0000000240000000 (usable)
May 22 16:24:50  kernel: DMI present.
May 22 16:24:50  kernel: SRAT: PXM 0 -> APIC 0 -> Node 0
May 22 16:24:50  kernel: SRAT: PXM 0 -> APIC 2 -> Node 0
May 22 16:24:50  kernel: SRAT: PXM 0 -> APIC 4 -> Node 0
May 22 16:24:50  kernel: SRAT: PXM 0 -> APIC 16 -> Node 0
May 22 16:24:50  kernel: SRAT: PXM 0 -> APIC 18 -> Node 0

22/05/14-15:15 985.7M  814.4M   17.2M    6.0G    7.8G   10.21   
22/05/14-15:20   1.2G  667.0M   18.2M    5.9G    7.8G    8.37   
Time           -----------------------mem----------------------
Time             free    used    buff    cach   total    util   
22/05/14-15:25   1.0G  503.7M   18.9M    6.3G    7.8G    6.32   
22/05/14-15:30   1.1G  643.0M   19.5M    6.1G    7.8G    8.06   
22/05/14-15:35   1.0G  555.2M   20.8M    6.2G    7.8G    6.96   
22/05/14-15:40 518.7M  658.8M   21.2M    6.6G    7.8G    8.26   
22/05/14-15:45 382.9M  746.2M   20.5M    6.7G    7.8G    9.36   
22/05/14-16:30   5.9G  239.2M    8.8M    1.6G    7.8G    3.00   
22/05/14-16:35   5.9G  236.7M   11.1M    1.6G    7.8G    2.97   
22/05/14-16:40   5.9G  245.2M   11.7M    1.6G    7.8G    3.08   
22/05/14-16:45   5.9G  239.1M   13.4M    1.6G    7.8G    3.00   
22/05/14-16:50   5.9G  239.0M   14.0M    1.6G    7.8G    3.00   
22/05/14-16:55   5.9G  238.1M   14.7M    1.6G    7.8G    2.99   
22/05/14-17:00   5.9G  240.5M   15.3M    1.6G    7.8G    3.02   

22/05/14-15:10  20.99   10.84    8.40   12.00  535.00   
22/05/14-15:15   3.41   10.70    9.57    6.00  474.00   
22/05/14-15:20   7.81    8.49    8.76    3.00  485.00   
22/05/14-15:25   0.83    3.91    6.73    1.00  460.00   
22/05/14-15:30   4.14    4.69    6.25    4.00  476.00   
Time           -------------------load-----------------
Time            load1   load5  load15    runq    plit   
22/05/14-15:35   2.20    3.70    5.47    3.00  491.00   
22/05/14-15:40   2.50    2.97    4.69    5.00  482.00   
22/05/14-15:45   4.33    4.27    4.78    6.00  538.00   
22/05/14-16:30   0.04    0.05    0.01    1.00  461.00   
22/05/14-16:35   0.00    0.01    0.00    0.00  456.00   
22/05/14-16:40   0.00    0.00    0.00    2.00  469.00   
22/05/14-16:45   0.06    0.05    0.01    0.00  455.00   

论坛徽章:
33
荣誉会员
日期:2011-11-23 16:44:17天秤座
日期:2014-08-26 16:18:20天秤座
日期:2014-08-29 10:12:18丑牛
日期:2014-08-29 16:06:45丑牛
日期:2014-09-03 10:28:58射手座
日期:2014-09-03 16:01:17寅虎
日期:2014-09-11 14:24:21天蝎座
日期:2014-09-17 08:33:55IT运维版块每日发帖之星
日期:2016-04-17 06:23:27操作系统版块每日发帖之星
日期:2016-04-18 06:20:00IT运维版块每日发帖之星
日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津
日期:2016-05-06 12:46:59
2 [报告]
发表于 2014-05-23 08:32 |只看该作者
这日志, 比没有强不了多少.

如果真的很频繁, 自己实时看一下进程情况.

论坛徽章:
48
15-16赛季CBA联赛之青岛
日期:2021-01-07 13:41:2315-16赛季CBA联赛之上海
日期:2020-12-01 18:02:0720周年集字徽章-20	
日期:2020-10-28 14:14:2620周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之天津
日期:2020-10-18 22:51:412016猴年福章徽章
日期:2016-02-18 15:30:3415-16赛季CBA联赛之北控
日期:2015-12-22 13:30:48操作系统版块每日发帖之星
日期:2015-12-07 06:20:00操作系统版块每日发帖之星
日期:2015-09-04 06:20:002015亚冠之德黑兰石油
日期:2015-08-05 18:46:082015年亚洲杯之巴勒斯坦
日期:2015-04-19 10:42:502015年亚洲杯之巴林
日期:2015-04-09 08:03:23
3 [报告]
发表于 2014-05-24 23:09 |只看该作者
可以尝试先查下有没有内存溢出之类的bug~

论坛徽章:
5
CU大牛徽章
日期:2013-09-18 15:16:55CU大牛徽章
日期:2013-09-18 15:18:22CU大牛徽章
日期:2013-09-18 15:18:432015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:45
4 [报告]
发表于 2014-05-29 22:04 |只看该作者
定时脚本输出到log server

论坛徽章:
0
5 [报告]
发表于 2014-05-30 11:42 |只看该作者
就是,宕机的这段时间syslogd 应该也不工作了,实时的进程?有个主进程比较吃内存,但是messages里也没有内存溢出的错误信息 回复 2# q1208c


   

论坛徽章:
0
6
发表于 2014-05-30 11:45
是代码吗?主程序是c 写的 ,这个不应该啊,如果是程序的问题,不会单单只有这台机器不停的宕机,整个服务n多台机器应该都会有问题的, messages 里也没有内存溢出的日志 回复 3# lbseraph


   

论坛徽章:
0
7 [报告]
发表于 2014-05-30 11:47 |只看该作者

定时脚本输出到log server ,什么意思? 能详细点吗?多谢!回复 4# tangye


   

论坛徽章:
5
CU大牛徽章
日期:2013-09-18 15:16:55CU大牛徽章
日期:2013-09-18 15:18:22CU大牛徽章
日期:2013-09-18 15:18:432015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:45
8 [报告]
发表于 2014-05-30 12:13 |只看该作者
回复 7# hepeace


    定时执行一个脚本,譬如察看内存/进程之类的,然后写到一个nfs卷上,看看是否内存耗尽。

   如果是硬件有问题,那要从服务器的监控模块上看log了

论坛徽章:
0
9 [报告]
发表于 2014-06-03 13:48 |只看该作者
好,我试试看,多谢了!回复 8# tangye


   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP