免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 3828 | 回复: 24

[实践] 系统异常后无法记录日志怎么办 [复制链接]

论坛徽章:
15
射手座
日期:2014-02-26 13:45:082015年迎新春徽章
日期:2015-03-04 09:54:452015年辞旧岁徽章
日期:2015-03-03 16:54:15羊年新春福章
日期:2015-02-26 08:47:552015年亚洲杯之卡塔尔
日期:2015-02-03 08:33:45射手座
日期:2014-12-31 08:36:51水瓶座
日期:2014-06-04 08:33:52天蝎座
日期:2014-05-14 14:30:41天秤座
日期:2014-04-21 08:37:08处女座
日期:2014-04-18 16:57:05戌狗
日期:2014-04-04 12:21:33技术图书徽章
日期:2014-03-25 09:00:29
发表于 2014-06-24 09:14 |显示全部楼层
经常遇到这样的问题:
在很多异常情况下(比如:硬盘损坏、IO阻塞、softlockup、oom、负荷过重),都可能导致syslog无法正常工作,从而无法记录日志,
而且,如果在图形界面下,显示器上无法打印异常信息,即使在文本模式下,也经常无法获取到有效信息,这种情况下,很难分析定位
原因,讨论下遇到这种问题都有什么办法?

论坛徽章:
1
15-16赛季CBA联赛之新疆
日期:2017-03-09 12:33:45
发表于 2014-06-24 09:27 |显示全部楼层
回复 1# humjb_1983


   

论坛徽章:
0
发表于 2014-06-24 09:44 |显示全部楼层
回复 1# humjb_1983


2楼真有趣。

可以事先配置好kdump。在系统异常时触发dump生成vmcore,然后使用工具(可以基于crash工具写扩展模块)将内核记录的
日志提取出来查看。这些日志可能出现在syslogd缓冲里,可能出现在pagecache中等  

论坛徽章:
17
水瓶座
日期:2013-08-29 12:09:27白羊座
日期:2014-08-07 12:36:42丑牛
日期:2014-07-24 12:44:41寅虎
日期:2014-04-16 16:15:33寅虎
日期:2014-03-12 09:28:43摩羯座
日期:2014-03-06 13:22:04技术图书徽章
日期:2014-03-06 11:34:50天蝎座
日期:2014-01-09 11:31:44寅虎
日期:2013-12-27 17:01:44双子座
日期:2013-12-27 12:32:29双子座
日期:2013-12-25 09:03:33丑牛
日期:2013-12-24 16:18:44
发表于 2014-06-24 09:56 |显示全部楼层
为什么 intel不给x86弄个串口?程序猿们是不是该抗议下!

nmi_watchdog=panic启动参数,避免死锁!

论坛徽章:
15
射手座
日期:2014-02-26 13:45:082015年迎新春徽章
日期:2015-03-04 09:54:452015年辞旧岁徽章
日期:2015-03-03 16:54:15羊年新春福章
日期:2015-02-26 08:47:552015年亚洲杯之卡塔尔
日期:2015-02-03 08:33:45射手座
日期:2014-12-31 08:36:51水瓶座
日期:2014-06-04 08:33:52天蝎座
日期:2014-05-14 14:30:41天秤座
日期:2014-04-21 08:37:08处女座
日期:2014-04-18 16:57:05戌狗
日期:2014-04-04 12:21:33技术图书徽章
日期:2014-03-25 09:00:29
发表于 2014-06-24 10:14 |显示全部楼层
njuzhyf 发表于 2014-06-24 09:44
回复 1# humjb_1983

感谢!
kdump在很多情况下是没用的,比如硬盘损坏、io阻塞、系统超负荷等。

论坛徽章:
15
射手座
日期:2014-02-26 13:45:082015年迎新春徽章
日期:2015-03-04 09:54:452015年辞旧岁徽章
日期:2015-03-03 16:54:15羊年新春福章
日期:2015-02-26 08:47:552015年亚洲杯之卡塔尔
日期:2015-02-03 08:33:45射手座
日期:2014-12-31 08:36:51水瓶座
日期:2014-06-04 08:33:52天蝎座
日期:2014-05-14 14:30:41天秤座
日期:2014-04-21 08:37:08处女座
日期:2014-04-18 16:57:05戌狗
日期:2014-04-04 12:21:33技术图书徽章
日期:2014-03-25 09:00:29
发表于 2014-06-24 10:16 |显示全部楼层
asuka2001 发表于 2014-06-24 09:56
为什么 intel不给x86弄个串口?程序猿们是不是该抗议下!

nmi_watchdog=panic启动参数,避免死锁!

感谢兄弟!
确实如此,如果标配串口的话,估计程序猿们的日子都要好过多了~
nmi_watchdog仅能检测到关中断死锁的情况,其它情况都无能为力哦~

论坛徽章:
17
水瓶座
日期:2013-08-29 12:09:27白羊座
日期:2014-08-07 12:36:42丑牛
日期:2014-07-24 12:44:41寅虎
日期:2014-04-16 16:15:33寅虎
日期:2014-03-12 09:28:43摩羯座
日期:2014-03-06 13:22:04技术图书徽章
日期:2014-03-06 11:34:50天蝎座
日期:2014-01-09 11:31:44寅虎
日期:2013-12-27 17:01:44双子座
日期:2013-12-27 12:32:29双子座
日期:2013-12-25 09:03:33丑牛
日期:2013-12-24 16:18:44
发表于 2014-06-24 10:21 |显示全部楼层
回复 6# humjb_1983

就是用来防止spin_lock_irqsave(deadlock)!

也许可以不做 vmcore dump,直接在第二内核里查看?没仔细了解过 kdump和 kexec第二内核的过程。。。

论坛徽章:
0
发表于 2014-06-24 10:28 |显示全部楼层
echo 7 > /proc/sys/kernel/printk
dmesg

echo w > /proc/sysrq-trigger 磁盘工作不正常,一般kblockd是D状态



论坛徽章:
0
发表于 2014-06-24 10:29 |显示全部楼层
sysrq可以通过键盘魔法键来激活 出问题后,可能还是得把串口接上去

论坛徽章:
15
射手座
日期:2014-02-26 13:45:082015年迎新春徽章
日期:2015-03-04 09:54:452015年辞旧岁徽章
日期:2015-03-03 16:54:15羊年新春福章
日期:2015-02-26 08:47:552015年亚洲杯之卡塔尔
日期:2015-02-03 08:33:45射手座
日期:2014-12-31 08:36:51水瓶座
日期:2014-06-04 08:33:52天蝎座
日期:2014-05-14 14:30:41天秤座
日期:2014-04-21 08:37:08处女座
日期:2014-04-18 16:57:05戌狗
日期:2014-04-04 12:21:33技术图书徽章
日期:2014-03-25 09:00:29
发表于 2014-06-24 10:31 |显示全部楼层
asuka2001 发表于 2014-06-24 10:21
回复 6# humjb_1983

就是用来防止spin_lock_irqsave(deadlock)!

对的~
关于kdump,简单修改的话,第二个内核确实可以做调试分析,但应该没啥必要,如果能触发kdump,那vmcore中的信息就是最完整的了。
但kdump作用范围也有限,对于kdump无法捕获的场景,通常很难触发并捕获到相关的异常信息~
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP