分享一起经典故障案例

飞鸿无痕

用的是什么命令查看流量？
jinxl560 发表于 2010-04-02 11:53

    iftop命令吧！

tanyangxf

从上到下，接收和发送都是越来越慢。。

mycoding

回复 22# tanyangxf


    问题的原因就在图中，再仔细看看。。。。。

mycoding

回复 21# 飞鸿无痕


    嗯，是iftop

mycoding

通过内网的流量分析我们发现此时网卡已经达到了千兆网卡的IO峰值，从而形成了网络IO瓶颈。
从而导致上述现象，只是我们在分析的时候未考虑到网卡的IO极限。。。。

从而在分析问题的时候走了很多弯路。

不知道大家有没有遇到过类似的网卡IO达到极限的问题。

mycoding

找到原因并对服务进行了调整，随后一切恢复正常。。。。
磁盘、存储 IO成为瓶颈的案例很常见，网卡IO达到峰值并成为瓶颈的案例不常见。

虔诚的墨鱼

期待楼主继续

mycoding

总结一下：

1：要尽可能多的了解每个产品线的架构、以及其临时的调整。
2：回滚。但一个故障出现时，我们可以先去试着回滚到正常情况，然后再试着去分析问题。
3：要尽可能先从自身寻找原因。包括 服务、磁盘、存储、还有网卡IO。

飞鸿无痕

找到原因并对服务进行了调整，随后一切恢复正常。。。。
磁盘、存储 IO成为瓶颈的案例很常见，网卡IO达到峰 ...
mycoding 发表于 2010-04-02 13:46

    以前公司的一网站遇到过，呵呵！试IDC那边流量限制了，增加流量问题解决！

飞鸿无痕

总结一下：

1：要尽可能多的了解每个产品线的架构、以及其临时的调整。
2：回滚。但一个故障出现时，我 ...
mycoding 发表于 2010-04-02 14:06

不错！这就是来之不易的经验了！