分享一起经典故障案例

mycoding

3： 继续排查这次定位到了网线上，随后更换了A的内网网线，问题依然。又排除掉了网线的可能。

mycoding

4：A网卡没有丢包、没有报错，为何B机器没有这样的现象呢，难道.... 随后把A、B的内网做了互换，发现A恢复正常，其他服务器到B的延时开始变大，上述想象再次出现在服务器B上。

随后检查负载均衡的配置没有发现异常。。。。再次没有了头绪

飞鸿无痕

2：正当我们纳闷的时候发现延时恢复正常了，下载速度也恢复正常了，随后切回服务，很快故障现象有出现了。
...
mycoding 发表于 2010-04-02 10:31

什么都没动就正常了？？另外你所说的切回服务是什么意思？你关闭了什么服务？？

mycoding

5：到此为止把其他一切外在的因素都排除了，剩下的只有再次排除A本身了。
把之前做的变更全部还原，从新切回服务测试。。。。

这次我们对A和B同时做了流量的分析，终于发现了问题。。。。。

mycoding

回复 13# 飞鸿无痕


    为了不影响用户的体验，我们再做排查的时候把服务切换到了其他IDC....

mycoding

回复 13# 飞鸿无痕


    什么都没有做恢复正常，然后又变的不正常，这也是疑惑的地方，也是我们后续排查的起始点，因为切回服务后才出现的异常。

tanyangxf

看得有点乱。。。网络结构不清楚。。

mycoding

先上个图吧。。。 这是A服务器的内网流量。。。 大家能看出什么端倪么？原因就在图中
涉及到的IP都用字母来代替了。。。

jinxl560

用的是什么命令查看流量？

tanyangxf

接收都很慢啊。。