使用包分析软件排查网络故障

chenj117

使用包分析软件排查网络故障\r\n作为IP网络的系统管理员，经常会遇到一些网络连接方面的故障，在排查这些接故障时，除了凭借经验外，使用包分析软件往往会起到事半功倍的效果。\r\n常用的包分析软件非常多，常见的如tcpdump，sniffer，windump，ettercap等。我们今天就介绍通过包分析软件tcpdump排查网络故障的几个例子，关于tcpdump软件的介绍，安装，基本用法的资料非常多，读者可以查阅，这里不介绍了。\r\n\r\n例1：arp故障\r\n故障现象：局域网中的一台采用solaris操作系统的服务器A-SERVER网络连接不正常，从任意主机上都无法ping通该服务器。\r\n\r\n排查：首先检查系统，系统本身工作正常，无特殊进程运行，cpu，内存利用率正常，无挂接任何形式的防火墙，网线正常。\r\n此时我们借助tcpdump来进行故障定位，首先我们将从B-CLIENT主机上执行ping命令，发送icmp数据包给A-SERVER，如下：\r\n[root@redhat log]# ping A-SERVER\r\nPING A-SERVER from B-CLIENT : 56(84) bytes of data.\r\n此时在A-SERVER启动tcpdump，对来自主机B-CLIENT的数据包进行捕获。\r\nA-SERVER# tcpdump host B-CLIENT\r\ntcpdump: listening on hme0\r\n16:32:32.611251 arp who-has A-SERVER tell B-CLIENT\r\n16:32:33.611425 arp who-has A-SERVER tell B-CLIENT\r\n16:32:34.611623 arp who-has A-SERVER tell B-CLIENT\r\n我们看到，没有收到预料中的ICMP报文，反而捕获到了B-CLIENT发送的arp广播包，由于主机B-CLIENT无法利用arp得到服务器A-SERVER的地址，因此反复询问A-SERVER的MAC地址，由此看来，高层的出问题的可能性不大，很可能在链路层有些问题，先来查查主机A-SERVER的arp表：\r\nA-SERVER# arp -a \r\nNet to Media Table\r\nDevice IP Address Mask Flags Phys Addr \r\n------ -------------------- --------------- ----- ---------------\r\nhme0 netgate 255.255.255.255 00:90:6d:f2:24:00\r\nhme0 A-SERVER 255.255.255.255 S 00:03:ba:08:b2:83\r\nhme0 BASE-ADDRESS.MCAST.NET 240.0.0.0 SM 01:00:5e:00:00:00\r\n请注意A-SERVER的Flags位置，我们看到了只有S标志。我们知道，solaris在arp实现中，arp的flags需要设置P标志，才能响应ARP requests。\r\n手工增加p位\r\nA-SERVER# arp -s A-SERVER 00:03:ba:08:b2:83 pub \r\n此时再调用arp -a看看\r\nA-SERVER# arp -a \r\nNet to Media Table\r\nDevice IP Address Mask Flags Phys Addr \r\n------ -------------------- --------------- ----- ---------------\r\nhme0 netgate 255.255.255.255 00:90:6d:f2:24:00\r\nhme0 A-SERVER 255.255.255.255 SP 00:03:ba:08:b2:83\r\nhme0 BASE-ADDRESS.MCAST.NET 240.0.0.0 SM 01:00:5e:00:00:00\r\n我们看到本机已经有了PS标志，此时再测试系统的网络连接恢复正常，问题解决！\r\n\r\n例2：netflow软件问题\r\n故障现象：在新装的网管工作站上安装cisco netflow软件对路由设备流量等进行分析，路由器按照要求配置完毕，本地工作上软件安装正常，无报错信息，但是启动netflow collector却收不到任何路由器上发出的流量信息，导致该软件失效。 排查：反复检查路由和软件，配置无误。采用逐步分析的方法，首先先要定位出有问题的设备，是路由器根本没有发送流量信息还是本地系统接收出现了问题？\r\n突然想到在路由器上我们定义了接收的client端由udp端口9998接收数据，可以通过监视这个端口来看路由器是否确实发送了udp数据，如果系统能够接收到来自路由的数据包，那么路由方面的问题可能行不大，反之亦然。\r\n在网管工作站上使用tcpdump来看看：\r\nnms#tcpdump port 9995\r\ntcpdump: listening on hme0\r\n18:15:34.373435 routea > nms.9995: udp 1464\r\n18:15:34.373829 routea.50111 > nms.9995: udp 1464\r\n18:15:34.374100 routea.50111 > nms.9995: udp 1464\r\n马上我们就看到数据包确实从路由器上发过来了，问题出在路由器的可能性基本排除，重新核查系统，果然，网管工作站上安装了防火墙，udp端口9998是被屏蔽的，调整工作站上的防火墙配置，netflow工作恢复正常，故障排除！\r\n\r\n例3：邮件服务器排障\r\n故障现象：局域网新安装了后台为qmail的邮件服务器server，邮件服务器收发邮件等基本功能正常，但在使用中发现一个普遍的怪现象：pc机器上发邮件时连接邮件服务器后要等待很久的时间才能开始实际的发送工作。\r\n\r\n排查：网络连接没有问题，邮件服务器server和下面的pc性能都没有问题，问题可能出在哪里呢？为了进行准确的定位，我们在pc机client上发送邮件，同时在邮件服务器server上使用tcpdump对这个client的数据包进行捕获分析，如下： \r\nserver#tcpdump host client\r\ntcpdump: listening on hme0\r\n19:04:30.040578 client.1065 > server.smtp: S 1087965815:1087965815(0) win 64240 <mss 1460,nop,wscale 0,nop,nop,timestamp[|tcp]> (DF)\r\n19:04:30.040613 server.smtp > client.1065: S 99285900:99285900(0) ack 1087965816 win 10136 <nop,nop,timestamp 20468779 0,nop,[|tcp]> (DF)\r\n19:04:30.040960 client.1065 > server.smtp: . ack 1 win 64240 (DF)\r\n顺利的完成三次握手，目前为止正常，往下看 \r\n19:04:30.048862 server.33152 > client.113: S 99370916:99370916(0) win 8760 <mss 1460> (DF)\r\n19:04:33.411006 server.33152 > client.113: S 99370916:99370916(0) win 8760 <mss 1460> (DF)\r\n19:04:40.161052 server.33152 > client.113: S 99370916:99370916(0) win 8760 <mss 1460> (DF)\r\n19:04:56.061130 server.33152 > client.113: R 99370917:99370917(0) win 8760 (DF)\r\n19:04:56.070108 server.smtp > client.1065: P 1:109(10 ack 1 win 10136 <nop,nop,timestamp 20471382 167656> (DF)\r\n\r\n这里有问题了，我们看到server端试图连接client的113 identd端口，要求认证，然而没有收到client端的回应，server端重复尝试了3次，费时26秒后，才放弃认证请求，主动发送了reset标志的数据包，开始push后面的数据，而正是在这个过程中所花费的26秒时间，造成了发送邮件时漫长的等待情况。\r\n问题找到了，就可以对症下药了，通过修改服务器端的qmail配置，使它不再进行113端口的认证，再次抓包，看到邮件server不再进行113端口的认证尝试，而是在三次握手后直接push数据，问题解决！\r\n\r\n总结：\r\n上面我们通过实际的例子演示了包分析软件在故障解决中起到的作用，通过这些例子，我们不难发现，用好包分析软件，对系统管理员快速准确定位网络故障，分析网络问题有不可替代的作用。