UDP丢包原因排查方法

humjb_1983

netstat -su发现系统中有不少的UDP丢包统计，请问如何有比较直接的方法确认这些被丢的UDP包具体是什么包？什么情况下可能会出现UDP丢包？
理论上分析，只看到当出现”校验和错误”和“缓冲区满”时会丢包，不知是否还有其他可能？
使用systemtap打点时，发现丢包相关流程多是内联函数，无法直接打点，不知是否还有其他更好的调试方法？

lenky0401

既然采用的是UDP协议，那么这些丢包对上层应用应该没影响才对（比如看视频）或应用程序本身做了进一步的处理，lz何苦要自我折磨？

瀚海书香

回复 1# humjb_1983

netstat -su发现系统中有不少的UDP丢包统计，请问如何有比较直接的方法确认这些被丢的UDP包具体是什么包？什么情况下可能会出现UDP丢包？
理论上分析，只看到当出现”校验和错误”和“缓冲区满”时会丢包，不知是否还有其他可能？
使用systemtap打点时，发现丢包相关流程多是内联函数，无法直接打点，不知是否还有其他更好的调试方法？

按说UDP的丢包还是比较好debug的。
贴一下netstat -su的输出看看

   

humjb_1983

瀚海书香 发表于 2013-12-19 13:13
回复 1# humjb_1983

按说UDP的丢包还是比较好debug的。

看看这个
[root@merge_slaver ~]# date
Wed Dec 18 13:23:46 IST 2013
Udp: InDatagrams NoPorts InErrors OutDatagrams RcvbufErrors SndbufErrors
Udp: 1755364277 1767943 3129696 2531000 0 0
[root@merge_slaver ~]# date
Wed Dec 18 13:23:42 IST 2013
Udp: InDatagrams NoPorts InErrors OutDatagrams RcvbufErrors SndbufErrors
Udp: 1755350451 1767943 3129694 2530992 0 0

另外，从抓包的结果看，其中有这样的包(不确认是否丢的就是它~)：
19:52:10.436147 IP 0.0.0.0.cp-cluster > 10.80.208.81.cp-cluster: UDP, length 32
请瀚海兄帮忙一起看看，源地址0.0.0.0通常代表啥？cp-cluster端口通常是啥端口？

谢谢！

humjb_1983

lenky0401 发表于 2013-12-19 12:51
既然采用的是UDP协议，那么这些丢包对上层应用应该没影响才对（比如看视频）或应用程序本身做了进一步的处理 ...

呵呵，确实是这样的，但是目前业务发现有不正常，怀疑跟底层的UDP丢包相关，需要从OS角度确认丢包的原因。
而且还不能通过修改内核打点确认，因为环境中有三方的内核模块，修改内核后，三方内核模块加载不了，郁闷。

瀚海书香

回复 4# humjb_1983

[root@merge_slaver ~]# date
Wed Dec 18 13:23:46 IST 2013
Udp: InDatagrams NoPorts InErrors OutDatagrams RcvbufErrors SndbufErrors
Udp: 1755364277 1767943 3129696 2531000 0 0
[root@merge_slaver ~]# date
Wed Dec 18 13:23:42 IST 2013
Udp: InDatagrams NoPorts InErrors OutDatagrams RcvbufErrors SndbufErrors
Udp: 1755350451 1767943 3129694 2530992 0 0

另外，从抓包的结果看，其中有这样的包(不确认是否丢的就是它~)：
19:52:10.436147 IP 0.0.0.0.cp-cluster > 10.80.208.81.cp-cluster: UDP, length 32
请瀚海兄帮忙一起看看，源地址0.0.0.0通常代表啥？cp-cluster端口通常是啥端口？

从你给的数据在4s的时间丢了2个进来的包，总的来说丢包并不高。查看内核代码，可能导致这个统计参数增加的有如下6个地方：
   7   1099  /usr/src/linux/net/ipv4/udp.c <<first_packet_length>>   校验和错误
             UDP_INC_STATS_BH(sock_net(sk), UDP_MIB_INERRORS,
   8   1247  /usr/src/linux/net/ipv4/udp.c <<udp_recvmsg>>  可以probe
             UDP_INC_STATS_USER(sock_net(sk), UDP_MIB_INERRORS, is_udplite);
   9   1367  /usr/src/linux/net/ipv4/udp.c <<__udp_queue_rcv_skb>> 可以probe
             UDP_INC_STATS_BH(sock_net(sk), UDP_MIB_INERRORS, is_udplite);
  10   1485  /usr/src/linux/net/ipv4/udp.c <<udp_queue_rcv_skb>>  可以probe
             UDP_INC_STATS_BH(sock_net(sk), UDP_MIB_INERRORS, is_udplite);
  11   1508  /usr/src/linux/net/ipv4/udp.c <<flush_stack>>  因为与RcvbufErrors同时增加，而你的RcvbufErrors=0,所有排除
             UDP_INC_STATS_BH(sock_net(sk), UDP_MIB_INERRORS,
  12   1707  /usr/src/linux/net/ipv4/udp.c <<__udp4_lib_rcv>> 可以probe
             UDP_INC_STATS_BH(net, UDP_MIB_INERRORS, proto == IPPROTO_UDPLITE);




cp-cluster端口是udp 8116 (你可以通过tcpdump -nn直接显示端口）
   

humjb_1983

瀚海书香 发表于 2013-12-19 15:05
回复 4# humjb_1983

感谢瀚海兄指点，我再用systemtap试试可以probe的几个点。