两端 MTU 1500， TCP 链接发包长为9000Byte 为何不分片？

rocky1972

一台HOST上装ubuntu 和 该HOST上用virtualbox安装的ubuntu 进行通讯


(PC)Ubuntu <--------> (virtualbox) Ubuntu
    eth0                               eth1


两端 MTU 1500， TCP 链接发包长为9000Byte 为何不分片？
eth0/1 的MTU 都是1500， 两端用TCP 发包，就是简单的一边发，一边收，只收发一次，但是长度是9000Bytes
用wireshark 抓包发， TCP包并未按MTU分片， 而是第一次发了7240bytes的数据，第二次发1448bytes,最后一次发了312 Bytes

我试试设置  echo 1 > /proc/sys/net/ipv4/ip_no_pmtu_disc， 但是发现TCP包还是未能收MTU 的限制，请问这是为什么？

谢谢！

humjb_1983

虚拟机何host机通信？
这个不通过物理网卡，根据具体的虚拟网卡实现而定，通常是不会分片的。。。

Tinnal

回复 1# rocky1972
MTU 分片在IP层，而不是TCP层。


   

Tinnal

回复 4# angeltears

其实Linux怎么去实现，回贴时还真没有去看代码。凭着原来自己在单片机上实现的TCP/IP协议的认像就回了。今天看了一下，应该是没错的，分片应该是IP层功能。
TCP/IP的规定可以看：
http://en.wikipedia.org/wiki/IP_fragmentation

具体的RFC可以看http://tools.ietf.org/html/rfc791的第9页。

Linux的实现代码在ip_outpu.c里头。

1. static int ip_finish_output(struct sk_buff *skb)
   
2. {
   
3. #if defined(CONFIG_NETFILTER) && defined(CONFIG_XFRM)
   
4.         /* Policy lookup after SNAT yielded a new policy */
   
5.         if (skb_dst(skb)->xfrm != NULL) {
   
6.                 IPCB(skb)->flags |= IPSKB_REROUTED;
   
7.                 return dst_output(skb);
   
8.         }
   
9. #endif
   
10.         if (skb->len > ip_skb_dst_mtu(skb) && !skb_is_gso(skb))
    
11.                 return ip_fragment(skb, ip_finish_output2);
    
12.         else
    
13.                 return ip_finish_output2(skb);
    
14. }

复制代码

Tinnal

回复 6# angeltears
因为TCP流协议，流是连续的，因此TCP也需要择时把缓冲区里头的东西发送出去，这应该也能算是“分片”吧。同上贴，Linux实现没有看过，自己当时在单片机上的实现的时候是按：“加上当轮写的数据超过MTU，则发送或切分发送，否则先缓存”的方案实现。Linux不去翻了，我就一个协议的门外汉，有问题直接问白金兄更好。
但严格的从协议来说，TCP没有分片的说法，数据格式上并没有分片重组的字段或标识，每一个TCP包都是独立的，由相应的序列号来标识。见TCP RFC第15页。
https://www.ietf.org/rfc/rfc793.txt

好久没有翻过自己写的论文了，呵呵，写到这自己又百度了出来重温了一下，本科时代发的论文，特辛酸，完全自己写的东西变成第三作者，唉。这就是中国，中国的核心期刊所谓的选稿标准。
http://wenku.baidu.com/link?url= ... 0KdhhQOZKscoN4WZWNS
这个协议做得比业界的lwip、uIP都小（8K Flash， 256byte RAM)，实现了ETHER/SLIP/IP/TCP/HTTP/CGI.纯原创。

Tinnal

回复 1# rocky1972

殴，说了半天，楼主的问题都没有人回，真对不起。我给你顶一下。

就这个问题而言，我觉得ip_no_pmtu_disc（路径MTU探测）参数不是关键的，这个功能是用来探测路径上最大可用的MTU，你现在连自己的发送网卡的MTU都不生效。而且你还把路径MTU探测这个功能关闭掉。
http://en.wikipedia.org/wiki/Path_MTU_Discovery

1. ifconfig看看你的网卡现在设定的MTU，如果不对，用ifconfig手工设一个试试。
2. 拿你的wireshark 抓包来看看，IP包文是否是置上don't fragment (DF)位了。
3. 在ip_finish_output里打印一些信息看看问题出来哪里。
4. 请教白金兄，呵呵。


   

Tinnal

补充一下，在7楼时，提到TCP也会“分片”，称为分段更为合适。其实这在TCP里有MSS的TCP协商参数。你可以看看你的wireshark 抓包里三次握手时的具体参数值 。
MSS错了无非有三种可能
1. MTU就错了。
2. 手工设定了MSS
3. 被iptable的规则给改了。

MSS的协商过程可以看http://support.huawei.com/ecommunity/bbs/10156527.html。

rocky1972

回复 8# Tinnal


谢谢，调试后我发现这个问题是这样的：

1. TSO/GSO 都打开，组装好的TCP层包是比MTU大，大概在5000个BYTE（sendmsg 发送数据的大小是9000），用wireshark 看到的报文也是5000多个BYTES，远大于MTU1500
    这个情况我还没在两台物理机上试试，想想TSO不就是网卡有分片TCP包的能力吗，所以在本地用wireshark看到的包肯定是5000BYTES的大小，在对端机器上我还没来得及试试。

1. TSO 关闭，GSO 还是处于打开的状态， TCP层发给IP层的报文还是5000个BYTE，但是因为GSO 是使能了，在把这个大skb塞给网卡驱动的前一刻，GSO对skb做了切片
   然后用wireshark看到的包都是1500的大小

3. TSO关闭，GSO关闭，这时，TCP曾必须遵守MTU的大小，分片是在TCP事先做好的，TCP层发给IP层的报文都是1500BYTES的

所以: TCP是在它那一次做分片的，分配大小取决于MSS，而MSS 又受限与PMTU; 另外ip_finish_output中ip_fragment的操作貌似是针对对UDP的