Linux内核发送构造数据包的方式

Godbach

本文欢迎自由转载，但请标明出处，并保证本文的完整性。

      作者：Godbach

      日期：2009/09/01


一、构造数据包简析

这里并不详细介绍如何在内核中构造数据包，下文如有需要会在适当的位置进行分析。这里简单的分析讲一下内核态基于Netfilter框架构造数据包的方式。
内核中可以用到的构造数据包的方式，个人认为可以分为两种。

其一，我们直接用alloc_skb申请一个skb结构体，然后根据实际的应用填充不同的成员，或者基于当前数据包的skb，调用skb_copy_expand()函数等新申请一个nskb，并且拷贝skb的内容。

其二，也是个人比较常用的，就是直接在先前接收到的数据包skb上作修改，主要有源IP、目IP，如果是TCP/UDP协议的话，还有源端口目的端口号。总之，就是根据自己的需求去调整数据包的相关成员即可。

通常，这两种方式最终可能都要涉及到重新计算各个部分的校验和，这也是必须的。


二、如何发送构造的数据包

       承接上文，数据包已经构造完毕，下一步关键就是如何发送数据包了。个人这里总结的有两种方法。

       方法一，就是让数据包接着按照Netfilter的流程进行传输。因为数据包的一些内容已经被更改，尤其是当源IP和目的IP被更改，主要是交换的情况下，是需要确保有路由可查的。

       NF框架中查路由的位置一是在PREROUTING之后，而是在LOCALOUT之后。又由于这里是需要将数据包从本地发送出去。因此，可以考虑让修改后的数据包从LOCALOUT点发出。

       内核代码中有这种方式的典型体现。本文涉及的相关内核代码的版本都是2.6.18.3。源文件为ipt_REJECT.c，函数send_reset用于往当前接收到数据包的源IP上发送RST包，整个函数涉及了数据包的构造和发送，这里一起做个简单分析。

1. /* Send RST reply */
   
2. static void send_reset(struct sk_buff *oldskb, int hook)
   
3. {
   
4.         struct sk_buff *nskb;
   
5.         struct iphdr *iph = oldskb->nh.iph;
   
6.         struct tcphdr _otcph, *oth, *tcph;
   
7.         struct rtable *rt;
   
8.         u_int16_t tmp_port;
   
9.         u_int32_t tmp_addr;
   
10.         int needs_ack;
    
11.         int hh_len;
    
12. 
    
13.         /* 判断是否是分片包*/
    
14.         if (oldskb->nh.iph->frag_off & htons(IP_OFFSET))
    
15.                 return;
    
16.        
    
17. /*得到TCP头部指针*/
    
18.         oth = skb_header_pointer(oldskb, oldskb->nh.iph->ihl * 4,
    
19.                                  sizeof(_otcph), &_otcph);
    
20.         if (oth == NULL)
    
21.                 return;
    
22. 
    
23.         /* 当期收到的包就是RST包，就不用再发送RST包了*/
    
24.         if (oth->rst)
    
25.                 return;
    
26. 
    
27.         /*检查数据包的校验和是否正确*/
    
28.         if (nf_ip_checksum(oldskb, hook, iph->ihl * 4, IPPROTO_TCP))
    
29.                 return;
    
30.         /*这一步比较关键，做的就是更新路由的工作。该函数的主要工作就是将当前数据包的源IP当做路由的目的IP，同时考虑数据包的目的IP，得到去往该源IP的路由*/
    
31.         if ((rt = route_reverse(oldskb, oth, hook)) == NULL)
    
32.                 return;
    
33. 
    
34.         hh_len = LL_RESERVED_SPACE(rt->u.dst.dev);
    
35. 
    
36.         /* 拷贝当前的oldskb,包括skb结构体和数据部分。这就是我们上面提到的构造数据包的第一种方式*/
    
37.         nskb = skb_copy_expand(oldskb, hh_len, skb_tailroom(oldskb),
    
38.                                GFP_ATOMIC);
    
39.         if (!nskb) {
    
40.                 dst_release(&rt->u.dst);
    
41.                 return;
    
42.         }
    
43. 
    
44.         /*因为是拷贝的oldskb,这里不需要再引用了，因此释放对该路由项的引用*/
    
45.         dst_release(nskb->dst);
    
46.         /*将新构造数据包引用的路由指向上面由route_reverse函数返回的新的路由项 */
    
47.         nskb->dst = &rt->u.dst;
    
48. 
    
49.         /* 清除nskb中拷贝过来的oldskb中链接跟踪相关的内容*/
    
50.         nf_reset(nskb);
    
51.         nskb->nfmark = 0;
    
52.         skb_init_secmark(nskb);
    
53. 
    
54.         /*以下就是构造数据包的实际数据部分。如果我们将这里不为nskb新申请缓冲区，而直接指向oldskb的缓冲区，就使我们上面提到的第二种构造数据包的方法。*/
    
55.         /*获取nskb的tcp header*/
    
56.         tcph = (struct tcphdr *)((u_int32_t*)nskb->nh.iph + nskb->nh.iph->ihl);
    
57. 
    
58.         /*交换源和目的IP */
    
59.         tmp_addr = nskb->nh.iph->saddr;
    
60.         nskb->nh.iph->saddr = nskb->nh.iph->daddr;
    
61.         nskb->nh.iph->daddr = tmp_addr;
    
62. 
    
63.         /*交换源和目的端口 */
    
64.         tmp_port = tcph->source;
    
65.         tcph->source = tcph->dest;
    
66.         tcph->dest = tmp_port;
    
67. 
    
68.         /*重置TCP头部的长度，并修改IP头部中记录的数据包的总长度。因为这里是发送RST报文，只需要有TCP的头部，不需要TCP的数据部分*/
    
69.         tcph->doff = sizeof(struct tcphdr)/4;
    
70.         skb_trim(nskb, nskb->nh.iph->ihl*4 + sizeof(struct tcphdr));
    
71.         nskb->nh.iph->tot_len = htons(nskb->len);
    
72. 
    
73.         /*重新设置 seq, ack_seq，分两种情况（TCP/IP详解有描述）*/
    
74.         if (tcph->ack) { /*原始数据包中ACK标记位置位的情况*/
    
75.                 needs_ack = 0;
    
76.                 tcph->seq = oth->ack_seq; /*原始数据包的ack_seq作为nskb的seq*/
    
77.                 tcph->ack_seq = 0;
    
78.         } else { /*原始数据包中ACK标记位没有置位的情况，初始连接SYN或者结束连接FIN等*/
    
79.                 needs_ack = 1;
    
80.                 /*这种情况应该是SYN或者FIN包，由于SYN和FIN包都占用1个字节的长度。因此ack_seq应该等于旧包的seq+1即可。这里之所以这样表示，可能是还存在其他情况的数据包。*/
    
81.                 tcph->ack_seq = htonl(ntohl(oth->seq) + oth->syn + oth->fin
    
82.                                       + oldskb->len - oldskb->nh.iph->ihl*4
    
83.                                       - (oth->doff<<2));
    
84.                 tcph->seq = 0;
    
85.         }
    
86. 
    
87.         /* RST标记位置1*/
    
88.         ((u_int8_t *)tcph)[13] = 0;
    
89.         tcph->rst = 1;
    
90.         tcph->ack = needs_ack;
    
91. 
    
92.         tcph->window = 0;
    
93.         tcph->urg_ptr = 0;
    
94. 
    
95.         /*重新计算TCP校验和*/
    
96.         tcph->check = 0;
    
97.         tcph->check = tcp_v4_check(tcph, sizeof(struct tcphdr),
    
98.                                    nskb->nh.iph->saddr,
    
99.                                    nskb->nh.iph->daddr,
    
100.                                    csum_partial((char *)tcph,
     
101.                                                 sizeof(struct tcphdr), 0));
     
102. 
     
103.         /* 修改IP包的TTL，并且设置禁止分片*/
     
104.         nskb->nh.iph->ttl = dst_metric(nskb->dst, RTAX_HOPLIMIT);
     
105.         /* Set DF, id = 0 */
     
106.         nskb->nh.iph->frag_off = htons(IP_DF);
     
107.         nskb->nh.iph->id = 0;
     
108. 
     
109.         /*重新计算IP数据包头部校验和*/
     
110.         nskb->nh.iph->check = 0;
     
111.         nskb->nh.iph->check = ip_fast_csum((unsigned char *)nskb->nh.iph,
     
112.                                            nskb->nh.iph->ihl);
     
113. 
     
114.         /* "Never happens" */
     
115.         if (nskb->len > dst_mtu(nskb->dst))
     
116.                 goto free_nskb;
     
117. /*使nskb和oldskb的链接记录关联*/
     
118.         nf_ct_attach(nskb, oldskb);
     
119.        
     
120. /*这里就是最终发送数据包的方式，具体方法就是让新数据包经过LOACLOUT的hook点，然后查路由，最后经由POSTROUTING点，将数据包发送出去。
     
121. 其实这里我还是有1个疑问：（1）为什么不可以直接查找路由，而必须先经过LOCALOUT点*/
     
122.         NF_HOOK(PF_INET, NF_IP_LOCAL_OUT, nskb, NULL, nskb->dst->dev,
     
123.                 dst_output);
     
124.         return;
     
125. 
     
126. free_nskb:
     
127.         kfree_skb(nskb);
     
128. }

复制代码

通过以上对send_reset函数的分析，应该明白了利用NF框架将构造数据包发送出去的方法。
         源码分析中提到的1个疑问，35楼给出了解释，这里引用过来：

其实，这不是丢到了高层，而是和ip_queue_xmit()发送过程意义一样。
对这包进行重新路由后，封装了头部，之后，放到了NF_IP_LOCAL_IN之前而已。

其实，这里面只要修改了中途修改了ip地址，肯定是需要手动重新路由的。
这就涉及到一些比较复杂的route cache的查找，如果没有就去查找route tables；之后，进行路由结构和neighbour结构的关联，就涉及到邻居子系统的相关操作；接着就涉及到arp cache的查找，如果没有，进行一些操作，arp的过程等等，才找到了相关的ip对应的mac信息。
息。

        方法二，就是直接调用dev_queue_xmit函数，将构造完毕的数据包直接发送到网卡驱动。从NF框架来看，该函数的调用是在POSTROUTING点之后了，也可以理解为直接通过调用二层的发送函数，将三层构造的数据包发送出去。该函数实际上会调用skb->dev->hard_start_xmit，即对应网卡的驱动函数，将数据包直接发送的出去。
        很显然，这个工作在二层的函数，发送数据包（数据包在二层的时候准确叫法应该是帧，我们这里是在三层直接调用的，权且还称作数据包）的方式是不需要再查路由了。
但是，二层发送的时候是需要根据目的MAC来进行的。在第一种方法构造的数据包中，仅仅交换了IP地址，而没有对MAC做任何修改。这样直接调用dev_queue_xmit是会产生问题的，并且该函数发送的内容应该是从二层头部开始，到数据包的结束。因此，如果三层构造的数据包，想调用该函数直接发送数据包的话，则需要修改数据包的源和目的MAC，并将skb->data指针指向MAC头部，以及skb->len的值也要加上头部的长度方法。以下是可参考的示例代码：

1.   unsigned char mac_temp[ETH_ALEN] = {0};
   
2.   struct ethhdr *mach = NULL;
   
3. ……
   
4. /*code…… 构造数据包的IP即上层协议及数据*/
   
5. ……
   
6. /*交换源和目的MAC*/
   
7. mach = (struct ethhdr *)skb->mac.raw;
   
8.    memcpy(mac_temp, (unsigned char *)mach->h_dest, ETH_ALEN);
   
9.    memcpy(mach->h_dest, (unsigned char *)mach->h_source, ETH_ALEN);
   
10.    memcpy(mach->h_source, mac_temp, ETH_ALEN);
    
11. 
    
12. /*修改skb->data指针，使其指向MAC头部，并且增加skb->len*/
    
13. skb_push(skb , ETH_HLEN);
    
14. /*直接调用该函数，将数据包从网卡上发送出去*/
    
15. ret = dev_queue_xmit(skb);

复制代码

    这里还要顺便说一下构造的数据包发送完毕之后，对于hook函数的返回值问题。
   （1）第一种发送数据包的实现，对于send_reset函数的实现中，由于单独申请了nskb的内存，并构造的新的数据包。新数据包接着走NF的流程了。而对于原始的skb，就通过模块的返回值return NF_DROP做出了处理。
   （2）第二种发送数据包的实现，若是基于已有数据包的基础上重新构造的数据包，那么实际上原始数据包的内容已经不复存在，而且调用完毕dev_queue_xmit已将同一块缓冲区，只是填充了新数据的数据包发送出去，因此，这里已经没有原始数据包的存在了，需要返回NF_STOLEN，告诉协议栈不用关心原始的包即可。否则，若是新数据包是单独申请的内存，那么对于原数据包还应该是返回NF_DROP.


三、总结
        以上就是个人分享和总结和内核中构造的数据包发送出去的两种方式。实际中常用的就是构造完数据包之后，调用dev_queue_xmit函数发送报文，也测试过调用send_reset发送RST方式。但并未采用send_reset中通过调用NF_HOOK发送过其他数据包。如果诸位朋友有相关的实践经验，欢迎分享。

        本文在分析send_reset代码的过程中，参考了百度中搜到的muddoghole的文章，因为只能从百度快照看到这篇文章，并且链接过长，这里就不列出连接，对于原文的作者表示感谢。

        由于对内核中的一些地方理解不够深入，因此文章中肯定存在很多问题。欢迎各位朋友指正，多多交流。

        本文原文链接：http://blog.chinaunix.net/u/33048/showart_2043789.html

[ 本帖最后由 Godbach 于 2009-9-5 11:18 编辑 ]

jasenwan88

send_reset函数在linux-2.6.22以前还能看得懂，以后的内核版本这个函数变了，不知道两这有啥区别？

gaozongning

（1）以前，我在hook中，对发送数据包直接修改封装，再手动路由ip_route_output_key()后，可以成功发送出去；
（2）现在，我直接在hook中，alloc_skb()出一个buffer，手动封装了mac，ip，tcp头，再调用dev_queue_xmit()后，也可以成功发出去；
你好，我想问一下你是怎么实现的（1）（2）.主要是修改哪些部分。望楼主不吝赐教。


回复 52# meijusan123


   

yunchenyun

很不错的文章 赞一个。。。。

SCDXMOE

灰常灰常好......果断

lujian19861986

回复 77# Godbach


    嗯嗯，好的

Godbach

回复 76# lujian19861986
嗯，你说的对，应该是存在 conntrack 没有及时进行状态变更的情况。


   

lujian19861986

回复 75# Godbach


    感谢，我说的RST 报文，直接在原来报文的基础上进行修改，然后直接发走的，是把oldskb改了，不用把oldskb丢掉，可能这个session还再吧，连接跟踪还在，等服务器回复一个FIN的包才结束此次连接吧。

ipt_REJECT.c 中应该是考虑了多种情形的。

==>会把oldskb丢掉，砍掉此连接...

Godbach

回复 74# lujian19861986

我没完全明白你的意思。

但是对于构造报文来说，就是要么直接在原始报文上改动，要么就自己 alloc 一个新的 skb，然后从旧的 skb 中获取必要信息。

至于你说的 RST 报文，其实是可以考虑直接在原来报文的基础上进行修改，然后直接发走的，但是 ipt_REJECT.c 中应该是考虑了多种情形的。

   

lujian19861986

回复 1# Godbach


    哥德巴赫兄，如果一个tcp包flag栏位为PSH或者PSH,ACK，直接将skb的flag栏位设置为RST，这样再wan口抓到的包不就是请求RST包了，这样session就建立不起来了，为什么要复制一个nskb?