dev_queue_xmit发送数据包很慢 如何解决【解决】

yiyuandao

在prerouting新分配一个new_skb，从old_skb拷贝ip头，传输层及负载，查找路由填充mac地址，最后调用dev_queue_xmit发出去，抓包发现
包发出去的速度很慢：

正常来说直接发送应该很快啊

代码：

1. void build_ipv4_packet(struct sk_buff* sock_skb, struct sk_buff* new_skb)
   
2. {
   
3.         struct iphdr* iph;
   
4. 
   
5.         iph = ip_hdr(sock_skb);
   
6.         if(!iph){
   
7.                 printk("iph error\n");
   
8.                 return NF_ACCEPT;
   
9.         }
   
10. 
    
11.         new_skb = dev_alloc_skb(sock_skb->len + ETH_HLEN + 40 + 5);
    
12.         if(!new_skb){
    
13.                 printk("low memory....\n");
    
14.         }
    
15. 
    
16.         skb_reserve(new_skb, 2);
    
17. 
    
18.         skb_put(new_skb, ETH_HLEN + sock_skb->len);
    
19. 
    
20.         construct_eth_header(sock_skb, new_skb, 0x800);
    
21. 
    
22.         memcpy((new_skb->data + ETH_HLEN), sock_skb->data, sock_skb->len);
    
23. 
    
24. 
    
25.         new_skb->ip_summed = CHECKSUM_UNNECESSARY;
    
26.         //new_skb->pkt_type = PACKET_HOST;
    
27.         //new_skb->pkt_type = PACKET_OUTGOING;
    
28.         new_skb->pkt_type = PACKET_OTHERHOST;
    
29.         new_skb->protocol = htons(ETH_P_IP);
    
30.         new_skb->dev = sock_skb->dev;
    
31. 
    
32.         skb_pull(new_skb, ETH_HLEN);
    
33.         if (skb_dst(new_skb) == NULL)
    
34.         {
    
35.                 //printk("##############ipv4 not found route###begin#########\n");
    
36.         }
    
37. 
    
38.         struct timeval tv;
    
39.         struct timeval end_tv;
    
40.         do_gettimeofday(&tv);
    
41.         printk("before lookup route: second: %ld mircsecond: %ld\n", tv.tv_sec, tv.tv_usec);
    
42.         //struct net *net = dev_net(sock_skb->dev);
    
43.         int flags = RT6_LOOKUP_F_HAS_SADDR;
    
44.         struct rtable *rt;
    
45.         struct flowi fl = {
    
46.                 .nl_u = {
    
47.                         .ip4_u = {
    
48.                                 .daddr =  iph->daddr
    
49.                         }
    
50.                 }
    
51.         };
    
52.                // lookup ipv4 route
    
53.         __be32 dest = 0;
    
54.         if (ip_route_output_key(&init_net, &rt, &fl) != 0)
    
55.         {
    
56.                 kfree_skb(sock_skb);
    
57.                 printk("not found  ipv4 route-----------------------------------######\n");
    
58.                 return;
    
59.         }
    
60.         dest = rt->rt_gateway;
    
61.         struct neighbour *neighbor_entry = neigh_lookup(&arp_tbl, &dest, sock_skb->dev);
    
62. 
    
63.         if (neighbor_entry != NULL)
    
64.         {
    
65.                 //printk("##############found  ipv4 route############\n");
    
66.                 //print_buf(neighbor_entry->ha, 6);
    
67.         }
    
68. 
    
69.         skb_push(new_skb, ETH_HLEN);
    
70. 
    
71.         //print_buf(new_skb->data, 14);
    
72.         memcpy(new_skb->data, neighbor_entry->ha, 6);
    
73.         //print_buf(new_skb->data, 34);
    
74. 
    
75.         do_gettimeofday(&end_tv);
    
76.         printk("before send: second: %ld mircsecond: %ld\n", end_tv.tv_sec, end_tv.tv_usec);
    
77.         dev_queue_xmit(new_skb);
    
78. 
    
79.         do_gettimeofday(&end_tv);
    
80.         printk("after send: second: %ld mircsecond: %ld\n", end_tv.tv_sec, end_tv.tv_usec);
    
81.         //kfree_skb(sock_skb);
    
82. }

复制代码

测试log:
!!!!!!!!!!!!!!start: second: 1341398275 mircsecond: 201298
Jul  4 18:37:55 ubuntu kernel: [ 7232.734796] ------!!!!!!!!!!!!!!!!!!!!!!!!!!------------------------------ipv4 ICMP Data Recv:
Jul  4 18:37:55 ubuntu kernel: [ 7232.734800] before lookup route: second: 1341398275 mircsecond: 201308
Jul  4 18:37:55 ubuntu kernel: [ 7232.734805] before send: second: 1341398275 mircsecond: 201313
Jul  4 18:37:55 ubuntu kernel: [ 7232.734843] after send: second: 1341398275 mircsecond: 201349

从log看到 dev_queue_xmit处理完成并没有花什么时间。
是不是dev_queue_xmit处理过程中把skb添加到发送队列去了，等待发送浪费了时间？

解决方法：
在32行以前添加：skb_reset_network_header(new_skb);
设置网络层头

但是不知道为什么添加了就能快速发送出去，估计在dev_queue_xmit中会需要skb->network_header

Godbach

回复 1# yiyuandao

你这是两次发包的间隔比较大一些。

这个应该和你整个的处理流程有关，而不是 dev_queue_xmit 的问题吧。你这里面还要打日志啥的，都会影响到发包的速度。

   

yiyuandao

回复 2# Godbach
谢谢。

第二个包是在prerouting抓到第一个包后经过处理发送的包，而第一个包已经被drop掉了
打日志是为了测试时间：基本上不花费时间
从第一个包收到第二包发出的时间间隔明显很长。

理论上是直接用dev_queue_xmit更快啊

另外在prerouting用netif_rx()发送的时候绕了一圈的速度也比dev_queue_xmit快的多
是否有什么优先级相关啊？



   

cdtits

貌似 printk 比 dev_queue_xmit 花的时间更多吧

Godbach

回复 4# cdtits

LZ 可以听一下 4 楼的意见，屏蔽掉所有  printk 的地方，然后再试试


   

yiyuandao

回复 4# cdtits


    printk快。

printk+dev_queue_xmit:

Jul  5 13:52:23 ubuntu kernel: [76359.312630] before send: second: 1341467543 mircsecond: 627186
Jul  5 13:52:23 ubuntu kernel: [76359.312669] TEST printk time
Jul  5 13:52:23 ubuntu kernel: [76359.312671] after send: second: 1341467543 mircsecond: 627228

only printk:
Jul  5 13:56:05 ubuntu kernel: [76581.139220] before send: second: 1341467765 mircsecond: 908965
Jul  5 13:56:05 ubuntu kernel: [76581.139222] TEST printk time
Jul  5 13:56:05 ubuntu kernel: [76581.139224] after send: second: 1341467765 mircsecond: 908969

对比很明显
printk就 3-4usec左右

屏蔽了printk。还是慢

yiyuandao

回复 5# Godbach

屏蔽printk了。还是慢，
从log上看：
Jul  4 18:37:55 ubuntu kernel: [ 7232.734805] before send: second: 1341398275 mircsecond: 201313
Jul  4 18:37:55 ubuntu kernel: [ 7232.734843] after send: second: 1341398275 mircsecond: 201349
执行完dev_queue_xmit只花了36usec

但从最后包发出的时间看相差太多了，
所以想是不是dev_queue_xmit执行完后包并没有发出去，还在等待中


   

goter

没检查校验和？

yiyuandao

回复 8# goter

没有修改ip层，传输层，负载。
只修改了mac地址

不涉及到校验和