网卡来包时如果cpu处于软中断处理中，napi是不是会丢包

mordorwww

因为napi是在软中断收包，而软中断之间是不能抢占的，只能顺序执行

mordorwww

网卡缓存很小，满了就丢包
软件里也有缓存，只是不知道软件里的缓存是怎么起作用的

瀚海书香

回复 3# mordorwww

网卡缓存很小，满了就丢包
软件里也有缓存，只是不知道软件里的缓存是怎么起作用的

这里以e1000为例说明一下：
1.首先，驱动加载后会在主内存中为收发数据建立一个环形的缓冲队列（通常叫DMA环形缓冲区）。
2.内核将这个缓冲区通过DMA映射，把这个队列交给网卡；
3.网卡收到数据，就直接放进这个环形缓冲区了，之后才会触发中断

所有说，数据包被缓存到了这个DMA缓存缓存区中，这个缓存区会为每个接受队列分配空间，相对来说还是比较大的

e1000_up---->e1000_configure--->alloc_rx_buf---->e1000_alloc_rx_buffers

   

mordorwww

瀚海书香 发表于 2013-12-23 11:04
回复 3# mordorwww

这里以e1000为例说明一下：

这个是啊，问题是

除了这个DMA buffer 环形队列，网络包至少还有个缓存队列: enqueue_to_backlog, 这个队列是per　　CPU的吧。
如果都是靠网卡DMA buffer来缓存突发报文，那么enqueue_to_backlog这个队列又是来起什么作用的？enqueue_to_backlog这个队列能不能起到缓存突发报文的作用，还是仅仅起多cpu分发的作用，如果单个cpu收包处理协议包又会怎样

瀚海书香

回复 5# mordorwww

除了这个DMA buffer 环形队列，网络包至少还有个缓存队列: enqueue_to_backlog, 这个队列是per　　CPU的吧。
如果都是靠网卡DMA buffer来缓存突发报文，那么enqueue_to_backlog这个队列又是来起什么作用的？enqueue_to_backlog这个队列能不能起到缓存突发报文的作用，还是仅仅起多cpu分发的作用，如果单个cpu收包处理协议包又会怎样

1. RPS关闭
对于有自己缓存队列的网卡，不会走到enqueue_to_backlog

2. RPS开启
对于有自己缓存队列的网卡，数据包会通过enqueue_to_backlog挂载到per cpu上。这个队列只是起到一个链表的作用，skb的内存空间还是网卡环形缓存区中的。这个队列的最大长度可以通过net.core.netdev_max_backlog配置。


综合来看，对于有缓存队列的网卡来说，如果有突发数据包，中断处理数据包通过使DMA缓存缓存区，之后软中断处理都不会额外申请缓存区了。
   

mordorwww

瀚海书香 发表于 2013-12-23 12:13
回复 5# mordorwww

主要是困惑，缓存突发报文指针的缓存队列（无论包内存在哪里分配）到底包含back_log队列不，在NAPI单cpu下，挂back_log队列那个动作可以抢占协议栈包处理过程动作么(或者她俩之间还有调度?)？
如果不能抢占的话(就是只能顺序执行了)，那CPU就一直处理back_log队列里的包，等处理完了可能DMA buffer就溢出了

瀚海书香

回复 7# mordorwww

主要是困惑，缓存突发报文指针的缓存队列（无论包内存在哪里分配）到底包含back_log队列不，在NAPI单cpu下，挂back_log队列那个动作可以抢占协议栈包处理过程动作么(或者她俩之间还有调度?)？
如果不能抢占的话(就是只能顺序执行了)，那CPU就一直处理back_log队列里的包，等处理完了可能DMA buffer就溢出了

刚才已经说的很清楚了啊。
以e1000为例。

如果RPS关闭，根本就不会用的back_log队列，软中断直接处理网卡缓存队列中的数据包。假设DMA缓存空间最多缓存512个数据包，如果缓存已经占满，这个时候再有数据包到达就会丢弃。
在这个处理过程中你需要考虑中断、软中断。当软中断在处理的时候，如果此时有数据包到达，直接就缓存到DMA缓存区中，这个过程是与软中断并行处理的。
所谓的软中断顺序处理，是指数据包下半部处理顺序执行，而从网卡接收数据包缓存到DMA缓冲区中，是在中断之前完成的。

总结来说，back_log在RPS关闭的情况下，起不到缓存突发报文的作用。而在RPS开启的情况下，可以认为起到作用，可缓存是数据包个数为max(DMA buffer skb, net.core.netdev_max_backlog)。
   

mordorwww

瀚海书香 发表于 2013-12-23 13:16
回复 7# mordorwww

刚才已经说的很清楚了啊。

前面都没问题，第三段话我认为有点问题

"总结来说，back_log在RPS关闭的情况下，起不到缓存突发报文的作用。而在RPS开启的情况下，可以认为起到作用，可缓存是数据包个数为max(DMA buffer skb, net.core.netdev_max_backlog)。"

RPS情况下, back_log在单cpu情况或者收包CPU把包分发给自己的情况下可能起不到缓存的作用，这个时候可缓存的数据包个数仅为DMA buffer skb

mordorwww

我们做的这个东西就是NAPI+RPS， dma ring 4k, 实际的性能测试中dma ring 满的情况司空见惯,