百兆网卡驱动的问题，napi模式下的eepro100驱动，网卡大流量下停止活动（不收也不发）

duoduojl

2.4内核(struct napi出现之前)，百兆网卡驱动eepro100，为了适应大流量的冲击，修改成了napi的模式。但是遇到了一个问题，就是收发一段时间后网卡停止了活动（既不收也不发），这个问题曾经有人在LKML上问过：

i tested the system with smartbits. when the frame size is 64bytes, in the beginning the system can receive and transmit packets. but after a while, the network card would not receive and transmit packets any more.
then with frame size bigger than 128bytes, it worked well. the throughput was improved. (but sometimes it also has some problem just like 64bytes frames)

各位大牛，有人研究过或者遇到过这个问题么

GFree_Wind

网卡状态是否正常？

humjb_1983

看看收发包缓冲区的使用情况。
同时打一下内核堆栈，看收发包进程阻塞在什么地方了

duoduojl

GFree_Wind 发表于 2013-11-06 21:16
网卡状态是否正常？

怎么看网卡的状态，你说用ifconfig看么？

duoduojl

humjb_1983 发表于 2013-11-07 08:14
看看收发包缓冲区的使用情况。
同时打一下内核堆栈，看收发包进程阻塞在什么地方了

1.看看收发包缓冲区的使用情况。
》》》我发的是udp包，大流量。你说的这个收发包缓冲区怎么看？是用netstat看么？

2.同时打一下内核堆栈，看收发包进程阻塞在什么地方了
》》》内核的调试手段我接触的不多，一般都是自己加/proc或者printk，你说的这个打开内核堆栈怎么操作？

注：我的这个设备是中间设备，两端的流量通过他的处理后转发，这个中间设备本身并不是客户端或服务端。

humjb_1983

duoduojl 发表于 2013-11-07 10:41
1.看看收发包缓冲区的使用情况。
》》》我发的是udp包，大流量。你说的这个收发包缓冲区怎么看？是用n ...

之前我们看缓冲区的使用情况是通过内核打点看的，其他方法忘了，不好意思。

内核态堆栈，低版本的内核应该可以通过sysrq来打，执行命令echo t > /sys/sysrq_trigger，执行后所有进程的内核态堆栈都会打到dmesg和messages日志中。

瀚海书香

回复 1# duoduojl

2.4内核(struct napi出现之前)，百兆网卡驱动eepro100，为了适应大流量的冲击，修改成了napi的模式。但是遇到了一个问题，就是收发一段时间后网卡停止了活动（既不收也不发），这个问题曾经有人在LKML上问过：

i tested the system with smartbits. when the frame size is 64bytes, in the beginning the system can receive and transmit packets. but after a while, the network card would not receive and transmit packets any more.
then with frame size bigger than 128bytes, it worked well. the throughput was improved. (but sometimes it also has some problem just like 64bytes frames)

各位大牛，有人研究过或者遇到过这个问题么

1. dmesg
    Check if there are any kernel complain

2. use kgtp follow some critical area of network stack

3. systemstap maybe another choice for debug kernel stack
   

duoduojl

humjb_1983 发表于 2013-11-07 11:39
之前我们看缓冲区的使用情况是通过内核打点看的，其他方法忘了，不好意思。

内核态堆栈，低版本的内核 ...

谢谢，有帮助。
我想请问一下，想更理解你的意思，
1. 你说看"缓冲区"，是看哪个结构？
2  你说的内核打点看就是指printk打印吧？？？

duoduojl

瀚海书香 发表于 2013-11-07 14:18
回复 1# duoduojl

非常感谢！我打算试试你提供的这些办法！

这个问题在LKML上最终没信了，不知道有没有谁能解答了。

humjb_1983

duoduojl 发表于 2013-11-07 16:31
谢谢，有帮助。
我想请问一下，想更理解你的意思，
1. 你说看"缓冲区"，是看哪个结构？

这里的缓冲区指的是socket的缓冲区，sock->sk_rcvbuf表示接收缓冲区最大值，sock->sk_rmem_alloc表示目前已经占用的缓冲区大小，相减为当前可用的缓冲区大小。
这个问题目前最主要的应该需要看看进程的堆栈，看看具体卡在哪儿了。