2台机器用tcpdump抓包，抓到的包数量不一样，为什么呢？

g361031315

一台是web，另一台是webbench， 当访问压力小的时候，两边抓的包数量是一样的，但是压力大了。包就对不上了。
而且走的应该是局域网，可能是哪的问题？

lbseraph

对比一下看看缺了或多了哪些包？

g361031315

回复 2# lbseraph
ab -n 9000 -c9000 http://webip/        　　　　　　　　　　                                       
每秒事物数：957        　                                       
失败：1539次       
                       
                                    seq       seq去重     seq&ack    seq&ack去重    ack     R
client抓的包：    client：   11961   10550       0              0                   9262  853
                        web：   0           0             9286         9286              0       
                                    seq       seq去重     seq&ack    seq&ack去重    ack     R
web  抓的包：    client：   11168   10550       0              0                   9220  850
                        web：   0           0              10259       9971             0

这是ab测试完，抓到的包3次握手的统计。
我有4个疑点不明白，希望有懂的朋友帮忙解惑。感谢~

第一：client的 net.ipv4.tcp_syn_retries = 0，怎么还会有重复的seq包。
第二：client的抓包显示seq&ack收到9286个，但是为什么ack只有 9262个，是什么导致缺了24个包？
第三：web收到了10550个不重复的seq包，为什么只返回了9971个不重复的包，是什么导致缺了这么多？
第四：web抓包显示seq&ack包有9971个，但client抓包显示只有9286个，相差的包是在传输过程中丢包了吗？



   

jeffreyst

网卡负荷大时，丢包的情况应该是会发生的，

q1208c

楼主有没有注意交换机端口上的数据包数量的变化?

在高流量压力的情况下, 网卡, 交换机, 服务器, 都可能丢弃部分数据包的. 只看发送/接收方的数据, 未必能发现问题.

g361031315

回复 5# q1208c
嗯，我也知道。
其实我是想知道，怎么把服务器优化一下，能提高点效果

   

q1208c

回复 6# g361031315


这个问题比较复杂, 如果你假设所有的硬件都OK的话, 试着调整一下 tcp 相关的 buffer 大小. 或者分担一下网卡的中断试试.

g361031315

回复 7# q1208c
目前，调整 webbench上的net.ipv4.tcp_syn_retries 这个能提高成功率。。
这个是 sysctl

1. net.ipv4.ip_forward = 0
   
2. net.ipv4.conf.default.rp_filter = 1
   
3. net.ipv4.conf.default.accept_source_route = 0
   
4. kernel.sysrq = 0
   
5. kernel.core_uses_pid = 1
   
6. net.ipv4.tcp_syncookies = 1
   
7. kernel.msgmnb = 65536
   
8. kernel.msgmax = 65536
   
9. kernel.shmmax = 68719476736
   
10. kernel.shmall = 4294967296
    
11. net.ipv4.netfilter.nf_conntrack_max = 131072
    
12. net.ipv4.tcp_max_tw_buckets = 25000
    
13. net.ipv4.tcp_sack = 1
    
14. net.ipv4.tcp_window_scaling = 1
    
15. net.ipv4.tcp_rmem = 4096        87380   4194304
    
16. net.ipv4.tcp_wmem = 4096        16384   4194304
    
17. net.ipv4.tcp_max_syn_backlog = 200768
    
18. net.core.netdev_max_backlog =  200768
    
19. net.core.somaxconn = 200768
    
20. net.core.wmem_default = 8388608
    
21. net.core.rmem_default = 8388608
    
22. net.core.rmem_max = 16777216
    
23. net.core.wmem_max = 16777216
    
24. net.ipv4.tcp_timestamps = 0
    
25. net.ipv4.tcp_synack_retries = 2
    
26. net.ipv4.tcp_syn_retries = 2
    
27. net.ipv4.tcp_tw_recycle = 1
    
28. net.ipv4.tcp_tw_reuse = 1
    
29. net.ipv4.tcp_mem = 94500000 915000000 927000000
    
30. net.ipv4.tcp_max_orphans = 200768
    
31. net.ipv4.tcp_tw_recycle = 1
    
32. net.ipv4.tcp_keepalive_time = 300
    
33. net.ipv4.ip_local_port_range = 1024    65000

复制代码

我觉的没的调了。
分担一下网卡的中断是什么意思？多网卡绑定？
   

q1208c

回复 8# g361031315
tcp.mem 应该已经调整过了吧. 这个数字好象跟我的不是太一样.

分担网卡中断, 不是绑定, 是 多队列. 这需要网卡支持的.

g361031315

回复 9# q1208c
系统:centos5.8
内核：2.6.18-308.el5   
网卡型号:82574L
用命令看是支持MSI-X的，不过只支持2个队列
http://wenku.baidu.com/link?url= ... kYfGU22m-U8Poh2Rjlu
这个链接里开头说不支持MSI-X，但是下面有图，可以看到是支持，并且queue是2

1. [root@htuidc ~]# lspci -v|grep MSI-X
   
2.         Capabilities: [80] MSI-X: Enable- Count=1 Masked-
   
3.         Capabilities: [80] MSI-X: Enable- Count=1 Masked-
   
4.         Capabilities: [80] MSI-X: Enable- Count=1 Masked-
   
5.         Capabilities: [80] MSI-X: Enable- Count=1 Masked-
   
6.         Capabilities: [80] MSI-X: Enable- Count=1 Masked-
   
7.         Capabilities: [80] MSI-X: Enable- Count=1 Masked-
   
8.         Capabilities: [80] MSI-X: Enable- Count=1 Masked-
   
9.         Capabilities: [80] MSI-X: Enable- Count=1 Masked-
   
10.         Capabilities: [a0] MSI-X: Enable+ Count=5 Masked-
    
11.         Capabilities: [a0] MSI-X: Enable+ Count=5 Masked-
    
12.         Capabilities: [c0] MSI-X: Enable+ Count=15 Masked-     
    
13. [root@htuidc ~]# cat /proc/interrupts |grep eth0
    
14.            CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7
    
15. 122:         84          0   29587853     178639          0          0   12421006     108644       PCI-MSI-X  eth0-rx-0
    
16. 130:         32          0     332462   16121369          0          0     197259   73011496       PCI-MSI-X  eth0-tx-0
    
17. 138:        612      12299          0         85          0          0          0          0       PCI-MSI-X  eth0

复制代码

1. Cpu0  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
   
2. Cpu1  :  0.3%us,  0.0%sy,  0.0%ni, 99.3%id,  0.0%wa,  0.0%hi,  0.3%si,  0.0%st
   
3. Cpu2  :  0.7%us,  0.7%sy,  0.0%ni, 98.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
   
4. Cpu3  :  0.3%us,  0.3%sy,  0.0%ni, 97.7%id,  1.3%wa,  0.0%hi,  0.3%si,  0.0%st
   
5. Cpu4  :  0.3%us,  0.7%sy,  0.0%ni, 96.0%id,  3.0%wa,  0.0%hi,  0.0%si,  0.0%st
   
6. Cpu5  :  0.7%us,  0.3%sy,  0.0%ni, 99.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
   
7. Cpu6  :  2.7%us,  3.7%sy,  0.0%ni, 68.8%id,  0.0%wa,  0.3%hi, 24.6%si,  0.0%st
   
8. Cpu7  :  6.3%us,  4.7%sy,  0.0%ni, 85.7%id,  0.0%wa,  1.0%hi,  2.3%si,  0.0%st

复制代码

测试了多次，压力大的时候（2台机器一起给30000并发压力），每次都是Cpu6的软中断高，这就是没均衡把？但是最高也就30.9%si，没到100%。

tcp_mem你的这个是什么参数呢？
我这个是16G内存的机器